L'IA contre les logiciels malveillants

 EN SEPTEMBRE 2019, l'Institut national des normes et de la technologie a émis son tout premier avertissement pour une attaque contre un algorithme d'intelligence artificielle commerciale.

Les chercheurs en sécurité ont mis au point un moyen d'attaquer un produit Proofpoint qui utilise l'apprentissage automatique pour identifier les spams. Le système a produit des en-têtes de courrier électronique qui comprenaient un «score» de la probabilité qu'un message soit du spam. Mais l'analyse de ces scores, ainsi que du contenu des messages, a permis de créer un clone du modèle d'apprentissage automatique et de créer des messages de spam qui échappaient à la détection.

L'avis de vulnérabilité est peut-être le premier d'une longue série. L'IA étant plus largement utilisée, de nouvelles opportunités d'exploitation des points faibles de la technologie émergent également. Cela a donné naissance à des entreprises qui sondent les systèmes d'IA pour détecter des vulnérabilités, dans le but de détecter les entrées malveillantes avant qu'elles ne puissent faire des ravages.


Startup Robust Intelligence est l'une de ces entreprises. Over Zoom, Yaron Singer, son cofondateur et PDG, démontre une programme qui utilise l'IA pour déjouer l'IA qui lit les chèques, une première application pour l'apprentissage automatique moderne.

 Le programme de Singer ajuste automatiquement l’intensité de quelques pixels qui composent les chiffres et les lettres inscrits sur le chèque. Cela modifie ce que perçoit un algorithme de balayage de chèques commercial largement utilisé. Un escroc équipé d'un tel outil pourrait vider le compte bancaire d'une cible en modifiant un chèque légitime pour ajouter plusieurs zéros avant de le déposer.

 «Dans de nombreuses applications, de très, très petits changements peuvent conduire à des résultats radicalement différents», déclare Singer, professeur à Harvard qui dirige son entreprise pendant son congé sabbatique à San Francisco. «Mais le problème est plus profond; c'est juste la nature même de la façon dont nous effectuons l'apprentissage automatique. »

 La technologie de Robust Intelligence est utilisée par des entreprises telles que PayPal et NTT Data, ainsi qu'une grande société de covoiturage; Singer dit qu'il ne peut pas décrire comment exactement il est utilisé, de peur de dénoncer des adversaires potentiels.

 La société vend deux outils: un qui peut être utilisé pour sonder un algorithme d'IA pour les faiblesses et un autre qui intercepte automatiquement les entrées potentiellement problématiques - une sorte de pare-feu d'IA. L'outil de sondage peut exécuter un algorithme plusieurs fois, en examinant les entrées et les sorties et en cherchant des moyens de le tromper.

 Ces menaces ne sont pas seulement théoriques. Les chercheurs ont montré comment les algorithmes contradictoires peuvent tromper les systèmes d'IA du monde réel, y compris les systèmes de conduite autonomes, les programmes d'exploration de texte et le code de vision par ordinateur. Dans un cas souvent mentionné, un groupe d'étudiants du MIT a imprimé en 3D une tortue que le logiciel Google a reconnue comme une carabine, grâce à des marques subtiles sur sa surface.

 «Si vous développez actuellement des modèles d'apprentissage automatique, vous n'avez vraiment aucun moyen de faire une sorte de red teaming ou de tests d'intrusion, pour vos modèles d'apprentissage automatique », déclare Singer.

 Les recherches de Singer se concentrent sur la perturbation de l’entrée d’un système d’apprentissage automatique pour le faire mal se comporter et sur la conception de systèmes sûrs en premier lieu. Tromper les systèmes d'IA repose sur le fait qu'ils apprennent à partir d'exemples et captent des changements subtils d'une manière que les humains ne font pas. En essayant plusieurs entrées soigneusement choisies - par exemple, en montrant des visages modifiés à un système de reconnaissance faciale - et en voyant comment le système répond, un algorithme «contradictoire» peut déduire les ajustements à faire pour produire une erreur ou un résultat particulier.

 En plus du système de tromperie des chèques, Singer démontre un moyen de déjouer un système de détection de fraude en ligne dans le cadre de la recherche de faiblesses. Ce système de fraude recherche des signes indiquant qu'une personne effectuant une transaction est en fait un bot, en fonction d'un large éventail de caractéristiques, notamment le navigateur, le système d'exploitation, l'adresse IP et l'heure.

 Singer montre également comment la technologie de son entreprise peut tromper le commercial systèmes de reconnaissance d'image et de reconnaissance faciale avec des ajustements subtils à une photo. Le système de reconnaissance faciale conclut qu'une photo subtilement trafiquée de Benjamin Netanyahu montre en fait le basketteur Julius Barnes. Singer donne le même argument aux clients potentiels qui s'inquiètent de la façon dont leurs nouveaux systèmes d'IA pourraient être subvertis et de ce que cela pourrait faire pour leur réputation.

 Certaines grandes entreprises qui utilisent l'IA commencent à développer leurs propres défenses contre l'IA. Facebook, par exemple, a une "équipe rouge" qui tente de pirater ses systèmes d'IA pour identifier les points faibles.