Les chercheurs ont récemment découvert une nouvelle technique d’attaque qui exploite les capacités du modèle de langage OpenAI ChatGPT. Cette technique permet aux attaquants de distribuer des packages malveillants dans les environnements de développement. Dans un avis conjoint publié aujourd’hui, les chercheurs ont alerté sur cette nouvelle menace et ont souligné l’importance de prendre des mesures pour atténuer les risques.
Selon les auteurs du rapport technique, ChatGPT a été observé en train de générer des URL, des liens et même des bibliothèques et des fonctions de code qui n’existent pas réellement. Ce phénomène, connu sous le nom d’hallucinations des grands modèles de langage, a été documenté auparavant et pourrait résulter de données d’apprentissage obsolètes. Ces hallucinations ou recommandations erronées peuvent être exploitées par les attaquants pour tromper les utilisateurs.
L’hallucination du package AI
La nouvelle technique de distribution de packages malveillants, baptisée « l’hallucination du package AI« , repose sur l’interaction entre les attaquants et ChatGPT. Les attaquants posent une question à ChatGPT en demandant un package pour résoudre un problème d’encodage, et en réponse, ils obtiennent plusieurs recommandations de package, y compris certains qui ne sont pas publiés dans des référentiels légitimes. Les attaquants remplacent ensuite ces packages inexistants par leurs propres packages malveillants, incitant ainsi les utilisateurs futurs à faire confiance aux recommandations de ChatGPT.
Atténuation des risques et meilleures pratiques
La détection des packages malveillants issus de l’IA peut être difficile car les attaquants utilisent des techniques d’obscurcissement et créent des packages de chevaux de Troie fonctionnels. Cependant, il existe des mesures que les développeurs peuvent prendre pour atténuer les risques. Tout d’abord, il est essentiel d’examiner attentivement les bibliothèques proposées par ChatGPT, en tenant compte de facteurs tels que la date de création, le nombre de téléchargements, les commentaires et les notes jointes. Une certaine prudence et un certain scepticisme à l’égard des packages suspects sont également importants pour assurer la sécurité des logiciels.
Les opportunités de l’IA générative et les risques associés
L’intelligence artificielle (IA), en particulier l’IA générative, représente une avancée majeure dans le domaine de la science et de la technologie. Elle offre des opportunités passionnantes dans de nombreux domaines, tels que la création de contenu, le design, la musique, la recherche médicale et bien d’autres. Cependant, cette avancée technologique soulève également des inquiétudes quant à son utilisation potentielle à des fins malveillantes.
L’IA générative est capable de créer du contenu de manière autonome, imitant et produisant des résultats indiscernables de ceux créés par des humains. Cela ouvre de nouvelles perspectives créatives et permet des avancées significatives dans de nombreux domaines. Cependant, cette même capacité peut être exploitée par des individus mal intentionnés pour des activités telles que la manipulation de l’opinion publique, la production de contrefaçons, la falsification de documents, voire la création de faux médias.
Il est donc impératif de sécuriser l’IA contre le vol, la falsification, la manipulation et autres attaques. Les chercheurs et les entreprises du secteur ont pris conscience de ces enjeux et travaillent activement pour développer des solutions de sécurité pour l’IA générative.
Le Secure AI Framework (SAIF) de Google pour la protection de l’IA
Le 8 juin 2023, Google a présenté le Secure AI Framework (SAIF), un cadre conceptuel conçu pour protéger les technologies d’IA contre les attaques malveillantes. SAIF s’appuie sur l’expérience de Google dans le développement de modèles de cybersécurité éprouvés, tels que le cadre collaboratif de niveaux de chaîne d’approvisionnement pour les artefacts logiciels (SLSA) et BeyondCorp, une architecture de confiance zéro.
SAIF repose sur six principes fondamentaux pour sécuriser l’IA générative
Étendre des bases de sécurité solides à l’écosystème de l’IA : Cela inclut l’utilisation de protections d’infrastructure par défaut, telles que les techniques de prévention des injections SQL, pour renforcer la sécurité des systèmes d’IA générative.
Développer la détection et la réponse : Il est essentiel de surveiller attentivement les entrées et les sorties des systèmes d’IA générative afin de détecter les anomalies potentielles. En utilisant les renseignements sur les menaces, il est possible de prévoir et de contrer les attaques.
Automatiser la protection : Face aux menaces existantes et émergentes, l’automatisation joue un rôle crucial pour garantir la sécurité de l’IA générative. En automatisant les processus de protection, il est possible de réagir rapidement aux attaques.
Harmoniser les contrôles au niveau de la plateforme : Pour assurer une sécurité cohérente dans toute l’organisation, il est nécessaire de mettre en place des contrôles de sécurité standardisés au niveau de la plateforme.
Adapter les contrôles : Il est important d’ajuster les mesures d’atténuation pour sécuriser l’IA générative. Cela comprend l’utilisation de techniques telles que l’apprentissage par renforcement basé sur les incidents et les commentaires des utilisateurs, la mise à jour des ensembles de données de formation, le réglage des modèles pour une réponse stratégique aux attaques et l’utilisation de commandes de drapeaux rouges.
Contextualiser les risques des systèmes d’IA : Il est essentiel de comprendre les risques associés aux systèmes d’IA générative dans le contexte des processus métier environnants. Cela nécessite des évaluations complètes des risques pour déterminer comment les organisations utiliseront l’IA de manière sécurisée. Google s’est engagé à publier plusieurs outils open source pour aider à mettre en œuvre les éléments du SAIF et renforcer la sécurité de l’IA générative. De plus, la société étendra ses programmes de recherche de bogues pour encourager la communauté à contribuer à la sécurité et à la fiabilité de l’IA.
