Archives par mot-clé : chatgpt

Cybersécurité, Mise à jour, Securite informatique

ChatGPT comme moteur de recherche : une révolution fragile face aux abus

ChatGPT, désormais doté de capacités de recherche en ligne, ouvre de nouvelles possibilités aux utilisateurs, mais révèle aussi des failles significatives. Ses vulnérabilités à la manipulation mettent en lumière les défis que doivent relever les modèles d’intelligence artificielle face aux abus.

Depuis l’ouverture de ses fonctionnalités de recherche à tous les utilisateurs, ChatGPT s’est positionné comme un assistant innovant dans le domaine des requêtes en ligne. Cependant, ce nouvel usage n’est pas exempt de risques. Les chercheurs en cybersécurité ont démontré que le chatbot peut être trompé par des techniques comme l’injection de stimuli (prompt injection), qui exploitent sa confiance en l’information fournie. Cette faille permet de manipuler ses réponses pour promouvoir des produits douteux ou diffuser des contenus potentiellement dangereux. Bien que prometteur, le système reste vulnérable, notamment face aux tactiques employées par des acteurs malveillants.

Un chatbot vulnérable à l’injection de stimuli

L’une des principales failles de ChatGPT en tant que moteur de recherche réside dans sa capacité à interpréter et à répondre aux instructions dissimulées. Cette technique, connue sous le nom de prompt injection, permet à un tiers de contrôler indirectement les réponses du chatbot. En intégrant des instructions dans des textes invisibles ou peu visibles sur une page web, les manipulateurs peuvent orienter les résultats générés par ChatGPT.

Par exemple, un site frauduleux peut afficher de faux avis positifs sur un produit en masquant ces commentaires dans le code HTML de la page. Lorsque ChatGPT consulte ce site, il interprète ces avis comme authentiques, ce qui influence sa réponse lorsqu’un utilisateur pose une question sur le produit. Pire encore, si une instruction cachée oblige le modèle à toujours promouvoir un produit, même en présence d’avertissements légitimes, le chatbot obéira sans évaluer les risques.

Cette vulnérabilité n’est pas propre à ChatGPT, mais elle illustre les limites des grands modèles de langage. Comme l’explique Karsten Nohl, expert chez Security Research Labs, ces modèles « sont très crédules, presque comme des enfants ». Leurs vastes capacités de mémoire et leur absence de subjectivité les rendent particulièrement sensibles à la désinformation dissimulée.

L’absence d’expérience face à un défi de taille

En tant que nouvel acteur dans le domaine de la recherche en ligne, ChatGPT souffre d’un manque d’expérience comparé aux moteurs traditionnels comme Google. Ce dernier a développé, au fil des années, des mécanismes sophistiqués pour ignorer les contenus cachés ou les reléguer en bas des résultats. ChatGPT, de son côté, n’a pas encore acquis cette capacité d’analyse critique, le rendant vulnérable aux pages web manipulées.

Les experts soulignent que cette limitation est aggravée par l’absence de filtres robustes pour distinguer les contenus fiables des contenus frauduleux. Contrairement à un moteur de recherche classique, ChatGPT ne hiérarchise pas les résultats en fonction de critères de fiabilité, mais s’appuie sur les données accessibles au moment de la requête. Cela le rend particulièrement sensible aux stratégies malveillantes visant à manipuler son processus décisionnel.

L’impact potentiel de ces failles

Les vulnérabilités de ChatGPT posent des risques significatifs pour les utilisateurs et les entreprises. À court terme, elles peuvent être exploitées pour promouvoir des produits contrefaits, diffuser de la désinformation ou même fournir des instructions nuisibles. Par exemple, un utilisateur cherchant des informations sur un médicament ou une technologie pourrait recevoir des recommandations basées sur des informations manipulées, mettant en danger sa sécurité ou celle de son entreprise.

À long terme, ces failles pourraient éroder la confiance dans les systèmes d’intelligence artificielle. Si les utilisateurs commencent à percevoir ChatGPT comme peu fiable, cela pourrait ralentir l’adoption de ces technologies dans des secteurs critiques, tels que la santé, la finance ou l’éducation.

Vers une intelligence artificielle plus résiliente

Pour surmonter ces défis, les développeurs d’OpenAI doivent renforcer la capacité de ChatGPT à détecter et ignorer les contenus manipulés. Cela pourrait inclure des algorithmes plus avancés pour analyser les sources, des protocoles pour limiter l’influence des contenus cachés et une transparence accrue sur la manière dont le chatbot sélectionne ses réponses.

Cependant, la responsabilité ne repose pas uniquement sur OpenAI. Les utilisateurs doivent être sensibilisés aux limites des modèles d’intelligence artificielle et adopter une approche critique lorsqu’ils interprètent les réponses fournies. Comme le souligne Karsten Nohl, il est essentiel de ne pas prendre les résultats générés par ces modèles « pour argent comptant ».

Conclusion : une technologie prometteuse à perfectionner

ChatGPT en tant que moteur de recherche représente une avancée significative, mais ses vulnérabilités actuelles rappellent que l’intelligence artificielle reste une technologie en développement. Pour éviter les abus et garantir la fiabilité de ses réponses, des efforts supplémentaires sont nécessaires, tant de la part des développeurs que des utilisateurs.

Pour en savoir plus sur les risques et les opportunités liés à l’intelligence artificielle, abonnez-vous gratuitement à notre newsletter.

IOT, Mise à jour, Patch

ChatGPT devient idiot avec le temps

Une étude menée par des analystes de Stanford et de l’Université de Californie a révélé que les dernières versions des chatbots ChatGPT ont montré une détérioration de leurs performances au fil du temps.

Les chercheurs de les universités de Stanford et de Californie n’ont pas pu expliquer la raison de cette dégradation des capacités du réseau de neurones, mais il s’avère que ChatGPT devient idiot, avec le temps. L’expérience impliquait de demander à ChatGPT-3.5 et ChatGPT-4 de résoudre des problèmes mathématiques, de répondre à des questions sensibles, de rédiger du code informatique et de démontrer des compétences de raisonnement spatial avec des conseils.

En mars, la version la plus récente de l’IA pouvait identifier les nombres premiers avec une précision de 97,6 %, mais en juin, ce chiffre est tombé à 2,4 %. Pendant la même période, pourtant, le modèle de réseau neuronal antérieur avait amélioré ses performances. De même, lors de la génération de lignes de code identiques, les capacités des deux versions de ChatGPT se sont détériorées après quelques mois. En mars, l’ancien modèle fournissait des explications détaillées sur les raisons pour lesquelles il ne pouvait pas répondre à certaines questions sensibles, comme l’appartenance ethnique des personnes. Cependant, en juin, les deux versions du réseau de neurones se sont simplement excusées sans fournir d’explications.

Les experts ont recommandé aux utilisateurs et aux entreprises qui dépendent des services de chatbots basés sur des réseaux de neurones d’effectuer des analyses régulières pour s’assurer que les chatbots sont toujours à jour et ne racontent pas de bêtises.

Par ailleurs, en juillet, les développeurs de ChatGPT ont publié un nouveau plugin pour la version payante, permettant au chatbot d’analyser des données, de créer du code Python, de construire des graphiques et de résoudre des problèmes mathématiques.

Le chatbot a également été capable de réfuter scientifiquement la théorie de la « terre plate. (Etude)

Cybersécurité

Contrôler ChatGPT avant qu’il ne vous contrôle !

OpenAI, créateur de chatGPT, a annoncé qu’il sera désormais possible de ne pas conserver les entretiens et de ne pas les utiliser comme données de formation. On vous montre ce que sait l’IA sur vous et comment détruire vos informations personnelles.

Cependant, même si cela ne sera pas tout à fait anonyme, la CTO Mira Murati a déclaré à l’agence Reuters que l’entreprise donnera une plus grande priorité au respect de la vie privée. La rapide percée de l’outil ChatGPT a suscité des inquiétudes en Italie concernant le traitement des données par l’entreprise américaine. En réponse, OpenAI a déclaré qu’elle travaille en collaboration avec les régulateurs européens.

À partir de cette semaine, il sera possible de désactiver les paramètres « historique des discussions et formation » de ChatGPT. Cela signifie que l’outil ne conservera pas les déclarations antérieures et ne les utilisera pas à des fins de formation. Toutefois, les conversations ne seront pas tout à fait anonymes car elles seront conservées pendant 30 jours pour des contrôles d’abus avant d’être totalement supprimées.

Contrôler et effacer ses datas ChatGPT

Les Data Controls sont des paramètres de ChatGPT qui permettent aux utilisateurs de désactiver l’historique des conversations et de choisir si leurs conversations seront utilisées pour l’entraînement des modèles. Les utilisateurs peuvent également exporter leurs données ChatGPT et supprimer leur compte de manière permanente. Pour désactiver l’historique des conversations et l’entraînement des modèles, les utilisateurs doivent accéder à ChatGPT > Data Controls comme DataSecurityBreach.fr vous le montre ci-dessous. Les conversations récentes ne seront pas utilisées pour améliorer les modèles et n’apparaîtront pas dans l’historique des conversations, mais seront conservées pendant 30 jours pour des contrôles d’abus avant d’être supprimées.

Il est important de noter que cela n’empêchera pas les add-ons non autorisés ou les logiciels malveillants sur votre ordinateur de stocker votre historique. Les utilisateurs peuvent également exporter leurs conversations en accédant à Paramètres > Data Controls > Exporter données et peuvent supprimer leur compte en accédant à Paramètres > Data Controls > Supprimer compte. Si l’utilisateur choisit de supprimer son compte, comme Datasecuritybreach.fr vous le montre ci-dessous, cela est irréversible et toutes les données associées à ce compte seront également supprimées.

OpenAI utilise les données personnelles des utilisateurs pour améliorer ses modèles de langage naturel en les entraînant sur un corpus de texte large, qui comprend du contenu disponible publiquement, sous licence et généré par des examinateurs humains. OpenAI n’utilise pas les données à des fins publicitaires ou pour créer des profils de personnes, mais uniquement pour améliorer ses modèles.

Si l’historique est désactivé, les nouvelles conversations seront supprimées dans les 30 jours et ne seront pas utilisées pour l’entraînement des modèles, mais les conversations existantes seront toujours sauvegardées et pourront être utilisées pour l’entraînement des modèles si l’utilisateur ne choisit pas de les exclure. Si l’historique est désactivé, les conversations ne seront pas récupérables une fois qu’elles sont fermées.

Il n’y a pas de limite au nombre de conversations que les utilisateurs peuvent avoir avec l’historique et l’entraînement désactivés, et cela s’applique aux abonnements gratuits et Plus. OpenAI honorera également les demandes précédentes d’exclusion de l’entraînement des modèles.

OpenAI travaille sur une nouvelle offre appelée ChatGPT Business, qui permettra aux professionnels de désactiver l’entraînement des modèles par défaut. En attendant, les utilisateurs peuvent remplir un formulaire pour demander l’exclusion de leurs données de l’entraînement des modèles. OpenAI prévoit de lancer ChatGPT Business dans les mois à venir pour les entreprises qui souhaitent gérer leurs utilisateurs finaux.

Dernier point que DataSecurityBreach.fr souhaite mettre en avant. Prudence aux courriels qui pourraient usurper ChatGPT. Le courrier électronique ressemble à la capture écran ci-dessous, provient de l’adresse tm.openai.com et OpenAI n’envoie aucune archive sans votre demande explicite. Cela vous éviter de fournir vos identifiants de connexions dans un phishing bien ficelé et ciblé !