Dans la newsletter d’aujourd’hui:

Pour les abonnés gratuits:

L’édito: “ IA Générative : gare à l’empoisonnement des données ”par Frédéric Simottel

Pour les abonnés payants:

Études: Une campagne malveillante baptisée « Matriochka ».

La Tribune: “NIS 2 : il est temps de s’y préparer” par Nicolas Lacourte chez NXO.

A ne pas manquer sur le web: Un jeune français, surdoué, bac à 12 ans, Polytechnicien à 17, doctorat en cyberbersécurité à 21 ans.

Depuis l’avènement de l’IA générative. Ils sont plusieurs à prévenir des risques cyber liés à l’IA. Malgré tous leurs atouts, ces technologies sont en effet vulnérables. L’institut de sécurité de l’IA du gouvernement britannique a ainsi révélé il y a quelques jours que ses chercheurs avaient testé - sans les citer- la vulnérabilité de quatre modèles d’IA. Résultat, ces systèmes se sont montrés extrêmement peu sécurisés même face à des piratages de base. Pire, certains ont même généré des « résultats nuisibles » sans même que les chercheurs n’essaient de les produire. Certes, la majorité des modèles d’IA accessibles au grand public disposent de mesures de protection. Une IA ne vous donnera pas aussi facilement la formule du cocktail Molotov. Il n’empêche, l’heure est à la vigilance et même avec des technologies aussi évoluées, il ne faut jamais sous-estimer l’importance de la sécurité.

IA Générative : gare à l’empoisonnement des données

Non bien entendu l’IA, comme toutes technologies, n’est pas à l’abri d’attaques cyber. Ce que confirme Patrice Caine, P-DG de Thales dans une interview donnée au journal La Tribune Dimanche (9 juin 2024). « L’IA soulève évidemment des questions sur sa vulnérabilité. Elle peut faire, elle aussi, l’objet d’attaques ciblées ». Il précise d’ailleurs que des hackers éthiques de Thales ont réussi à détourner ChatGPT. Et que l’IA n'aura pas d’avenir dans la durée si on ne peut pas la protéger des menaces cyber. Bref si nous voulons continuer à injecter de l’IA à tous les étages (dans les capteurs ou les systèmes d’aide à la décision, pour ce qui est de Thales), nous avons intérêt à être certains que ni données, ni algorithmes ne soient corrompues par des attaques cyber IA. Et pour cela, il faut se lancer dans une grande chasse aux failles.

Les experts dans le domaine n’ont évidemment pas attendu l’avènement de ChatGPT pour monter en régime. Un exemple avec la découverte des chercheurs de l’industriel américain Synopsis. Ils ont mis à jour une vulnérabilité d’empoisonnement des données dans l’application EmbedAI, spécialisée dans la création de chatbots via ChatGPT et Gemini. La faille porte ainsi sur la gestion des sessions sécurisées et la politique de partages des ressources.

Une fois exploitée, cette faille peut venir perturber en temps réel le fonctionnement du modèle et impacter sa fiabilité et surtout la sécurité des systèmes qui en dépendent. Pour entrer plus en détail, via cette faille, les pirates vont inciter les utilisateurs finaux à exécuter des actions non désirées dans une application web dans laquelle ils avaient pourtant été authentifiés. Ils vont par exemple télécharger des données empoisonnées et mettre en péril les résultats rendus par leur modèle LLM. Outre les hallucinations, la diffusion d’informations erronées, l’introduction de biais ou des performances altérées, les applications utilisant le composant EmbedAI pourraient être exposées à des fuites de données potentielles.

Tester en permanence données et algorithmes

Parmi ses recommandations, Synopsis préconise de déconnecter des réseaux de l’entreprise, les applications a priori infectées. Mais la leçon à retenir de cet incident et que l’on peut appliquer à l’exploitation de tous les LLM existants, et que même après avoir intégré les systèmes d’IA, les développeurs doivent continuer à tester leurs process pour être certain que les contrôles mis en place pour l’accès aux applications web sont également mis en œuvre sur les API pour les applications d’IA. Le danger est évidemment qu’en déployant rapidement ces LLM et autres applications d’IA génératives, les organisations donnent accès aux potentiels hackers à d’immenses bases et référentiels de données.

Rappelons qu’en France, il existe une structure qui évalue certains des pans de ces systèmes d’IA. Le laboratoire national de métrologie et d’essais (LNE) a en effet mis au point une plateforme multi-approche destinée à évaluer la fiabilité, garantir l’utilisation sécurisée et s’assurer du respect des principes éthiques dans la conception et le fonctionnement des solutions logicielles et des dispositifs physiques dotés d’IA. Aux développeurs d’agir également pour un meilleur « design IA by cyber ».

...