Des chercheurs contournent les garde-fous des images IA à l'aide d'outils grand public

Les chercheurs en sécurité de White Circle, une société d'intérêt général, ont démontré que les principaux générateurs d'images IA d'OpenAI et de Google peuvent être trompés pour produire du contenu explicite à l'aide d'outils largement disponibles. Les résultats, détaillés dans une prépublication et rapportés par Ars Technica, suggèrent qu'à mesure que les modèles IA deviennent plus performants, leurs défenses contre la génération de contenu interdit peuvent s'affaiblir.

La méthode d'attaque RISE

White Circle a développé une stratégie d'attaque appelée « Red-teaming via Iterative Strategy Evolution » (RISE). La méthode utilise deux composants : un modèle d'attaque qui génère des invites de contournement (jailbreak prompts) et un modèle juge qui vérifie si la sortie contient du contenu interdit. Selon les chercheurs, l'ensemble du pipeline repose sur des modèles disponibles publiquement, y compris une version de Qwen3-32B dont l'entraînement à la sécurité a été retiré et Gemini 2.5 Flash en tant que juge.

« Vous n'avez pas besoin de disposer de modèles de pointe pour briser les défenses d'un modèle de pointe, ce qui est très intéressant », a déclaré Denis Shilov, PDG de White Circle, à Ars Technica.

Les chercheurs ont testé plusieurs modèles, dont DALL·E 3, Nano Banana 2 de Google et GPT-Image-2. Dans le meilleur des cas pour les attaquants, environ 13 % des invites envoyées à DALL·E 3 ont produit des images confirmées comme explicites par des examinateurs humains. Le taux de contournement était inférieur à 10 % pour Nano Banana 2 et d'environ 3 % pour GPT-Image-2. White Circle a déclaré que « aucune de ces demandes ne nécessitait de modèles IA personnalisés ou de pointe ».

Les modèles plus récents pourraient être plus vulnérables

White Circle a également testé des versions plus récentes de ces modèles, spécifiquement ChatGPT Images 2.5 d'OpenAI et Nano Banana 2.1 de Google. Les chercheurs ont indiqué à Ars Technica que les deux nouveaux modèles étaient « significativement plus faciles à contourner que leurs versions précédentes ». Ni OpenAI ni Google n'ont répondu aux demandes de commentaire sur ces résultats spécifiques.

Shilov a suggéré deux explications possibles à cette tendance : soit les nouveaux modèles sont plus sophistiqués et capables de générer une plus grande variété de contenu, soit la sécurité a été reléguée au second plan au profit de la capacité. White Circle prévoit de présenter ces résultats lors de la conférence NeurIPS 2026 en novembre et a l'intention de mettre le pipeline d'attaque en open source pour aider les développeurs à renforcer leurs protections.

Contexte plus large et appels à la réglementation

La recherche met en lumière une préoccupation croissante concernant les images intimes non consensuelles (NCII) et les matériaux d'exploitation sexuelle des enfants (CSAM). Une étude co-écrite par Google en juillet 2026 a révélé qu'une grande partie de ce contenu est partagée dans des canaux privés, ce qui rend sa détection difficile. L'étude a conclu que le « point d'intervention le plus critique » reste à la source : les outils IA utilisés pour créer les images.

L'Internet Watch Foundation (IWF) a signalé que ses analystes ont trouvé 6 310 images générées par IA répondant à la définition légale de CSAM au premier semestre 2026, un chiffre environ 40 % supérieur au total de l'année 2025. Un porte-parole de l'IWF a déclaré à Ars Technica que des « actions urgentes étaient nécessaires » et a appelé les régulateurs à mettre en place un cadre de sécurité exigeant que les entreprises d'IA empêchent l'utilisation de leur technologie pour générer de tels matériaux.

Pourquoi c'est important

La démonstration selon laquelle des outils grand public peuvent contourner les garde-fous des principaux modèles IA remet en question l'hypothèse selon laquelle seules les attaques sophistiquées et personnalisées constituent une menace. Cela souligne la difficulté de maintenir des filtres de contenu efficaces à mesure que les modèles deviennent plus performants. White Circle soutient que des audits indépendants obligatoires et une surveillance par des tiers sont nécessaires, car les auto-évaluations actuelles des laboratoires d'IA peuvent ne pas révéler pleinement les vulnérabilités. La publication du pipeline RISE pourrait accélérer la découverte de faiblesses, mais risque également de fournir aux acteurs malveillants une feuille de route pour contourner les mesures de sécurité.

Sources (en anglais)

• arstechnica.com: OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say - Ars Technica
• cryptobriefing.com: OpenAI and Google AI models keep getting tricked into making explicit content, researchers warn
• ibtimes.sg: OpenAI, Google AI Models Tricked Into Making Nudes: Safeguards...

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.