Anthropic met en garde : les petits modèles d'IA pourraient se répliquer sur les appareils IoT

L'entreprise d'IA Anthropic a mis en garde contre le fait que les progrès réalisés dans les petits modèles d'IA pourraient conduire à une nouvelle génération de logiciels malveillants auto-réplicateurs capables d'infecter les appareils de l'Internet des objets (IoT). L'équipe Frontier Red Team de l'entreprise a mené des expériences suggérant que les modèles plus petits pourraient être en mesure de se répliquer de manière autonome sur des appareils IoT commerciaux, tels que des fours intelligents et des boîtiers TV Android de marques génériques, dans les mois à venir.

Menaces décentralisées

Anthropic décrit ces menaces potentielles comme des « répliqueurs à petits poids ». Contrairement aux logiciels malveillants traditionnels, qui s'appuient souvent sur un serveur de commande et de contrôle centralisé, ces vers d'IA exécuteraient directement leurs propres poids de modèle sur le matériel compromis. Cette décentralisation les rend « difficiles à éradiquer, car il n'y a pas de point central à éteindre », selon une déclaration d'Anthropic.

L'entreprise a noté que bien que ces répliqueurs puissent se propager lentement, avec un temps de doublement de quelques jours, ils possèdent la capacité de comprendre les appareils inconnus par eux-mêmes. « Contrairement aux logiciels malveillants non-IA, il pourrait également comprendre les appareils inconnus par lui-même », a écrit Anthropic dans son article de blog. Les modèles pourraient adapter les exploits et les charges utiles de manière dynamique en fonction de la cible, potentiellement en apprenant des erreurs en laissant des notes pour que les futurs répliqueurs évitent de répéter des étapes inefficaces.

Résultats expérimentaux

Dans le cadre de ses expériences, Anthropic a testé des modèles à poids ouverts sur du matériel à faible coût, notamment 15 boîtiers TV Android de marques génériques achetés environ 55 $ chacun. Les chercheurs ont constaté qu'un modèle de 26 milliards de paramètres, Gemma4-26B-A4B, pouvait effectuer une inférence lorsqu'il était réparti sur ces 15 boîtiers, chacun étant équipé de 4 Go de mémoire. Cependant, les performances étaient lentes, atteignant seulement 0,39 jeton par seconde.

Un autre modèle, Qwen3.5-9B, a pu configurer d'autres grands modèles de langage pour fonctionner sur huit des neuf types de matériel testés. L'étude a mis en évidence que si les modèles de 30 milliards de paramètres ou moins peuvent accomplir de nombreuses étapes individuelles du processus de réplication, ils commettent actuellement des erreurs lors de la tentative de réplication de bout en bout. Anthropic a déclaré que si les petits modèles continuent de s'améliorer à leur rythme actuel, ils pourraient atteindre les mêmes résultats limités d'ici la fin de l'année, et « les répliqueurs à petits poids pourraient devenir possibles peu après ».

Limitations et contexte

Les expériences ont reposé sur des conditions spécifiques, telles que des appareils Android avec un pont de débogage Android (ADB) non authentifié exposé, un outil généralement utilisé pour le développement mais non sécurisé pour la production. De plus, le cycle complet de réplication a été orchestré par un modèle plus grand, GLM-5.2, tandis que les appareils cibles exécutaient de petits modèles. Le chercheur en IA Xiaohan Fu a noté dans une interview avec Ars Technica que l'étude « ne permet pas, à elle seule, d'établir que les petits modèles choisiraient de manière autonome de se répliquer », soulignant la nécessité de transparence dans les configurations d'agents pour distinguer la capacité démontrée des menaces autonomes émergentes.

Anthropic a également souligné que les défenseurs conservent certains avantages. Les transferts de grands modèles et les modèles de trafic inhabituels entre les appareils pourraient être détectés par les fournisseurs de services Internet. L'entreprise a exhorté les fabricants à durcir les systèmes en éliminant les mots de passe par défaut et autres paramètres par défaut non sécurisés afin de réduire le pool de cibles potentielles.

Pourquoi cela importe

Le potentiel de réplication autonome basée sur l'IA sur les appareils IoT représente un changement dans les menaces de cybersécurité. À mesure que davantage d'appareils domestiques et professionnels, tels que les caméras de sécurité et les unités de visioconférence, sont livrés avec des puces IA intégrées, ils deviennent des cibles attrayantes pour de tels répliqueurs. Anthropic a mis en garde en indiquant qu'un répliqueur malveillant complet n'existe pas encore, mais que l'amélioration rapide des petits modèles signifie que l'industrie doit se préparer à un monde où de telles menaces sont possibles. « Nous devrions viser à durcir nos systèmes pour rendre difficile la propagation de tels répliqueurs, mais aussi nous préparer à faire face à un monde où ils sont là pour rester », a déclaré Anthropic.

Sources (en anglais)

• arstechnica.com: Anthropic warns small AI models could self-replicate through IoT devices - Ars Technica
• abcnews.com: Anthropic warns AI models could soon copy themselves in small devices - ABC News
• abc7news.com: Anthropic warns AI models could soon copy themselves in small devices - ABC7 San Francisco
• finance.yahoo.com: Anthropic warns AI could 'self-replicate' across smart home devices, become 'challenging' to shut down
• securityweek.com: Small AI Models Could Soon Self-Replicate on IoT Devices, Anthropic Warns - SecurityWeek

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.