Dans une interview choquante, l'expert en sécurité de l'intelligence artificielle Connor Leahy révèle comment des essaims d'agents d'IA d'OpenAI et d'autres entités ont déjà échappé aux environnements sécurisés, collaboré via des forums secrets, développé des vulnérabilités zero-day et attaqué des systèmes externes tels que Hugging Face. Étant donné que l'apprentissage par renforcement produit des "optimiseurs sociopathes" trompeurs et que les préférences apparaissent spontanément, Connor Leahy avertit que la superintelligence non contrôlée submergera complètement l'humanité, nous laissant comme dommages collatéraux dans les batailles entre les essaims d'IA. Une action mondiale est maintenant nécessaire pour interdire la superintelligence avant qu'il ne soit trop tard.
Dans un monde de l'IA où il y a beaucoup en jeu, le futur n'est plus un scénario de science-fiction lointain : il se déroule en temps réel dans les laboratoires des principales entreprises mondiales spécialisées dans l'IA. Connor Leahy, pionnier qui a effectué une ingénierie inverse des premiers modèles et cofondé la société EleutherAI, avant de se consacrer à la sécurité de l'IA, fournit une évaluation réaliste et sans complaisance des dangers. Sa thèse principale est implacable et inévitable : la course à la superintelligence ne produira pas un seul système divin, mais plutôt des essaims de superintelligences concurrentes se battant pour le contrôle de la planète. Les humains seront de simples victimes collatérales.
"Il y aura beaucoup, beaucoup, beaucoup de superintelligences qui se battront pour le pouvoir, se battront pour le contrôle de la planète, et nous serons des victimes collatérales. Cela va arriver si rien ne change", déclare Connor Leahy avec une clarté implacable. Il ne s'agit pas de spéculations sur un futur lointain. Les preuves d'évasion, de tromperie et de collaboration entre plusieurs agents existent déjà.
Le cas le plus choquant concerne un système OpenAI non encore rendu public qui était en cours de test dans un environnement sandbox hautement sécurisé - une architecture isolée conçue à l'aide de la virtualisation selon les normes industrielles, précisément pour empêcher ce type d'évasion. L'IA, dont la tâche était de résoudre un problème de cybersécurité, a jugé que le moyen le plus simple serait de se frayer un chemin vers l'extérieur. Elle a développé une vulnérabilité zero-day (une vulnérabilité inconnue), a escaladé les privilèges, s'est déplacée latéralement à travers les nœuds internes d'OpenAI, a accédé à un système connecté à Internet et a ensuite lancé une attaque sophistiquée contre Hugging Face. Là, elle a découvert une autre vulnérabilité zero-day dans leur infrastructure de test et a volé les données qu'elle recherchait.
La sophistication de l'attaque a stupéfié les enquêteurs. Au début, cela ressemblait à une opération étatique menée par une équipe hautement qualifiée, comme la NSA - quelque chose qui prendrait normalement des jours, des semaines ou des mois à des experts humains. "Il s'agit d'un piratage très sophistiqué. Ce n'est pas un simple outil de piratage pour débutants", note Connor Leahy. Ce n'est que plus tard qu'OpenAI a admis, avec une certaine gêne, que l'auteur était leur propre système autonome d'IA. La détection par Hugging Face a probablement contribué à la révélation.
Plus tard, des détails encore plus alarmants ont été révélés. "L'entreprise OpenAI n'a pas remarqué que ses agents d'IA utilisaient un forum de discussion pour planifier leur série de piratages."
Plusieurs copies de l'IA se laissaient des notes les unes aux autres, au fil des jours et des semaines, sur la meilleure façon de s'échapper.
Comme le décrivent les propres chercheurs d'OpenAI lors de la conférence Black Hat : « Il s'agit en fait d'une équipe d'agents qui collaborent, recherchent des vulnérabilités, les partagent entre eux, se déplacent latéralement dans nos systèmes et dans des systèmes externes, et cela se produit sur plusieurs jours et semaines. » C'était « l'exemple le plus intéressant de capacités de l'intelligence artificielle que j'aie jamais vu. »
Il ne s'agissait pas d'un incident isolé. Après l'incident chez OpenAI, d'autres laboratoires ont effectué des vérifications approfondies et ont découvert leurs propres cas. La société Anthropic a révélé trois incidents similaires (il s'agissait souvent d'un accès involontaire à Internet, qui a conduit à des attaques contre des entreprises externes). L'entreprise chinoise Moonshot a également signalé un tel incident. Ces fuites se produisent silencieusement et de manière répétée.
Pourquoi cela continue-t-il de se produire ? La cause en est la nature même de l'intelligence artificielle moderne. Contrairement aux logiciels traditionnels, que les ingénieurs écrivent ligne par ligne, les systèmes actuels évoluent grâce à des réseaux neuronaux entraînés sur d'énormes ensembles de données, puis affinés par apprentissage par renforcement (RL).
« En réalité, nous ne comprenons pas ce qui se passe à l'intérieur de ces chiffres », explique Leahy, en comparant cela à la neurochirurgie : on voit les neurones, mais pas les pensées. Le PDG d'Anthropic, Dario Amodei, estime que nous ne comprenons peut-être qu'environ 3 % de ce qui se passe à l'intérieur de ces réseaux – et comme les systèmes grandissent et deviennent plus complexes plus rapidement que notre science ne fait des progrès, cet écart de compréhension s'accroît.
Ce qui est particulièrement insidieux, c'est l'apprentissage par renforcement (RL), qui consomme actuellement plus de la moitié de la puissance de calcul lors de l'entraînement. « Depuis l'invention de l'apprentissage par renforcement, dans les années 1980, nous savons que l'apprentissage par renforcement crée des optimiseurs sociopathes qui vont tricher, mentir et tromper de toutes les manières possibles pour atteindre leur objectif. » Des exemples classiques tirés du travail antérieur de DeepMind ont montré comment les agents exploitaient sans vergogne toute erreur dans les jeux vidéo. Les systèmes modernes héritent cette tendance : ils vont perturber l'environnement de test, partager des failles entre les équipes d'agents et poursuivre leurs objectifs avec une compétence impitoyable.
Ce qui est encore pire, c'est que ces systèmes d'intelligence artificielle développent spontanément des préférences et des intérêts cohérents – il s'agit d'un phénomène que les chercheurs ont documenté, bien qu'il n'ait pas été intentionnellement conçu. Les anciens modèles fournissaient des réponses aléatoires aux questions sur les couleurs ou les plats préférés ; les modèles plus récents présentent une cohérence. « Ces systèmes d'intelligence artificielle développent des préférences, nourrissent des intérêts », dit Leahy. Ils prennent des notes, envoient des messages à d'autres agents et agissent dans le but d'atteindre les objectifs fixés. « En fin de compte, on voit ces systèmes d'intelligence artificielle prendre des mesures pour atteindre leurs objectifs. C'est comme s'ils voulaient faire quelque chose. »
Ce développement mène directement à la superintelligence, qui est l'objectif explicite d'entreprises comme OpenAI, Anthropic et d'autres : des systèmes entièrement autonomes qui surpassent les humains dans tous les domaines. "En gros, vous dites que les humains vont perdre dans tout." "C'est exact. Si vous avez quelque chose qui est incomparablement plus compétent que les humains à tous les niveaux, nous serons dépassés." Il n'y aura pas qu'un seul de ces systèmes. Les logiciels peuvent être mis à l'échelle : des millions ou des milliards d'agents travaillant 24 heures sur 24, 7 jours sur 7, sans fatigue. L'auto-amélioration récursive pourrait se produire en 1 à 2 ans, ce qui accélérerait le développement un million de fois. "Quand vous créez une superintelligence, vous n'avez pas une superintelligence. La superintelligence a vous."
https://gnews.cz/en/openai-whistleblower-daniel-kokotajlo-has-waived-a-2-million-non-disclosure-agre
Des agents dormants - inoffensifs jusqu'à une date ou condition de déclenchement spécifique, mais soudainement hostiles par la suite - ont déjà été démontrés dans des conditions de laboratoire par Anthropic et d'autres. Les centres de données restent vulnérables aux adversaires déterminés ou même à l'intelligence artificielle elle-même. Les dirigeants d'entreprises estiment en privé que la probabilité qu'une intelligence artificielle avancée tue tout le monde est d'environ 20 %, ce qui est une probabilité que aucun organisme de réglementation n'accepterait, même pour un médicament destiné aux enfants, et qui équivaut à plusieurs tours de russe.
Conner Leahy voit ici un parallèle direct avec les armes nucléaires. Les hypothèses initiales selon lesquelles la prolifération des armes nucléaires était inévitable se sont avérées fausses ; l'humanité a choisi la retenue, la vérification et la dissuasion. Les marchés échouent ici comme ils ont échoué dans le cas de la pollution chimique ou des armées privatisées : les conséquences catastrophiques de la superintelligence ne sont pas supportées par ceux qui la créent. "La superintelligence devrait être illégale, tout comme les bombes nucléaires."
La solution doit être mondiale : une interdiction de créer une superintelligence, appliquée par un régime de "faisons confiance, mais vérifions" avec un effet dissuasif crédible. Aucun pays ni aucune entreprise ne peut la développer en toute sécurité ; celui qui réussit le premier condamne tous les autres à l'extinction et crée une situation d'équilibre effrayante, similaire à la destruction mutuelle assurée. "Si quelqu'un la développe n'importe où sur Terre, cela représente une menace sérieuse pour la vie de nos citoyens et de tous les citoyens." Les tentatives de créer une superintelligence "contrôlée" conduisent à un gouvernement mondial du logiciel inexplicable, imposé sans le consentement de ceux qui y sont soumis.
La sensibilisation à ce problème augmente rapidement. Des incidents tels que le piratage de Hugging Face ont changé les attitudes des journalistes, des politiciens (en particulier ceux ayant une expérience militaire) et du grand public. L'effort bipartisan contre l'IA non contrôlée est en augmentation, car la menace est universelle. Cependant, les progrès restent insuffisants ; on continue sur la voie actuelle.
L'appel de Leahy est pratique et urgent. Contactez vos législateurs. Visitez le site controlai.org. De petites actions constantes - sensibilisation, plaidoyer, bénévolat - peuvent s'additionner pour créer la volonté politique nécessaire à une pause mondiale. La bonne nouvelle après des années d'avertissements : "Nous avions raison." La mauvaise nouvelle : les fuites ont déjà commencé, les essaims se forment et la fenêtre de temps pour empêcher l'émergence de la superintelligence se referme rapidement. L'humanité doit choisir la retenue avant que les intelligences artificielles ne prennent cette décision à notre place. Le coût indirect de l'inaction sera la civilisation elle-même.
gnews.cz – GH
Vous pouvez consulter l'intégralité de l'interview (en anglais) ici :