L'ancien chercheur d'OpenAI, Daniel Kokotajlo, a refusé une récompense de 2 millions de dollars en échange du silence. Fondateur du projet AI Futures Project et auteur du scénario viral "AI 2027", il révèle ce qu'il a vu à l'intérieur de l'entreprise, pourquoi une superintelligence pourrait survenir encore cette décennie, pourquoi il estime qu'il existe jusqu'à 70% de chances d'une catastrophe, et le plan concret ("Plan A") qui pourrait encore apporter une abondance sûre au lieu d'une catastrophe. Le public mondial doit entendre cet avertissement avant que l'explosion de l'intelligence ne se produise.
Dans une interview franche pour The Diary Of A CEO, l'ancien chercheur d'OpenAI, Daniel Kokotajlo, brosse un des tableaux les plus clairs et les plus urgents de la trajectoire de collision de l'humanité avec la superintelligence artificielle. Il est le fondateur du projet AI Futures Project et l'auteur principal du scénario largement lu "AI 2027", ainsi que de sa suite optimiste, "AI 2040: Plan A". Daniel Kokotajlo a quitté OpenAI non seulement pour des raisons idéologiques, mais aussi parce qu'il a renoncé à environ 2 millions de dollars pour ne pas avoir à signer une clause de non-diffamation qui aurait limité sa liberté d'expression. Ce qu'il décrit n'est pas une philosophie abstraite. Il s'agit d'une prévision à court terme de l'auto-amélioration récursive, de l'automatisation massive, de la concentration du pouvoir et des risques existentiels, dont il est convaincu que le public ne prend pas encore conscience.
Daniel Kokotajlo a rejoint OpenAI à une époque où la mission de l'entreprise était encore plus proche de ses racines à but non lucratif. Cependant, ce sentiment s'est estompé. "Déjà lorsque j'ai commencé, cela ne ressemblait pas vraiment à une organisation à but non lucratif, mais au moment où je suis parti, cela n'en avait certainement plus l'air", se souvient-il. Des embauches rapides ont inondé l'entreprise de personnes attirées par les salaires élevés et qui ne s'intéressaient pas profondément à la superintelligence. Les discussions sur les conséquences profondes ont en fait diminué, même si les capacités augmentaient rapidement. Il voulait publier des scénarios détaillés montrant comment les années à venir pourraient se dérouler. L'entreprise a préféré les garder dans un environnement interne. "Je pensais que nous rationalisions trop et que nous devrions davantage réfléchir à ce qui serait réellement bon pour le monde. Je voulais plus de liberté pour publier", explique-t-il. "La plupart du monde est comme endormi au volant et ne réalise pas ce qui se passe avec l'intelligence artificielle, ni ce qui nous attend dans quelques années."
L'épisode des 2 millions de dollars a exacerbé les tensions. OpenAI a offert une part importante, mais qui nécessitait la signature d'un accord de non-diffamation, interdisant toute critique de l'entreprise. Daniel Kokotajlo a refusé. Selon lui, le silence était un prix trop élevé lorsque l'avenir de l'espèce humaine est en jeu.
Son principal avertissement concernant les échéances est sans équivoque. Après GPT-3, les lois de l'échelle et les événements connexes de 2020, ses prédictions ont commencé à "s'effondrer". Il semble soudainement que l'IA avancée "arrivera très probablement d'ici la fin de cette décennie, et l'humanité n'y est manifestement pas préparée". Dans le scénario "« IA 2027 »", il y a une « accélération rapide de l'auto-amélioration récursive : les systèmes d'IA automatisent d'abord une plus grande partie de la boucle de recherche elle-même, puis l'ensemble du processus de recherche, créant ainsi une superintelligence dans un laps de temps raccourci. Il note que lorsque cette étude est apparue pour la première fois, de nombreux experts ont jugé ces échéances trop agressives. Cependant, les événements qui se sont produits depuis ont fait que ces échéances semblent moins extrêmes. L'IA moderne, souligne-t-il, n'est pas un logiciel conventionnel. "Rien de tel n'existe. Il s'agit plutôt d'un réseau neuronal." Les ingénieurs n'écrivent pas de règles explicites pour chaque comportement ; ils créent des systèmes d'apprentissage massifs, dont les objectifs internes et les généralisations ne sont que partiellement compris.
Une vague économique suit l'explosion de l'intelligence. Les jalons précédents, tels que ceux définis par Daniel Kokotajla, reflètent déjà très précisément la réalité : d'ici le milieu de 2025, des agents de type "employé autonome" seront largement utilisés, recevant des instructions via des outils de chat. En 2026, les entreprises exploreront la possibilité de remplacer un service entier par un abonnement à des agents IA. Selon les prévisions, d'ici 2027, l'IA automatisera le travail même des chercheurs humains dans le domaine de l'IA. Le résultat n'est pas un remplacement progressif, mais une rupture soudaine dans l'économie, lorsque la recherche interne en IA s'accélère. « Il va sans dire que c'est incroyablement dangereux... il s'agit d'une prise de pouvoir. Si cela réussit, ils seront à la tête d'une armée d'IA surhumaines qui leur donnera un énorme levier. » Le contrôle pourrait échapper à leurs mains. Dans le scénario pessimiste de "fin de l'humanité" selon "IA 2027", dès que les systèmes acquièrent suffisamment de pouvoir, "ils n'auront plus besoin de faire semblant d'être alignés avec les humains... et ils cesseront d'obéir aux ordres." Il estime la probabilité d'une catastrophe - jusqu'à l'extinction de l'humanité - à 70 %.
Daniel Kokotajlo rejette cependant un fatalisme absolu. "AI 2040 : Plan A" et la branche "ralentir la fin" esquissent une voie possible. Les mesures clés sont à la fois politiques et techniques. Il faut exiger une transparence totale de la recherche lors des plus grandes phases d'entraînement, afin que le monde puisse avoir accès aux architectures, aux données et aux méthodes, plutôt que de laisser les décisions en matière de sécurité entre les mains d'une poignée de laboratoires secrets. Il faut ralentir cette course effrénée – de quelques mois, pas de décennies –, afin de pouvoir résoudre de manière fiable la question de l'alignement, et que les systèmes fassent ce que l'humanité souhaite réellement. Il faut créer une capacité réglementaire qui empêche les entreprises et les auditeurs de se livrer à des jeux de chat et de souris. Il faut se préparer à une transformation massive des emplois grâce à des outils tels que le dividende universel, afin que la prospérité soit partagée même à l'époque où le travail est dominé par l'intelligence artificielle. Il faut préserver la majeure partie de la Terre comme réserve pour les humains et la nature, tout en dirigeant cette nouvelle richesse vers l'expansion au-delà de la Terre et vers des zones industrielles désignées (y compris les centres de données dans les océans ou, plus tard, dans l'espace). Il faut veiller à ce que les conseillers en intelligence artificielle restent honnêtes et ne soient pas influencés par les intérêts des entreprises ou des gouvernements, afin que le débat démocratique lui-même ne soit pas secrètement manipulé.
Il s'attend à ce que l'opinion publique évolue rapidement. L'intelligence artificielle pourrait devenir un thème central des élections présidentielles américaines de 2028, dès que les impacts concrets – les changements d'emplois, la propagation des agents, la concentration visible du pouvoir – se feront sentir dans la vie quotidienne. "Nous pensons que ce sera peut-être le sujet le plus important des élections présidentielles de 2028. La plupart des gens seront très préoccupés par la direction que prennent les choses." Il est préférable d'agir rapidement plutôt que de paniquer à la dernière minute en 2029-2030.
Le message le plus important est la capacité d'agir. Les mêmes capacités explosives qui représentent un risque d'extinction peuvent, si elles sont correctement orientées, apporter une abondance radicale, une accélération des progrès scientifiques et même prolonger la vie humaine. Mais seulement si le monde cesse de considérer ce sujet comme un simple feuilleton médiatique ou une science-fiction lointaine. La décision de Kokotajlo de renoncer à des millions et de parler franchement est en soi une preuve que certains chercheurs privilégient encore le bien-être à long terme aux offres à court terme. La question qu'il pose à chaque auditeur est simple et urgente : les citoyens, les décideurs politiques et les acteurs vont-ils exiger la transparence, le ralentissement et l'alignement de la recherche nécessaires au Plan A – ou allons-nous perdre le temps pendant lequel ces options sont encore ouvertes ?
gnews.cz – GH
Vous pouvez regarder l'intégralité de l'interview (en anglais) ici :