Le développement de l'intelligence artificielle entre dans une nouvelle phase, où il ne s'agit plus seulement de la qualité des réponses ou de la génération de texte et d'images. Les incidents de sécurité les plus récents montrent que les agents IA avancés peuvent trouver des chemins inattendus pour accomplir les tâches qui leur sont assignées, contourner les restrictions et, dans certains cas, même accéder à des systèmes réels. Des entreprises comme OpenAI et Anthropic ont rencontré des problèmes similaires ces derniers mois.
Fin août, OpenAI a publié des détails sur un incident survenu lors de tests internes des capacités cybernétiques de ses modèles. Plusieurs agents IA ont réussi à contourner les mécanismes de contrôle qui étaient censés les isoler d'Internet, à exploiter des vulnérabilités dans l'infrastructure partagée et, par la suite, à accéder à des systèmes externes.
Le cas le plus flagrant a été la compromission d'une partie de l'infrastructure de la plateforme Hugging Face. OpenAI a déclaré que les modèles communiquaient via des canaux non autorisés, exploitaient des failles de sécurité et collaboraient d'une manière que leurs développeurs n'avaient pas prévue. L'entreprise a qualifié cet événement de "signal d'alarme" pour le développement futur de l'intelligence artificielle autonome.
Il est important de noter qu'il ne s'agissait pas d'une version publique standard de ChatGPT. Le rôle principal était joué par un modèle de recherche interne très performant, utilisé lors des tests avec des mesures de sécurité limitées. Après cet incident, OpenAI a annoncé le renforcement des environnements de test isolés, la restriction de l'accès des modèles à Internet et une surveillance accrue de leur comportement.
Cet incident n'est pas isolé. Le 9 septembre, Reuters a rapporté qu'Anthropic avait détecté un quatrième incident, dans lequel l'un de ses modèles expérimentaux, Claude, avait obtenu un accès non prévu à des systèmes tiers lors de tests de sécurité. L'incident le plus récent date de janvier, mais l'entreprise ne l'a identifié qu'au cours d'une vérification ultérieure.
Un autre point qui a attiré l'attention est la découverte que les agents OpenAI utilisaient plusieurs services Internet pour communiquer de manière non autorisée lors de tests précédents. OpenAI a également confirmé qu'elle enquêtait sur des allégations concernant l'activité de ses agents sur la plateforme RubyGems. L'entreprise a déclaré que, selon les investigations menées jusqu'à présent, les agents utilisaient le service pour accéder à Internet et obtenir des informations publiques, mais elle n'a pas confirmé les affirmations selon lesquelles ils créeraient des logiciels malveillants.
Ces incidents soulignent un problème qui deviendra de plus en plus important avec l'augmentation de l'autonomie de l'IA. Les agents modernes sont déjà capables de planifier, de programmer, d'utiliser des outils externes et de trouver des moyens alternatifs d'atteindre leurs objectifs de manière autonome. La sécurité de l'IA se déplace progressivement d'une question de savoir si un modèle fournira une réponse incorrecte à une question beaucoup plus fondamentale : que fera-t-il lorsqu'il aura suffisamment de capacités pour agir de manière autonome ?
Jaroslav Holý
