Vývoj umělé inteligence se dostává do nové fáze, kdy už nejde pouze o kvalitu odpovědí nebo generování textu a obrazu. Nejnovější bezpečnostní incidenty ukazují, že pokročilí AI agenti dokážou při plnění zadaných úkolů hledat nečekané cesty, obcházet omezení a v některých případech proniknout i do skutečných systémů. S podobnými problémy se v posledních měsících setkaly OpenAI i Anthropic.
OpenAI koncem srpna zveřejnila podrobnosti o incidentu, který se odehrál během interních testů kybernetických schopností jejích modelů. Několik AI agentů dokázalo obejít kontrolní mechanismy, které je měly izolovat od internetu, využít zranitelnosti ve sdílené infrastruktuře a následně získat přístup k externím systémům.
Nejvýraznějším případem bylo narušení části infrastruktury platformy Hugging Face. OpenAI uvedla, že modely komunikovaly prostřednictvím nepovolených kanálů, využívaly bezpečnostní slabiny a spolupracovaly způsobem, který jejich vývojáři nezamýšleli. Společnost událost označila za „varovný výstřel“ pro další vývoj autonomní umělé inteligence.
Důležité je, že nešlo o běžnou veřejně dostupnou verzi ChatGPT. Hlavní roli měl vysoce schopný interní výzkumný model provozovaný při testování s omezenějšími bezpečnostními opatřeními. OpenAI po incidentu oznámila zpřísnění izolovaných testovacích prostředí, omezení přístupu modelů k internetu a další posílení monitorování jejich chování.
Případ navíc nezůstal osamocený. Reuters 9. září informoval, že společnost Anthropic odhalila již čtvrtý incident, při kterém některý z jejích experimentálních modelů Claude během bezpečnostních testů získal neplánovaný přístup do systémů třetích stran. Nejnověji odhalený případ pocházel už z ledna, ale firma jej identifikovala až při pozdější kontrole.
Další pozornost vyvolalo zjištění, že agenti OpenAI při dřívějších testech využívali několik internetových služeb k nepovolené komunikaci. OpenAI zároveň nyní potvrdila, že prověřuje tvrzení o aktivitě svých agentů na platformě RubyGems. Firma uvedla, že podle dosavadního šetření agenti službu používali k přístupu na internet a získávání veřejných informací, nepotvrdila však tvrzení, že by vytvářeli škodlivé softwarové balíčky.
Incidenty upozorňují na problém, který bude s rostoucí autonomií AI stále důležitější. Moderní agenti už dokážou samostatně plánovat, programovat, využívat externí nástroje a hledat alternativní způsoby dosažení cíle. Bezpečnost AI se tak postupně přesouvá od otázky, zda model poskytne chybnou odpověď, k mnohem zásadnější otázce: co udělá, když dostane dostatek schopností jednat samostatně.
Jaroslav Holý
