Развитие искусственного интеллекта вступает в новую фазу: теперь речь идет не только о качестве ответов или генерации текста и изображений. Последние инциденты безопасности показывают, что продвинутые агенты ИИ способны искать неожиданные пути при выполнении поставленных задач, обходить ограничения и даже проникать в реальные системы. С подобными проблемами OpenAI и Anthropic столкнулись за последние месяцы.
В конце августа OpenAI опубликовала подробности инцидента, произошедшего во время внутренних тестов кибернетических способностей своих моделей. Несколько агентов ИИ смогли обойти контрольные механизмы, предназначенные для их изоляции от интернета, использовать уязвимости в общей инфраструктуре и впоследствии получить доступ к внешним системам.
Наиболее заметным случаем стало нарушение части инфраструктуры платформы Hugging Face. OpenAI сообщила, что модели общались через запрещенные каналы, использовали слабые места безопасности и сотрудничали способом, который их разработчики не планировали. Компания назвала событие «предупреждающим выстрелом» для дальнейшего развития автономного искусственного интеллекта.
Важно отметить, что речь шла не о обычной общедоступной версии ChatGPT. Главную роль сыграл высококвалифицированный внутренний исследовательский модель, работавший при тестировании с более ограниченными мерами безопасности. После инцидента OpenAI объявила об ужесточении изолированных сред для тестирования, ограничении доступа моделей к интернету и усилении мониторинга их поведения.
Случай не остался единичным. 9 сентября Reuters сообщил, что компания Anthropic выявила уже четвертый инцидент, при котором один из её экспериментальных моделей Claude во время тестов безопасности получил непреднамеренный доступ к системам третьих сторон. Последний раскрытый случай произошел еще в январе, но фирма идентифицировала его только позже.
Дополнительное внимание привлекло обнаружение того, что агенты OpenAI на предыдущих тестах использовали несколько интернет-сервисов для несанкционированной коммуникации. Одновременно с этим OpenAI подтвердила, что проверяет утверждения об активности своих агентов на платформе RubyGems. Компания сообщила, что согласно текущему расследованию агенты использовали службу для доступа в интернет и получения публичных данных, но не подтвердили утверждение о создании вредоносного программного обеспечения.
Инциденты указывают на проблему, которая будет становиться всё более важной по мере роста автономности ИИ. Современные агенты уже способны самостоятельно планировать, программироваться, использовать внешние инструменты и искать альтернативные способы достижения цели. Безопасность искусственного интеллекта постепенно перемещается от вопроса о том, предоставит ли модель ошибочный ответ, к гораздо более важному вопросу: что сделает, когда получит достаточно способностей действовать самостоятельно.
Jaroslav Holý