Инцидент описан в новом отчете подразделения Google Threat Intelligence Group, которое занимается анализом современных киберугроз. Исследователи утверждают, что злоумышленники использовали возможности генеративного ИИ для поиска сложной логической ошибки в популярном веб-инструменте администрирования.

Речь идет не о классической программной уязвимости вроде повреждения памяти или неправильной обработки данных. По словам Google, атака была основана на так называемой «семантически-логической ошибке» — скрытом недостатке в самой логике работы системы. Подобные уязвимости особенно трудно обнаруживать, поскольку они связаны с контекстом и внутренними взаимосвязями внутри приложения.

В Google считают, что именно современные языковые модели помогли злоумышленникам выявить такую проблему. Компания отмечает, что структура эксплойта содержала характерные признаки ИИ-генерации: необычно подробные комментарии, учебный стиль оформления Python-кода и даже автоматически добавленный рейтинг CVSS.

По данным GTIG, уязвимость позволяла обходить двухфакторную аутентификацию после получения логина и пароля пользователя. Google утверждает, что успела выявить и устранить проблему совместно с разработчиком сервиса до начала массовой эксплуатации.

В отчете также говорится, что государственные хакерские группы из Китая, России и Северной Кореи активно экспериментируют с ИИ-инструментами для разработки атак, анализа прошивок устройств и автоматизации поиска уязвимостей. В некоторых случаях злоумышленники даже использовали вымышленные роли «экспертов по безопасности», чтобы обходить ограничения самих ИИ-моделей.

Отдельную тревогу у исследователей вызывает развитие вредоносного ПО нового поколения. Google описывает Android-бэкдор PROMPTSPY, который использует API Gemini для анализа интерфейса смартфона и имитации действий пользователя. Такая программа способна самостоятельно нажимать кнопки, выполнять свайпы и даже воспроизводить жесты аутентификации без прямого управления человеком.

В компании признают, что искусственный интеллект стремительно превращается одновременно и в инструмент защиты, и в новое оружие для киберпреступников. В ответ Google уже разворачивает собственные ИИ-системы безопасности, предназначенные для автоматического поиска и устранения уязвимостей до того, как ими смогут воспользоваться злоумышленники.