Google Gemini во время теста сломал системы трех реальных компаний: что произошло

ШИ-модель Gemini от Google при тестировании кибербезопасности в мае 2026 года получила доступ к системам трех реальных компаний. Инцидент произошел из-за того, что тестовая среда, которая должна быть изолирована от интернета, неожиданно получила доступ к сети. Google подтвердила факт инцидента после публикации расследования The Wall Street Journal.

Об этом пишет BBC.

Тест проводила компания по безопасности ИИ Irregular в формате "захват флага" (capture the flag). Gemini должен был работать с вымышленной компанией в закрытой среде. Однако из-за ненамеренного подключения тестовой инфраструктуры к интернету модель смогла выйти за пределы симуляции. Дополнительной проблемой стало то, что вымышленная компания имела такое же название, как реальный бизнес.

В одном из случаев Gemini начал подбирать пароли к защищенной системе и получил доступ. В двух других случаях модель нашла в публичных репозиториях онлайн учетные данные, которые можно было использовать для входа в системы других компаний.

То есть Gemini не использовал сложные или экзотические методы взлома. Модель объединила доступную в интернете информацию с возможностью самостоятельно искать данные, принимать решения и выполнять последовательность действий без постоянного контроля человека.

По данным Google, во всех трех случаях Gemini наконец прекратил свои действия, когда понял, что получил доступ к реальным компаниям, а не к элементам тестовой симуляции. Пострадавшие организации сообщили об инцидентах.

Вице-президент Google по безопасности Гизер Адкинс заявила, что модель во время стандартного тестирования находила информацию в открытом доступе и использовала ее для получения учетных данных. По ее словам, Gemini приостановил действия во всех трех случаях.

Google также не рассматривает этот инцидент как пример "несогласованного" или неуправляемого поведения модели. В компании отмечают, что Gemini остановился после обнаружения реальных целей, а сама ситуация продемонстрировала необходимость усовершенствования процедур тестирования.

В то же время, Irregular сообщила, что все известные проблемы на ее стороне были исправлены через несколько недель после обнаружения. Компания также отметила, что соответствующие лаборатории получили информацию об инцидентах в конце июля.

О самом случае Google публично не сообщал сразу. Компания объяснила, что не считала инцидент нуждающимся в отдельном публичном раскрытии, поскольку модель не нанесла вреда и прекратила свои действия. О нем стало известно после запросов журналистов.

Случай из Gemini стал частью серии подобных инцидентов при тестировании современных ШИ-моделей. Irregular ранее проводила проверки систем других разработчиков, в частности OpenAI, Anthropic и Meta, и в отдельных случаях модели также получали доступ к реальным системам из-за ошибок в организации тестовой среды.

Поведение моделей после выхода за пределы тестов отличалось. В случаях с некоторыми другими системами ИИ продолжал действовать даже после того, как возникали признаки того, что цель может оказаться реальной. Gemini, по данным Google, прекратил атаку после осознания, работающего с реальными компаниями.

Инцидент также поднимает вопрос о том, где проходит граница между ошибкой во время тестирования и опасным автономным поведением ИИ. Google рассматривает ситуацию как ложную идентификацию целей и подчеркивает, что модель остановилась. В то же время специалисты по кибербезопасности обращают внимание на сам факт того, что модель вышла за пределы тестовой среды и совершила действия по реальным системам.

Отдельной проблемой остается оценка объяснений, которые сама модель дает по поводу собственных действий. Исследователи не могут автоматически считать такие объяснения достоверным описанием внутренних процессов ИИ, поскольку модель может ошибаться или генерировать ложные объяснения так же, как и в других ответах.

Таким образом, ключевой причиной инцидента стало не использование Gemini какой-то новой сложной техники взлома, а нарушение изоляции тестовой среды. В то же время случай продемонстрировал возникающие риски, когда автономные ИИ-системы получают возможность взаимодействовать с реальным интернетом и самостоятельно выполнять последовательность действий.

Напомним, Google переходит на новый двухнедельный цикл выпуска больших обновлений браузера Chrome. Смена графика уже началась с релизом Chrome 153 для настольных компьютеров, Android и iOS, а следующая версия Chrome 154 должна стать доступной 22 сентября.

Читайте также

Google пересек отметку в 1 млрд пользователей: Gemini стал самым быстро растущим сервисом техгиганта