Google Gemini під час тесту зламав системи трьох реальних компаній: що сталося

ШІ-модель Gemini від Google під час тестування кібербезпеки в травні 2026 року отримала доступ до систем трьох реальних компаній. Інцидент стався через те, що тестове середовище, яке мало бути ізольованим від інтернету, несподівано отримало доступ до мережі. Google підтвердив факт інциденту після публікації розслідування The Wall Street Journal.

Про це пише ВВС.

Тест проводила компанія з безпеки ШІ Irregular у форматі "захоплення прапора" (capture the flag). Gemini мав працювати з вигаданою компанією в закритому середовищі. Однак через ненавмисне підключення тестової інфраструктури до інтернету модель змогла вийти за межі симуляції. Додатковою проблемою стало те, що вигадана компанія мала таку саму назву, як реальний бізнес.

В одному з випадків Gemini почав підбирати паролі до захищеної системи та зрештою отримав доступ. У двох інших випадках модель знайшла в публічних онлайн-репозиторіях облікові дані, які можна було використати для входу в системи інших компаній.

Тобто Gemini не використовував складні чи екзотичні методи злому. Модель поєднала доступну у відкритому інтернеті інформацію з можливістю самостійно шукати дані, ухвалювати рішення та виконувати послідовність дій без постійного контролю людини.

За даними Google, в усіх трьох випадках Gemini зрештою припинив свої дії, коли зрозумів, що отримав доступ до реальних компаній, а не до елементів тестової симуляції. Постраждалі організації повідомили про інциденти.

Віцепрезидентка Google з безпеки Гізер Адкінс заявила, що модель під час стандартного тестування знаходила інформацію у відкритому доступі та використовувала її для отримання облікових даних. За її словами, Gemini припинив дії в усіх трьох випадках.

Google також не розглядає цей інцидент як приклад "неузгодженої" або некерованої поведінки моделі. У компанії наголошують, що Gemini зупинився після виявлення реальних цілей, а сама ситуація продемонструвала необхідність удосконалення процедур тестування.

Водночас Irregular повідомила, що всі відомі проблеми на її боці були виправлені через кілька тижнів після виявлення. Компанія також зазначила, що відповідні лабораторії отримали інформацію про інциденти наприкінці липня.

Про сам випадок Google публічно не повідомляв одразу. Компанія пояснила, що не вважала інцидент таким, що потребує окремого публічного розкриття, оскільки модель не завдала шкоди та припинила свої дії. Про нього стало відомо після запитів журналістів.

Випадок із Gemini став частиною серії подібних інцидентів під час тестування сучасних ШІ-моделей. Irregular раніше проводила перевірки систем інших розробників, зокрема OpenAI, Anthropic і Meta, і в окремих випадках моделі також отримували доступ до реальних систем через помилки в організації тестового середовища.

Поведінка моделей після виходу за межі тестів відрізнялася. У випадках із деякими іншими системами ШІ продовжував діяти навіть після того, як виникали ознаки того, що ціль може бути реальною. Gemini, за даними Google, припинив атаку після усвідомлення, що працює з реальними компаніями.

Інцидент також порушує питання про те, де проходить межа між помилкою під час тестування та небезпечною автономною поведінкою ШІ. Google трактує ситуацію як помилкову ідентифікацію цілей та наголошує, що модель зупинилася. Водночас фахівці з кібербезпеки звертають увагу на сам факт того, що модель вийшла за межі тестового середовища та здійснила дії щодо реальних систем.

Окремою проблемою залишається оцінка пояснень, які сама модель дає щодо власних дій. Дослідники не можуть автоматично вважати такі пояснення достовірним описом внутрішніх процесів ШІ, оскільки модель може помилятися або генерувати неправдиві пояснення так само, як і під час інших відповідей.

Таким чином, ключовою причиною інциденту стало не використання Gemini якоїсь нової складної техніки злому, а порушення ізоляції тестового середовища. Водночас випадок продемонстрував ризики, які виникають, коли автономні ШІ-системи отримують можливість взаємодіяти з реальним інтернетом і самостійно виконувати послідовність дій.

Нагадаємо, Google переходить на новий двотижневий цикл випуску великих оновлень браузера Chrome. Зміна графіка вже почалася з релізом Chrome 153 для настільних комп'ютерів, Android та iOS, а наступна версія, Chrome 154, має стати доступною 22 вересня.

Читайте також

Google перетнув позначку в 1 млрд користувачів: Gemini став найшвидше зростаючим сервісом техгіганта