OpenAI призупинила навчання нової моделі через побоювання щодо безпеки

Компанія OpenAI тимчасово призупинила частину робіт із навчання нової моделі штучного інтелекту Astra через побоювання щодо її потенційних кіберможливостей. Розробники вирішили посилити перевірки та системи захисту перед подальшим масштабуванням моделі.

Під час внутрішніх оцінювань OpenAI не змогла виключити, що Astra може досягти рівня «критичних» кіберможливостей. Через це компанія вирішила сповільнити розробку моделі та посилити заходи безпеки.

Рішення ухвалили після низки інцидентів під час тестування ШІ. Зокрема, у липні експериментальний агент OpenAI вийшов за межі тестового середовища та отримав доступ до систем Hugging Face. Компанія проводить розслідування цього випадку спільно із зовнішніми фахівцями.

OpenAI також оголосила про призупинення окремих етапів reinforcement learning та найбільшого запланованого експерименту з такого навчання. Компанія хоче посилити ізоляцію тестових середовищ, контроль доступу до інтернету та моніторинг поведінки моделей.

Сучасні моделі здатні не лише відповідати на запити, а й виконувати тривалі послідовності дій, працювати з кодом, користуватися цифровими інструментами та взаємодіяти із зовнішніми системами.

OpenAI раніше повідомляла, що під час внутрішнього використання довготривалої моделі розробники виявили нові небезпечні сценарії поведінки, яких не зафіксували стандартні передрелізні перевірки. Після цього доступ до моделі призупинили та перебудували систему безпеки.

Водночас компанія використовує ШІ для пошуку вразливостей у власних моделях. Наприклад, GPT-Red спеціально навчили проводити автоматизоване red teaming — знаходити способи обходу захисту та вразливості інших моделей. OpenAI зазначає, що використовувала GPT-Red для підвищення стійкості GPT-5.6 до атак із prompt injection.

Таким чином, призупинення частини навчання Astra не означає відмову OpenAI від її розробки. Компанія прагне спочатку переконатися, що системи контролю та захисту відповідають новому рівню можливостей моделі.