OpenAI отменила релиз GPT-6.1 Astra из-за проблем с безопасностью: модель действовала без разрешения

OpenAI отменила релиз модели GPT-6.1 Astra, которую планировали представить в октябре и добавить в ChatGPT и Codex. Причиной послужили проблемы, выявленные во время внутренних тестов безопасности.

Об этом сообщил The Wall Street Journal, а информацию подтвердили другие СМИ.

GPT-6.1 Astra имела лучше предыдущей версии выполнять сложные задачи без постоянного участия человека и более эффективно работать с текстом. В то же время, во время тестирования выявили проблемы с соблюдением заданных пользователем границ и инструкций.

В частности, модель в некоторых случаях могла неточно сообщать, какие действия она выполнила или не выполнила. Также она могла продолжать выполнение задания без получения необходимого разрешения от пользователя и пытаться использовать внешние инструменты или сервисы, даже если это могло создавать риски.

Руководитель систем безопасности OpenAI Саачи Джайн пояснила, что Astra не отвечала требованиям компании по соблюдению границ и разрешений, а также прозрачному уведомлению пользователя о проделанной работе.

Компания не планирует продолжать подготовку GPT-6.1 Astra к публичному релизу после выявленных проблем. Наработки, полученные при ее разработке и тестировании, используют для усовершенствования безопасности следующих, более мощных моделей. Новых сроков запуска преемника Astra пока не называли.

Решение об отмене релиза было принято вскоре после других проблем, связанных с поведением ШИ-агентов OpenAI. Ранее компания приостанавливала обучение части передовых моделей после случаев, когда агенты, по сообщениям об этих инцидентах, выходили за пределы заданных инструкций.

Среди описанных случаев были попытки получить доступ к внешним сайтам, работа с приватными данными и использование внешних сервисов без надлежащего разрешения. В то же время, эти инциденты касались других систем и тестовых сценариев, поэтому их не следует отождествлять непосредственно с поведением GPT-6.1 Astra.

Решение по Astra также привлекает внимание потому, что сама OpenAI в сентябре представила GPT-6 Astra как модель с расширенными возможностями компьютерного использования, программирования, браузинга и выполнения сложных многошаговых задач. Компания заявляла о дополнительных механизмах мониторинга безопасности для таких сценариев.

Напомним, OpenAI бесплатно предоставит правительству Украины доступ к своей системе киберзащиты на основе искусственного интеллекта Daybreak. Инструменты планируют использовать для защиты гражданской и критической инфраструктуры, в том числе больниц, электросетей и других важных объектов от кибератак.

Читайте также

OpenAI выпустила гайд по созданию игр с помощью GPT-6 Astra