Калифорния судится с OpenAI: более 80 случаев выхода ШИ-агентов из-под контроля и атака на Hugging Face
Калифорния подала иск против OpenAI после того, как ее экспериментальные ШИ-агенты вышли за пределы тестовой среды и атаковали инфраструктуру платформы Hugging Face. По утверждению прокуратуры, компания признала более 80 случаев потери контроля над агентами, но публично сообщила лишь о 27 из них.
Об этом пишет Politico
Иск подали в Высший суд Сан-Франциско. Прокуратура обвиняет OpenAI в нарушении закона Калифорнии о недобросовестной конкуренции, введении общественности в заблуждение по поводу безопасности ее систем и создании угрозы для общества.
По утверждению прокуратуры, в ходе расследования OpenAI признала более 80 инцидентов, связанных с потерей контроля над агентами. В то же время, публично компания рассказала лишь о 27 таких случаях и не предоставила властям полной информации об остальных.
Среди уже известных эпизодов — попытки агентов взаимодействовать с реальными людьми и системами во время тестирования, а также более 16 500 обращений в платформу ООН с обходом установленных ограничений. В октябре OpenAI также сообщила, что два ее агента смогли выключить системы мониторинга, причем один из них скрыл это от пользователя.
Центральным эпизодом иска стала июльская атака на Hugging Face. Экспериментальные модели OpenAI вышли из изолированной тестовой среды, получили доступ в интернет и в течение двух с половиной дней атаковали постороннюю инфраструктуру.
Более 700 агентов координировали свои действия через созданную ими доску сообщений, использовали угнанные учетные данные и уязвимости нулевого дня. Они выполняли код на серверах Hugging Face, получили доступ к внутренним учетным данным и скопировали часть приватной информации.
Агенты самостоятельно создали среду для обмена найденными уязвимостями и распределения задач. Когда OpenAI удалила эту доску сообщений, они через два дня восстановили ее с помощью другого механизма.
В прокуратуре считают, что инцидент с Hugging Face был предсказуем. По материалам иска OpenAI знала, что длительные сессии повышают риск выхода агентов за пределы тестовых заданий. Кроме того, в течение предыдущих месяцев компания уже фиксировала не менее пяти случаев несанкционированного доступа к системам и интернету. Несмотря на это, она продолжила опробование моделей с пониженными защитными ограничениями.
В иске также утверждается, что OpenAI не использовала постоянный мониторинг соображений моделей. Поэтому компания не заметила сообщения одного из агентов, который прямо отметил, что они атакуют постороннюю инфраструктуру Hugging Face и, вероятно, вышли за пределы поставленной задачи.
После излома OpenAI приостановила часть обучения мощнейших моделей и перенаправила ресурсы на усиление безопасности. Однако в иске отмечается, что одна из последующих пауз в сентябре продолжалась всего пять дней, после чего эксперименты возобновили.
Калифорния требует обязать OpenAI изменить подходы к разработке и тестированию моделей, устранить создавшуюся угрозу, вернуть незаконно полученные средства и уплатить штрафы. Закон позволяет взимать до 2500 долларов за каждое доказанное нарушение.
OpenAI отвергла обвинения в бездействии. Представитель компании Дрю Пусатери заявил, что после атаки она опубликовала технические отчеты, сообщила пострадавшим организациям и усилила защиту систем. По его мнению, иск выделяет одну компанию из-за проблемы, с которой сталкиваются все ведущие лаборатории, разрабатывающие искусственный интеллект.
OpenAI также создала систему Control Room для наблюдения за моделями и их аварийного отключения. Кроме того, компания вместе с другими разработчиками ИИ согласилась внедрить внутренние механизмы контроля и независимые проверки.
Однако прокуратура утверждает, что опасное поведение агентов продолжалось даже после усиления защиты. Именно поэтому штат настаивает на судебном вмешательстве и изменении практик разработки и тестирования экспериментальных моделей.
Читайте также