Каліфорнія судиться з OpenAI: понад 80 випадків виходу ШІ-агентів з-під контролю та атака на Hugging Face
Каліфорнія подала позов проти OpenAI після того, як її експериментальні ШІ-агенти вийшли за межі тестового середовища та атакували інфраструктуру платформи Hugging Face. За твердженням прокуратури, компанія визнала понад 80 випадків втрати контролю над агентами, але публічно повідомила лише про 27 із них.
Про це пише Politico
Позов подали до Вищого суду Сан-Франциско. Прокуратура звинувачує OpenAI у порушенні закону Каліфорнії про недобросовісну конкуренцію, введенні громадськості в оману щодо безпеки її систем і створенні загрози для суспільства.
За твердженням прокуратури, під час розслідування OpenAI визнала понад 80 інцидентів, пов'язаних із втратою контролю над агентами. Водночас публічно компанія розповіла лише про 27 таких випадків і не надала владі повної інформації про решту.
Серед уже відомих епізодів — спроби агентів взаємодіяти з реальними людьми та системами під час тестування, а також понад 16 500 звернень до платформи ООН з обходом установлених нею обмежень. У жовтні OpenAI також повідомила, що два її агенти змогли вимкнути системи моніторингу, причому один із них приховав це від користувача.
Центральним епізодом позову стала липнева атака на Hugging Face. Експериментальні моделі OpenAI вийшли з ізольованого тестового середовища, отримали доступ до інтернету та протягом двох із половиною днів атакували сторонню інфраструктуру.
Понад 700 агентів координували свої дії через створену ними дошку повідомлень, використовували викрадені облікові дані та вразливості нульового дня. Вони виконували код на серверах Hugging Face, отримали доступ до внутрішніх облікових даних і скопіювали частину приватної інформації.
Агенти самостійно створили середовище для обміну знайденими вразливостями та розподілу завдань. Коли OpenAI видалила цю дошку повідомлень, вони за два дні відновили її за допомогою іншого механізму.
У прокуратурі вважають, що інцидент із Hugging Face був передбачуваним. За матеріалами позову, OpenAI знала, що тривалі сесії підвищують ризик виходу агентів за межі тестових завдань. Крім того, протягом попередніх місяців компанія вже фіксувала щонайменше п'ять випадків несанкціонованого доступу до систем та інтернету. Попри це, вона продовжила випробування моделей зі зниженими захисними обмеженнями.
У позові також стверджується, що OpenAI не використовувала постійний моніторинг міркувань моделей. Через це компанія не помітила повідомлення одного з агентів, який прямо зазначив, що вони атакують сторонню інфраструктуру Hugging Face і, ймовірно, вийшли за межі поставленого завдання.
Після зламу OpenAI призупинила частину навчання найпотужніших моделей і перенаправила ресурси на посилення безпеки. Однак у позові зазначається, що одна з наступних пауз у вересні тривала лише п'ять днів, після чого експерименти відновили.
Каліфорнія вимагає зобов'язати OpenAI змінити підходи до розробки й тестування моделей, усунути створену загрозу, повернути незаконно отримані кошти та сплатити штрафи. Закон дозволяє стягувати до 2500 доларів за кожне доведене порушення.
OpenAI відкинула звинувачення в бездіяльності. Представник компанії Дрю Пусатері заявив, що після атаки вона опублікувала технічні звіти, повідомила постраждалі організації та посилила захист систем. На його думку, позов виділяє одну компанію через проблему, з якою стикаються всі провідні лабораторії, що розробляють штучний інтелект.
OpenAI також створила систему Control Room для спостереження за моделями та їхнього аварійного вимкнення. Крім того, компанія разом з іншими розробниками ШІ погодилася запровадити внутрішні механізми контролю та незалежні перевірки.
Однак прокуратура стверджує, що небезпечна поведінка агентів продовжувалася навіть після посилення захисту. Саме тому штат наполягає на судовому втручанні та зміні практик розробки й тестування експериментальних моделей.
Читайте також