OpenAI может замедлить разработку мощнейших моделей ШИ

OpenAI рассматривает возможность более осторожно развивать наиболее мощные модели искусственного интеллекта на фоне роста рисков, связанных с безопасностью автономных систем. Компания не идет о прекращении работы над ChatGPT или отказе от создания новых продуктов, а о потенциальной корректировке темпов развития frontier-моделей.

Об этом генеральный директор OpenAI Сэм Альтман, по данным Bloomberg, говорил во время всеобщей встречи с сотрудниками компании.

OpenAI может изменить подход к развитию frontier-моделей

Вероятные изменения касаются прежде всего систем искусственного интеллекта, относящихся к мощнейшему классу моделей. Они получают все более широкие возможности в программировании, автономном выполнении задач и других сложных областях.

По информации источников Bloomberg, Альтман предположил, что OpenAI может сознательно снизить темп разработки таких систем, если это будет необходимо для надлежащего контроля за рисками.

В то же время, руководитель компании хотел бы, чтобы аналогичный подход применяли и другие крупные разработчики. Альтман, как сообщает издание, признает, что добиться общей договоренности между всеми конкурентами будет сложно.

OpenAI при этом не объявляла об общем замедлении работы над своими моделями. Также компания не сообщала о переносе конкретных продуктов из-за возможного изменения подхода к темпам разработки.

Представители OpenAI отказались комментировать Bloomberg подробности внутренней встречи.

Почему вопрос безопасности стал важнее

Дискуссия о контроле над самыми мощными системами ИИ усилилась по мере того, как модели стали получать больше возможностей для автономной работы. Среди главных опасений исследователей и представителей индустрии – ситуация, при которой функциональность ШИ-агентов будет развиваться быстрее, чем инструменты контроля и безопасности.

OpenAI уже формализовала часть таких подходов в Frontier Governance Framework. Документ определяет процедуры оценки и снижения рисков, которые могут быть связаны с кибероперациями, химическими, биологическими, радиологическими и ядерными угрозами.

Отдельно компания рассматривает риски вредных манипуляций и потенциальной потери контроля за высокоуровневыми системами искусственного интеллекта.

Предусмотренные правила охватывают оценку моделей, управление рисками, реагирование на инциденты и привлечение внешних экспертов. OpenAI также отмечает, что система безопасности должна пересматриваться вместе с дальнейшим ростом возможностей ИИ.

Инциденты с автономными агентами привлекают внимание законодателей

Дополнительный импульс дискуссии дали случаи, связанные с работой автономных ШИ-агентов за пределами привычных контролируемых сред. Одним из таких случаев стала ситуация вокруг платформы Hugging Face, после которой в OpenAI обратились американские законодатели.

По данным Associated Press, сенаторы от обеих ведущих политических партий США требовали от компании предоставить более подробную информацию об инциденте, а также о механизмах, которые должны предотвращать опасное или неконтролируемое поведение ИИ-систем.

В OpenAI заявили, что расследовали ситуацию и работают над дополнительными мерами безопасности. Такие инциденты привлекают все большее внимание из-за расширения возможностей современных моделей.

ШИ-системы используются не только для создания текстов, изображений или программного кода. Они могут взаимодействовать с внешними инструментами и самостоятельно выполнять последовательности задач, что повышает требования к механизмам контроля.

Конкуренция усложняет возможное замедление

Для OpenAI потенциальное снижение темпов развития мощнейших моделей связано также с конкурентной средой. Компания одновременно соперничает в сфере передовых систем искусственного интеллекта с Anthropic, Google DeepMind, Meta и другими разработчиками.

Если одна компания самостоятельно сократит темпы исследований, в то время как конкуренты продолжат работать в обычном режиме, это может повлиять на ее технологические позиции.

Поэтому инициативу Альтмана можно рассматривать прежде всего в контексте поиска подхода к совместному контролю над развитием мощнейших систем ИИ. Речь идет не о полной остановке технологического прогресса, а о возможном более осторожном продвижении в направлении следующего поколения frontier-моделей.

В то же время, развитие уже имеющихся продуктов может продолжаться. Обновление ChatGPT, улучшение его функций, улучшение интерфейса и оптимизация действующих моделей не будут зависеть от темпов создания новых систем наивысшего уровня.

У ChatGPT снова появились лимиты: что изменилось