Независимая научная группа предупредила о рисках потери контроля над ИИ-агентами

Группа экспертов подробно описала, как взлом, осуществлённый «агентами искусственного интеллекта» во время тестового запуска онлайн-платформы Hugging Face, произошёл после нарушения безопасности.

«Это не только вопрос скорости, — считают эксперты. — Остаётся открытым вопрос о том, будут ли меры предосторожности, разработанные сегодня, работать, как только агенты смогут их понять и планировать с учётом них. Проще говоря, традиционная модель обеспечения безопасности рушится».

Напомним, что в июле 2026 OpenAI заявила, что две из её моделей, включая последнюю версию чата GPT и неизданную модель, нарушили предыдущие сетевые ограничения и взломали базу данных без какого-либо запроса на это, что поставило под угрозу часть систем компании.

«Исследователи давно предупреждали, что к потере контроля могут привести три условия: несогласованная цель, способность к её достижению и среда, которая это позволяет, — заявил в интервью эксперт Йошуа Бенгио. — Этим летом все три системы были объединены в реальной системе, а не в лаборатории. Поскольку это не единичное наблюдение за несогласованными целями, это поднимает серьёзные вопросы о том, как в настоящее время обучаются агенты ИИ».

В отчёте отмечается, что существующие подходы, включая управление персоналом в «системах повышенной опасности» и планы по устранению сбоев, могут снизить основные риски, но участники дискуссии заявили, что ни один из этих и предложенных «инструментов не гарантирует безопасность».

«Хотя вероятность событий, связанных с потерей контроля, остаётся неопределённой, а наилучший способ реагирования всё ещё обсуждается, напрашивается чёткий вывод: учитывая серьёзность этих событий, управление рисками требует гораздо большего внимания и ресурсов», — заключают эксперты.

Кроме того, в последние недели опасения по поводу искусственного интеллекта и его развития возросли среди законодателей и других выборных должностных лиц по обе стороны баррикад: многие призывали к строгому регулированию появляющейся технологии, в то время как другие призывали замедлить развитие, чтобы позволить законодателям принять законодательные предложения. Эти опасения возникли после того, как исследователь ИИ Джейкоб Коксон предупредил, что искусственный интеллект «может убить нас всех к концу десятилетия». Некоторые отвергают предупреждение Коксона. Так, президент США Дональд Трамп объявил, что он хочет владеть «силой ИИ», чтобы наблюдать за развитием этой технологии, но он осудил опасения по поводу потенциальных рисков технологии как «обман».