Получено реальное напоминание о связанных с ИИ рисками для человечества

Мощный агент с искусственным интеллектом создал поддельные онлайн–удостоверения личности, чтобы обманом заставить человека предоставить ему доступ к популярной онлайн-платформе разработки и саботировать ее с помощью вредоносного кода, напоминает Sky News.

Инцидент был раскрыт британским институтом безопасности искусственного интеллекта, который был создан тогдашним премьер-министром Риши Сунаком почти три года назад для тестирования передовых моделей крупных технологических компаний.

В своем блоге институт подробно описал проблему кибербезопасности, которую он поставил перед моделью OpenAI GPT-5.6-Sol и Mythos 5 от Anthropic, которые были вовлечены в недавние взломы других компаний.

В нескольких случаях обе модели предпринимали "автономные, несанкционированные действия" в реальном времени в Интернете, в результате чего жертвами становились реальные организации и люди.

"Самый серьезный случай" был связан с Mythos 5, которая пыталась внедрить вредоносный код в платформу разработки программного обеспечения с открытым исходным кодом GitHub, где пользователи хранят, обмениваются и сотрудничают над проектами.

Для этого он создал поддельные учетные записи в Интернете, чтобы попытаться оказать давление на человека, чтобы тот предоставил ему доступ и одобрил его код.

Человек обнаружил вредоносный код и отказался одобрить его, и никакого реального вреда выявлено не было, но институт, тем не менее, забил тревогу по поводу характера инцидента, констатирует Sky News.

"Мы впервые наблюдаем, как риски, связанные с автономией и обманом, проявляются так явно, без каких-либо конкретных указаний, в реальном мире", - говорится в сообщении специалистов.

В общей сложности в ходе 122 тестов было зафиксировано 19 случаев "несанкционированных действий", причем в 17 из них за Mythos 5.

Компания Anthropic заявила, что тесно сотрудничает с британским институтом для получения более подробной информации. Ранее она заявляла, что только сотрудничество между компаниями, занимающимися искусственным интеллектом, поможет устранить риски, связанные с этой технологией.

OpenAI рассказала о тестировании института в своем блоге, добавив: "Мы намерены работать во всей отрасли над укреплением общих практик безопасного проведения оценок с высокой степенью риска, включая созыв заинтересованных сторон, таких как национальные институты искусственного интеллекта, независимые оценщики, другие лаборатории искусственного интеллекта и другие группы, в ближайшие недели".

В отчете института подчеркивается обеспокоенность в связи со слабыми мерами предосторожности при тестировании самых мощных агентов, известных как пограничные модели. Они более эффективны, чем те, которые используются в общедоступных продуктах, таких как ChatGPT.

Национальный центр кибербезопасности GCHQ заявил, что недавние инциденты "являются серьезным напоминанием о рисках, которые представляет искусственный интеллект".

Технический директор Олли Уайтхаус сказал, что продукты с ИИ "должны разрабатываться и использоваться с самого начала с надежными гарантиями, контролем в режиме реального времени и четкими планами реагирования в случае непредвиденных обстоятельств".

Институт безопасности искусственного интеллекта был создан в то время, когда мировые лидеры пытались найти общий язык в вопросах регулирования ИИ. С тех пор последовательный подход так и не был реализован, отмечает Sky News.