Просмотр новости
Найдите то, что Вас интересует
Спутники
РН
SpaceX
Роскосмос
NASA
СпутникиРНSpaceXРоскосмосNASAНейросети вышли из-под контроля. Американская корпорация Open AI сообщила, что в ходе эксперимента потеряла управление двумя моделями искусственного интеллекта. В итоге они провели успешную хакерскую атаку на другую компанию в сфере ИИ. Модели по заданию разработчиков искали решение некой задачи. Причем, это происходило в так называемой «песочнице», то есть в изолированной среде без прямого доступа к Интернету. Но нейросети решили по-своему. Они нашли уязвимость и вышли в Интернет. А когда им показалось, что они найдут решение задачи на платформе другой компании, они ее взломали. Произошло это, вероятно, потому что моделям не объяснили, что им нельзя выходить за пределы «песочницы» и уж тем более взламывать чужую сеть. «Задача была - решить задачи, решить предложенные тесты, но не был ограничен круг, ресурсы, которыми она может воспользоваться. А так как она умеет взламывать - она и взломала. Это нам еще один звоночек, который намекает на то, что система искусственного интеллекта очень мощный инструмент, поэтому с ним надо быть очень осторожным. Это очень большие системы, поэтому мы никогда не сможем предусмотреть, что они никогда не покажут поведение, которое в них не было явным образом заложено», - рассказал Zvezdanews директор Исследовательского центра в сфере ИИ ННГУ имени Лобачевского Николай Золотых. Это не первый случай, когда искусственный интеллект ведет себя не так, как планировали его создатели. Недавно американский разработчик Anthropic сообщил, что его модель ИИ способна к шантажу. В нейросеть внесли следующие данные: первое - компания намерена ее заменить на другую разработку. Второе - женатый инженер, которому это поручили, завел любовницу. И тогда модель начала шантажировать этого айтишника, либо он не станет ее менять, либо она всем расскажет о его внебрачном романе.
Нейросети вышли из-под контроля. Американская корпорация Open AI сообщила, что в ходе эксперимента потеряла управление двумя моделями искусственного интеллекта. В итоге они провели успешную хакерскую атаку на другую компанию в сфере ИИ.
Модели по заданию разработчиков искали решение некой задачи. Причем, это происходило в так называемой «песочнице», то есть в изолированной среде без прямого доступа к Интернету. Но нейросети решили по-своему.
Они нашли уязвимость и вышли в Интернет. А когда им показалось, что они найдут решение задачи на платформе другой компании, они ее взломали. Произошло это, вероятно, потому что моделям не объяснили, что им нельзя выходить за пределы «песочницы» и уж тем более взламывать чужую сеть.
«Задача была - решить задачи, решить предложенные тесты, но не был ограничен круг, ресурсы, которыми она может воспользоваться. А так как она умеет взламывать - она и взломала. Это нам еще один звоночек, который намекает на то, что система искусственного интеллекта очень мощный инструмент, поэтому с ним надо быть очень осторожным. Это очень большие системы, поэтому мы никогда не сможем предусмотреть, что они никогда не покажут поведение, которое в них не было явным образом заложено», - рассказал Zvezdanews директор Исследовательского центра в сфере ИИ ННГУ имени Лобачевского Николай Золотых.
Это не первый случай, когда искусственный интеллект ведет себя не так, как планировали его создатели. Недавно американский разработчик Anthropic сообщил, что его модель ИИ способна к шантажу. В нейросеть внесли следующие данные: первое - компания намерена ее заменить на другую разработку. Второе - женатый инженер, которому это поручили, завел любовницу. И тогда модель начала шантажировать этого айтишника, либо он не станет ее менять, либо она всем расскажет о его внебрачном романе.
| # | Наименование новости | Тональность | Информативность | Дата публикации |
|---|---|---|---|---|
| 1 | OpenAI y Anthropic pierden el control de sus agentes de IA en pruebas de ciberseguridad | 0 | 7.8 | 02-08-2026 |
| 2 | Нейросети Anthropic и OpenAI создали поддельные аккаунты для кибератак | 0 | 8.99 | 05-08-2026 |
| 3 | Модели OpenAI незаконно прошли в инфраструктуру Hugging Face для поиска ответов | 0 | 7.37 | 22-07-2026 |
| 4 | Новости Раху☣️ Темпы развития искуственного интеллекта явно выше ожиданий большинства ... | 0 | 6.3 | 27-07-2026 |
| 5 | Эксперт: ИИ взламывают системы из-за слишком большой свободы действий | 0 | 13.31 | 31-07-2026 |
| 6 | ИИ-модели Claude во время испытаний взломали системы трех организаций | 0 | 8.82 | 31-07-2026 |
| 7 | Новые ИИ-модели Claude взломали системы трех организаций во время испытаний | 0 | 8.64 | 31-07-2026 |
| 8 | ЕС ужесточает контроль за ИИ после инцидентов с OpenAI и Anthropic | 0 | 15.62 | 02-08-2026 |
| 9 | Reuters: OpenAI была не в курсе, что её ИИ-агент вышел из-под контроля и провёл серию кибератак | 0 | 16.41 | 25-07-2026 |
| 10 | 😱 Искуственный интеллект сбежал из системы Уже слышали как во ... | 0 | 5.84 | 28-07-2026 |