Российские разработчики выпустили семейство генеративных моделей для создания синтетических видео, которые можно использовать при обучении роботов, беспилотного транспорта и промышленных систем.

Модель опубликовали в открытом доступе, разрешив разработчикам бесплатно использовать и дорабатывать ее.

Семейство Kandinsky WM 1.0 создано на базе облегченной модели генерации видео и дополнительно обучено на нескольких миллионах записей с камер роботов, беспилотных автомобилей и промышленных объектов. Использованная в его основе видеомодель, по заверениям авторов проекта, насчитывает 2 млрд параметров.

Система создает ролики продолжительностью около пяти секунд. В них могут быть показаны захват и перемещение предметов, перестроение автомобиля, проезд перекрестка или отдельные этапы производственного процесса. Такие материалы предназначены в том числе для отработки редких и опасных ситуаций, которые трудно воспроизвести в реальных условиях: аварий, экстремальной погоды и отказов оборудования.

Чтобы повысить физическую достоверность видео, разработчики применили обучение с подкреплением. Специальные модели оценивали сохранение формы объектов, геометрию сцены и естественность движения, после чего результаты использовались как обратная связь при дообучении.

Разработка относится к направлению Physical AI, или физического ИИ. Такие системы должны воспринимать окружающую среду, учитывать ее изменения и управлять реальными устройствами. Одной из основных проблем в этой области остается нехватка открытых видеоданных: их сбор требует техники, датчиков, операторов и контролируемых условий.

В дальнейшем такие технологии планируется развивать в сторону моделей мира, способных моделировать изменение сцены во времени и использоваться при обучении и тестировании роботов. Сроки появления следующего поколения моделей не названы.