Команда «Сбера Kandinsky» представила модуль Time Adapter для генеративных моделей видео. Он позволяет точнее управлять временной динамикой ролика. Эффектную картинку уже создают многие нейросети, но в видео у них все еще встречаются ошибки в темпе и последовательности движения. Например, если попросить нейросеть сгенерировать тормозящий автомобиль, его колеса могут вращаться не в такт движению. А в сцене с зажигающейся спичкой огонь иногда появляется раньше контакта с коробком.

Как объяснили разработчики, адаптер занимает менее 1% от размера основной модели. В нем предусмотрены два независимых блока. Первый работает с частотой кадров от 15 до 60 в секунду. Второй отвечает за то, в какой момент и с какой скоростью развивается действие внутри сцены. Благодаря этому можно раздельно управлять плавностью изображения и темпом: например, сохранить частоту 60 кадров в секунду, но замедлить жест персонажа или, наоборот, ускорить его.

Для обучения адаптера разработчики использовали 40 тыс. роликов с различной динамикой. Система сравнивала исходные видео с вариантами, в которых темп был изменен. По оценке авторов, совместное дообучение Time Adapter и Kandinsky 5.0 Video Lite повысило показатель естественности движения на 29%, визуального качества — на 8%, а соответствия текстовому запросу — на 19%.

Индустрия генерации видео работает и в близких направлениях. Модели учат достраивать промежуточные кадры, следовать заданным траекториям объектов и учитывать физические ограничения. Особенность Time Adapter в том, что он задуман как компактное дополнение к уже обученной модели, а не как новая архитектура видеогенератора целиком.

Такие решения могут пригодиться не только для рекламы, клипов и кино. С их помощью можно генерировать синтетические ролики для обучения систем компьютерного зрения и робототехники: например, распознавать последовательность действий при сборке деталей или перемещении объектов на производстве.

Александр Леви