Российские ученые научили нейросети «понимать» течение времени в видео

Российские ученые разработали компактную надстройку для генеративных нейросетей, которая позволяет управлять динамикой событий и частотой кадров при создании видео. Разработка помогает моделям учитывать течение времени и создавать более естественные движения. Об этом сообщает ТАСС.

Ранее скорость происходящего в кадре во многом задавалась текстовым запросом, а напрямую управлять динамикой было сложно. Новая система позволяет модели учитывать, как события развиваются во времени, и задавать нужный ритм для разных сцен.

Проблема актуальна из-за того, что существующие модели не всегда корректно передают скорость событий. Быстрые действия могут выглядеть неестественно растянутыми, а медленные процессы — чрезмерно ускоренными. Одной из причин специалисты называют особенности архитектуры моделей и преобладание эстетики отдельных кадров при обучении над физической достоверностью.

Разработанный российскими математиками модуль подключается к готовой нейросети и состоит из двух независимых блоков. Один отвечает за частоту кадров, второй — за динамику событий. Для его обучения подготовили 40 тысяч видеороликов с разной частотой кадров и характером движения.

Система работает в двух режимах. В первом она подключается к уже обученной модели и улучшает плавность движений, сохраняя общий характер видео. Во втором модуль дообучается вместе с генеративной нейросетью, что позволяет менять не только плавность движений, но и физику происходящего в сцене.

Разработку протестировали на моделях Kandinsky 5.0 Video Lite и Wan2.2. По результатам исследований, естественность движений выросла на 29%, визуальное качество — на 8%, а соответствие видео текстовому запросу — на 19%.

Авторы считают, что технология может использоваться при создании физически правдоподобных синтетических данных для обучения физического искусственного интеллекта и будущих моделей мира, сообщает "Самара Онлайн 24".