Сбер открыл Time Adapter — модуль, который учит видеонейросети управлять скоростью действия в кадре
Генеративное видео учится «чувствовать» время — ещё один шаг к роликам, неотличимым от реальной съёмки, причём в открытом доступе.
Модуль размером меньше 1% от основной модели разделяет два раньше слитых параметра — частоту кадров (от 15 до 60 fps) и темп самого действия, так что можно получить замедленную съёмку или ускорение без переобучения базовой модели. Обучен на 40 тыс. роликов; вместе с Kandinsky 5.0 Video Lite естественность движений выросла на 29%, визуальное качество — на 8%, соответствие тексту — на 19%. Код выложен на Hugging Face под лицензией MIT, работа представлена на ICML.
Источники 2