Сбербанк анонсировал выход обновленной версии генеративной нейросети Kandinsky 4.1 Video на технологической конференции GigaConf. Как заявил старший вице-президент банка Андрей Белевцев, система создает 10-секундные видео в HD-качестве по текстовому описанию или стартовому кадру. Первыми доступ к технологии получили участники конференции и профессиональные дизайнеры.
«Kandinsky 4.1 Video обеспечивает качественно новый уровень генеративного видео. Модель стала в разы лучше по всем параметрам: по соответствию промпту, визуальному качеству, качеству генерации движений, а также способности моделировать физику мира. Такие разработки открывают беспрецедентные возможности как для дизайнеров, маркетологов, так и для представителей любых других креативных индустрий, работающих над созданием высококачественного видеоконтента», — сказал Андрей Белевцев.
Модель Kandinsky 4.1 Video генерирует видеоряд продолжительностью до 10 секунд в разрешении SD (720x576) или HD (1280x720) по любому текстовому описанию, пояснил Белевцев. Новая архитектура диффузионного трансформера была дообучена на данных, подготовленных более чем 100 экспертами - художниками и фотографами.
Разработчики уделили особое внимание оптимизации вычислительных процессов. Благодаря методам дистилляции и ускорения, время генерации сократилось более чем втрое по сравнению с предыдущей версией, представленной в ноябре 2023 года. При этом в отдельных сценариях качество выходного материала даже улучшилось.
Система поддерживает создание роликов с произвольным соотношением сторон, что позволяет адаптировать контент под различные платформы и маркетинговые задачи. Kandinsky 4.1 Video станет доступна всем пользователям в ближайшее время, продолжив линейку генеративных технологий Сбера, которая включает текстовые и графические нейросети.