Сбер представил ИИ Kandinsky WM 1.0 для создания видео за 5 секунд

Kandinsky WM 1.0: новый этап в создании видео с помощью ИИ

Сбер сделал прорыв в области искусственного интеллекта, открыв доступ к модели Kandinsky WM 1.0, способной создавать пятисекундные видеоролики с первого кадра. Модель сохраняет физическую достоверность форм и движений объектов, опираясь на 2 миллиарда параметров, и задаёт новые стандарты в генерации видео.

Три версии для разных задач

Сбер выпустил три специализированных варианта модели: K5-AV, K5-RO и K5-PH. K5-AV обучена на 1,5 миллионах видеозаписей автомобильных сцен. K5-RO ориентирована на робототехнику и создана на основе 2,2 миллионов видео с реальными домашними сценами. K5-PH предназначена для сложных физических сцен и обучалась на 1,6 миллионах видео, из которых 300 тысяч были тщательно отобраны экспертами Сбера.

Высокая производительность и открытая лицензия

Модель доступна под лицензией MIT и размещена на GitHub, GitVerse и Hugging Face. Kandinsky WM 1.0 требует подробного описания на английском языке и демонстрирует высокие результаты в трёх бенчмарках по физическому ИИ: 4-е место в PAI-Bench-G, 5-е в Physics-IQ Verified и 6-е в RBench. В внутренних тестах Сбера модель превосходит NVIDIA Cosmos-Predict2.5-2B примерно на 5% в автомобильной и робототехнической областях и на 2–3% в сложных физических и человеческих сценах.

Практическое применение и планы на будущее

Kandinsky WM 1.0 работает без серверных ферм и разрешён для коммерческого использования. Модель уже применяется в Сберовском Центре робототехники и институте AIRI. Сейчас она создаёт видео в неинтерактивном режиме, но команда Сбера планирует развивать технологию для интерактивных приложений.

Новый ИИ-модель Сбера открывает перспективы для более реалистичного и точного моделирования в робототехнике и сложных сценах, сохраняя физическую правдоподобность и детали объектов.