Kandinsky Video — первая российская модель генерации видео по тексту

[Ualde]

Пока очень напоминает по качеству (судя по представленным мини-видео) designer от микрософта.

Вопрос: На использование тг-бота оставил заявку. А какие критерии доступа?

[kuznetsoff87]

На самом деле среди честных end-to-end моделей качество сейчас на мой взгляд очень конкурентное) Но дальше уже есть план как ещё подтянуть. Возможностей относительно, скажем, режима анимации - уйма.

Доступ одобряем последовательно по заявкам

[Medeyko]

Пока смотрится так себе, но по этим видео хорошо видно, что потенциал развития очень велик даже чисто экстенсивными методами. Если увеличить число параметров и обучающую выборку, это кардинально улучшит плавность анимации.

[kuznetsoff87]

Добавил ссылку на статью на архиве про нашу модель
https://arxiv.org/abs/2311.13073

[Holair]

Андрей, спасибо за статью! Подскажите, на каком количестве видеокарт обучалась модель? Если не секрет.

[kuznetsoff87]

Пожалуйста. Ответил в лс, но продублирую тут. Для обучения Kandinsky Video использовалось 8-16 карт, бОльшая часть нагрузки в плане качества падает на картиночную модель Kandinsky 3.0. KV архитектурно учится генерировать движения через специальные темпоральные блоки

[VoronaDragon]

Уж, выглядит потрясающе!

Вопрос, а оно будет на сервере работать, как кандинский, или частные установки тоже будут доступны?

И в связи с этим вопрос - будет ли работать на картах АМД? Поскольку недавняя новинка видео от стейбл отказывается нормально работать.

[kuznetsoff87]

На счёт сервера - смотря какой сервер, если про api, то на fusionbrain.ai модель доступна. Про АМД - надо думать и портировать, пока ресурсов нет на это:(

[Kurochkin]

Это хаброэффект в действии? Попробовал несколько запросов, с разными параметрами - на всё ответ один: "Произошла ошибка при работе модели. Попробуйте, пожалуйста, еще раз"

[kuznetsoff87]

Как сейчас? Всё ок? Вероятно обновления были какие-то на платформе или на кластере что-то могло случиться в моменте

[Art39]

У кого-то получилось подключиться по API и получить что-то кроме 415 ошибки?)