ТехноСводка

ИИ

«Сбер» открыл код и веса Kandinsky Avatar 1.0 для создания говорящих аватаров

«Сбер» выпустил под лицензией MIT модель Kandinsky Avatar 1.0, которая создаёт анимированного говорящего персонажа по изображению и записи речи.

Kandinsky Avatar 1.0 синхронизирует движения губ с аудио, добавляет мимику, жесты и повороты головы, а эмоции и манеру речи позволяет задавать текстом. Модель обучали на базе Kandinsky 5.0 Video с использованием 1,17 млн видеофрагментов на 95 языках.

Доступны версии Lite с 2 млрд параметров для SD-видео и Pro с 21 млрд параметров для HD-видео. Для запуска рекомендуются видеокарты Nvidia с 48 и 80 ГБ памяти соответственно; декодирование кадра по частям снижает пиковое потребление до 28 ГБ, но может оставлять заметные границы участков.

По представленным разработчиками результатам слепого сравнения, ролики Pro предпочитали видео Kling Avatar 2 в 63% случаев, LongCat-Avatar-1.5 — в 60%, HeyGen IV — в 54%. Код и веса бесплатно доступны на GitHub, GitVerse и Hugging Face для встраивания в продукты и дообучения под конкретные задачи.

  • Код и веса опубликованы под лицензией MIT
  • Lite: 2 млрд параметров; Pro: 21 млрд
  • Рекомендуемая видеопамять — 48 ГБ для SD и 80 ГБ для HD

Эта новость в выпуске №46

OpenAI нашла 948 уязвимостей Linux с рабочими эксплойтами

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.