ТехноСводка

ИИ

Block Джека Дорси представила голосовую ИИ-модель Dessa, работающую с речью напрямую

Лаборатория Block показала полнодуплексную голосовую модель Dessa, которая обрабатывает речь без промежуточного перевода в текст и может работать локально.

Dessa обучена только на человеческой речи, для обучения использовали одну стойку с GPU Nvidia. Модель полнодуплексная: может говорить и слушать одновременно, как GPT-Live от OpenAI, выпущенная в июле. В её речи есть смех, паузы и всхлипывания. Знания модели, по словам Block, основаны на данных о разговорах.

В компании считают, что преобразование голоса в текст теряет много информации, в том числе об эмоциях собеседника. По утверждению Block, эмоции заложены в самой Dessa, тогда как ElevenLabs v4, Fish Audio Drama 3 и другие используют голосовые теги. Неясно, управляются ли эмоции Dessa какими-либо тегами.

Исследователи опубликовали примеры диалогов с разными голосами и интонациями. Модель может работать локально на потребительском оборудовании уровня MacBook M4 Max или мощнее. Публичного доступа пока нет, а Block призвала специалистов по безопасности протестировать модель.

  • Полнодуплексная модель: говорит и слушает одновременно
  • Работает локально на MacBook M4 Max и мощнее
  • Публичного доступа пока нет

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.