ТехноСводка

ИИ

AWS выпустила TorchNeuron для запуска PyTorch-приложений на чипах Trainium

Amazon Web Services представила инструмент TorchNeuron, который позволяет запускать приложения на PyTorch на ИИ-чипе Trainium, изменив одну строку конфигурации.

По словам Amazon, переносить код не нужно: достаточно поменять одну строку настроек. Компания утверждает, что около 85% ИИ-приложений написаны на PyTorch. Этот открытый фреймворк сейчас входит в Linux Foundation, а Nvidia годами выстраивала поддержку PyTorch в своём ПО CUDA, из-за чего её оборудование стало выбором по умолчанию.

Amazon не первая, кто упрощает такой перенос: приложения на PyTorch можно запускать и на GPU AMD, и на чипах Apple. Свой козырь AWS видит в доступе ко всему облаку и в том, что один чип подходит и для обучения, и для инференса. По словам Колина Брейса из AWS Annapurna Labs, это улучшает экономику задач, даже если цена за токен не самая низкая. В пример он привёл Deepgram, которая после перехода на Trainium обрабатывает на 70% больше аудио на доллар.

Кроме того, Amazon заявляет, что будет вносить в основной проект PyTorch изменения, убирающие привязку фреймворка к конкретным чипам. TechCrunch отмечает, что пока неясно, даст ли это разработчикам больше выбора или только добавит сложностей с настройкой.

  • Перенос на Trainium — смена одной строки конфигурации
  • По оценке Amazon, на PyTorch написано около 85% ИИ-приложений
  • Deepgram: на 70% больше аудио на доллар

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.