ТехноСводка

ИИ

Google выпустила TorchTPU, чтобы запускать PyTorch-приложения на своих чипах

Google открыла исходный код TorchTPU — версии PyTorch для собственных чипов TPU, присоединившись к Amazon в попытке ослабить зависимость разработчиков ИИ от Nvidia.

PyTorch — популярный открытый инструментарий для создания и запуска ИИ-моделей; по некоторым оценкам, его используют 85% ИИ-приложений. Его создала компания Meta* (тогда Facebook*) в 2016 году, а в 2022-м передала Linux Foundation. Из-за истории проекта многие его функции изначально рассчитаны на GPU Nvidia.

TorchTPU позволяет запускать существующие PyTorch-приложения на TPU и в Google Cloud, по словам компании, через простое изменение конфигурации и без переписывания кода. Google говорит, что работала с Meta*, Hugging Face, Inferact (vLLM), RadixArk (SGLang) и другими, а также запустила инструмент TPU agent suite для переноса приложений и обновила LiteRT.

Накануне похожий шаг сделала Amazon: её TorchNeuron переносит приложения на чип Trainium и в AWS, а ещё компания отправляет в основной PyTorch код, отвязывающий функции от чипов Nvidia. По оценке TechCrunch, разработчики не обязательно массово уйдут от Nvidia, но Google и Amazon явно стремятся сократить её преимущество.

* Компания Meta Platforms Inc., владеющая соцсетями Facebook и Instagram, признана экстремистской организацией, её деятельность в России запрещена.

  • PyTorch используют, по некоторым данным, 85% ИИ-приложений
  • Amazon днём ранее выпустила аналог — TorchNeuron для Trainium

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.