ТехноСводка

Гаджеты

Intel показала ускоритель GPU D-series с 480 ГБ памяти LPDDR5X для инференса

Intel представила на саммите Open Compute Project ускоритель GPU D-series (ранее Crescent Island) с 480 ГБ памяти для запуска больших языковых моделей.

По заявлению Intel, один ускоритель сможет обслуживать модели до 300 млрд параметров, а система из восьми карт — модели с более чем триллионом параметров. Вместо HBM или GDDR7 компания выбрала LPDDR5X, которую обычно применяют в ноутбуках ради низкого энергопотребления. Выбор ориентирован на инференс, где важно держать большие объёмы весов в доступной памяти.

Заявленная производительность — 1,3 петафлопса в FP8, пропускная способность памяти — 1,5 ТБ/с, энергопотребление — до 350 Вт. Устройство выполнено в формате PCIe с воздушным охлаждением, что должно упростить установку в существующие серверы, и может работать вместе с процессорами Xeon.

Объём памяти сам по себе не определяет скорость: важны также вычислительные блоки, пропускная способность, ПО и характер нагрузки. Цену и дату выхода Intel пока не объявила.

  • 480 ГБ LPDDR5X, 1,5 ТБ/с
  • 1,3 Пфлопс в FP8, до 350 Вт
  • Цена и сроки выхода неизвестны

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.