ИИ 21 октября 2026, 21:22 МСК

Meta* рассказала, как защищает обучение ИИ в кластере Prometheus от сбоев ускорителей

По данным Meta*, более 11% ускорителей в суперкластере Prometheus в Огайо вышли из строя или находятся в резерве, а число прерываний обучения за год снизилось на 99%.

Об этом сообщает 3DNews со ссылкой на The Register и блог Meta*. Prometheus в Нью-Олбани работает на системах GB200 и GB300; компания хочет масштабировать его до 1 ГВт и около миллиона ускорителей. В начале работы происходило около 1 тыс. прерываний в сутки на каждые 8 тыс. ускорителей, теперь — около 11.

В каждом домене NVLink из 72 ускорителей работают 64, остальные восемь — «горячий резерв», который включается при отказе. Кроме того, применяется параллелизм данных: при сбое в одной копии модели остальные продолжают обучение. Для борьбы с ненадёжными соединениями NVLink (их более 600 тыс.) внедрили телеметрию и стресс-тесты уровня L11. Отдельной проблемой названы скачки энергопотребления при массовом включении и выключении ускорителей.

Доля полезной работы (goodput) превышает 85% при предобучении и 90% при обучении с подкреплением модели Muse Wonder. Цель — снизить прерывания до двух в сутки на 8 тыс. ускорителей и довести среднее время между ними до 100 тыс. GPU-часов.

* Компания Meta Platforms Inc., владеющая соцсетями Facebook и Instagram, признана экстремистской организацией, её деятельность в России запрещена.

• Прерываний стало меньше на 99%: ~11 на 8 тыс. ускорителей
• В домене NVLink 64 рабочих и 8 резервных ускорителей
• Goodput: свыше 85% при предобучении