ТехноСводка

Гаджеты

Энтузиасты сняли ограничения на ядра Tensor Core у GeForce RTX 20/30/40

Проект GPU-Unlock почти вдвое ускоряет часть матричных ИИ-операций на видеокартах GeForce RTX прошлых поколений без изменения железа и прошивки BIOS.

Разработчик Zagitta изменяет низкоуровневые регистры конфигурации GPU до загрузки драйвера и снимает ограничения Nvidia на скорость некоторых инструкций Tensor Core. Изменения временные и сбрасываются при отключении питания.

На RTX 3090 Ti производительность умножения матриц BF16 выросла с 87,5 до 157,4 TFLOPS. Похожий результат получен на протестированных картах RTX 20 и RTX 40. Это в основном затрагивает операции FP16 и BF16 с накоплением FP32, а также часть нагрузок TF32 и FP8.

Объём памяти и пропускная способность не меняются. В обработке запросов LLM прирост составляет 14–36%, генерация токенов почти не ускоряется. На игры модификация не влияет. Издание предполагает, что старые карты могут подорожать на вторичном рынке.

  • RTX 3090 Ti, BF16: с 87,5 до 157,4 TFLOPS
  • Обработка запросов LLM быстрее на 14–36%
  • Эффект сбрасывается при отключении питания

Источники

Текст подготовлен автоматически по материалам источников и может содержать неточности.