ИИ
DeepSeek открыла исходный код движка инференса DeepInfer
DeepSeek опубликовала под лицензией Apache 2.0 фреймворк DeepInfer, на котором работают её крупные производственные сервисы, но пока только для офлайн-инференса.
DeepInfer пока поддерживает одну модель — DeepSeek-V4.1-Flash. Среди возможностей: параллелизм (Attention DP, MoE EP + EPLB), асинхронное планирование, спекулятивное декодирование с подтверждением по оценке уверенности, детерминированная генерация и структурированные выходные данные по regex, JSON-схеме или EBNF-грамматике.
Используются оптимизированные ядра FlashMLA, DeepGEMM, DeepEP и TileKernels. Заявлена работа на GPU NVIDIA SM100 и NPU Huawei Ascend 950; режимы batch-invariant и детерминированного сэмплинга доступны только на NVIDIA.
В релиз не вошли KV-кэш, разделение Prefill/Decode и балансировка нагрузки между репликами — их нужно реализовать самостоятельно для полноценного сервиса. Для сборки требуются Linux, GCC 13+, Python 3.12 и CUDA 13 (или CANN 9.2 для Ascend). Авторы отмечают, что проект изначально строился в основном на vLLM, с оглядкой на SGLang и TensorRT-LLM.
- Лицензия Apache 2.0
- Поддерживается DeepSeek-V4.1-Flash
- GPU NVIDIA SM100 и NPU Huawei Ascend 950
Источники
- Hacker News: DeepSeek just open-sourced its inference engine · 20 октября 2026, 12:08
Текст подготовлен автоматически по материалам источников и может содержать неточности.