DeepSeek опубликовала исходный код DeepInfer, собственного фреймворка для инференса, через который компания обслуживает запросы к своим моделям. Пока он рассчитан на модель DeepSeek V4.1 Flash, а поддержку следующих моделей обещают добавить позже.

Веса моделей DeepSeek и раньше можно было скачать и запустить, например, через vLLM. Но скорость и стоимость работы во многом зависят от того, как софт распределяет запросы и нагрузку по чипам. Теперь разработчики получают те же оптимизации, что стоят за официальным API.

Что внутри

Проект вышел под лицензией Apache 2.0. В него вошли оптимизированные вычислительные ядра и библиотеки связи, включая ранее открытые FlashMLA, DeepGEMM и DeepEP, а также механизмы распределения инференса по нескольким чипам. Есть спекулятивное декодирование, асинхронное планирование задач и структурированный вывод, когда формат ответа модели задаётся заранее.

Вместе с движком компания обновила библиотеку deepseek-recipe для Rust и Python. Она отвечает за преобразование API-запросов во входные данные модели и обратно и помогает повторить поведение официального API в собственном развёртывании.

Чего пока нет

В 2025 году DeepSeek объясняла, что выложить движок целиком непрактично: он слишком завязан на внутреннюю инфраструктуру. Нынешний релиз это отчасти учитывает. Открытая версия ориентирована на офлайн-инференс, а управления KV-кэшем, разнесения этапов инференса по машинам и балансировки между репликами в ней пока нет. Эти части для полноценного сервиса придётся собирать самостоятельно.

Nvidia и Huawei рядом

С первого дня поддерживаются только две платформы: GPU Nvidia на архитектуре Blackwell (SM100) и NPU Huawei Ascend 950. Более старых карт, включая Hopper, в списке нет. Для DeepSeek это продолжение курса на китайское железо на фоне экспортных ограничений США.

Наш комментарий

Для тех, кто держит модели на своих серверах, это полезный ориентир: можно посмотреть, как крупный провайдер выжимает производительность из железа, и взять отдельные приёмы себе. Но планка входа высокая: без Blackwell или Ascend запустить DeepInfer не получится, так что большинству пока проще оставаться на vLLM или API. Подробности в материале The New Stack.