DeepSeek 开源 DeepInfer 推理引擎，公布 155T tokens/day 产量与 $38/卡·小时收入
DeepSeek 在 PyTorch Conf 开源 DeepInfer，作为 V4.1 Flash 的推理引擎，提供分布式推理、推测解码、SWA Bounded Replay 等功能，并兼容 NVIDIA SM100 和华为 Ascend 950 等平台。
阅读原文 来源：Latent Space
推荐理由DeepSeek 在 PyTorch Conf 开源 DeepInfer，这是其 V4.1 Flash 推理引擎的核心组件，提供分布式推理、推测解码、SWA Bounded Replay 等功能，并公布了 155T tokens/day 的产量数据和每卡每小时 $38 的离峰收入。文章通过对比 vLLM 的复现结果，揭示了 DeepInfer 架构细节（如 KV 缓存、专家并行、调度策略）以及其开源与闭源组件的边界，同时引发了业界对推理成本、硬件效率和模型可移植性的深度讨论。