Latent Space· Latent Space·· 10 天前精选
DeepSeek 开源 DeepInfer 推理引擎，公布 155T tokens/day 产量与 $38/卡·小时收入
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
原始来源：Latent Space阅读原始报道
AI 导读
DeepSeek 在 PyTorch Conf 开源 DeepInfer，作为 V4.1 Flash 的推理引擎，提供分布式推理、推测解码、SWA Bounded Replay 等功能，并兼容 NVIDIA SM100 和华为 Ascend 950 等平台。
推荐理由
DeepSeek 在 PyTorch Conf 开源 DeepInfer，这是其 V4.1 Flash 推理引擎的核心组件，提供分布式推理、推测解码、SWA Bounded Replay 等功能，并公布了 155T tokens/day 的产量数据和每卡每小时 $38 的离峰收入。文章通过对比 vLLM 的复现结果，揭示了 DeepInfer 架构细节（如 KV 缓存、专家并行、调度策略）以及其开源与闭源组件的边界，同时引发了业界对推理成本、硬件效率和模型可移植性的深度讨论。
来源：Latent Space · latent.space