AWS Machine Learning Blog· Sunita Nadampalli·· 12 天前精选
AWS发布基于NIXL的推模式KV转移功能，提升vLLM分布式推理TTFT和TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
原始来源：AWS Machine Learning Blog阅读原始报道
AI 导读
AWS发布了基于NIXL的推模式KV转移功能，用于提升vLLM分布式推理的TTFT和TPOT。在使用Amazon EC2 P5en实例连接EFA的基准测试中，该功能对Qwen3-32B模型实现了最多3倍的TTFT提升和30%的TPOT改进，相比传统的拉模式显著降低了关键路径延迟。
推荐理由
原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
来源：AWS Machine Learning Blog · aws.amazon.com