跳到正文
The Decoder· Jonathan Kemper·· 7 天前

Fancy harnesses make coding agents more expensive but not better, study finds

Fancy harnesses make coding agents more expensive but not better, study finds

原始来源:The Decoder阅读原始报道
AI 导读

研究发现,使用不同的编码代理套件对模型性能影响极小,差异可与单次重复运行的噪音相提并论;OpenCode 在大规模任务中因输出限制落后约 9 点,且无法通过续写提示词修复。套件的主要成本驱动在于系统提示词与工具描述,Claude Code 的系统提示词约 16,600 字符,使单次任务成本最高可达 mini-SWE-agent 的 3 倍,但这并未转化为性能提升。

来源:The Decoder · the-decoder.com