AI 代理在长期决策中缺乏良好品味,新基准证明了这一点
Taste‑Bench 共 502 题,评测 14 种模型,GPT‑5.6 Sol 最高 59.7 %,GPT‑5.5 59.5 %,其余模型远低于 25 % 的随机猜测。通过 Qwen3.6‑27B 进行知识蒸馏,学生模型从 30 % 提升至 47.9 %,并使 SWE‑bench Pro 的成功率从 14.6 % 提升至 33.7 %。
阅读原文 来源:The Decoder
Taste‑Bench 共 502 题,评测 14 种模型,GPT‑5.6 Sol 最高 59.7 %,GPT‑5.5 59.5 %,其余模型远低于 25 % 的随机猜测。通过 Qwen3.6‑27B 进行知识蒸馏,学生模型从 30 % 提升至 47.9 %,并使 SWE‑bench Pro 的成功率从 14.6 % 提升至 33.7 %。