跳到正文
GitHub Blog: AI & ML· Michelle Zhou·· 26 天前精选

ReviewBench:AI 代码评実开放基准

ReviewBench: An open benchmark for AI code review

原始来源:GitHub Blog: AI & ML阅读原始报道
AI 导读

ReviewBench 是一个基于 1.039 亿真实 Pull Request 的 AI 代码评実基准,包含 219 个跨语言的公开 PR,提供 grounded 与 augmented 等六项评估指标,支持按严重程度和类别切片评估。GitHub 利用该基准评估 Copilot 代码评実,预测了线上实验结果,展现出良好的线下线上一致性,并公开发布基准与评估方法,供社区自行评估与迭代。

推荐理由

ReviewBench 作为一个新的 AI 代码评� benchmark,提供了多维度的评估指标和可复用的评估方法,帮助开发者评估和对比代码宐�智能体的性能,是一篇值得阅读的技术解析。

来源:GitHub Blog: AI & ML · github.blog