⚡ 前沿动态

SlopCodeBench:36 个任务、196 个检查点,没有 Agent 能完整改完自己的代码

🕐 2026-11-03 研究前沿 🔥 55 次点击

HumanLayer 联合创始人兼 CEO Dex Horthy 在一场演讲中质疑"关灯运行的软件工厂"这一设想,并给出分阶段评测 SlopCodeBench:不把完整需求一次交给 Agent,而是先让它完成初版,再不断追加新需求,要求它在自己写过的代码上继续扩展。基准含 36 道任务、196 个阶段检查点,受测 Agent 无一完整完成全部任务,最佳严格通过率为 16.3%(十月更新;演讲时为 14.8%)。

  • 类别: 研究与论文
  • 事件时间: 2026-11-02(腾讯研究院 AI 速递等转述 HumanLayer 创始人 Dex Horthy 的演讲与十月更新)
  • 主要来源: [P2] Dex Horthy 演讲视频与十月更新;[P3] 51CTO 技术栈整理、腾讯研究院 AI 速递 20261103
  • 证据强度: C(本期未回溯到 SlopCodeBench 的原始仓库、榜单页面或十月更新的第一手发布;数字经中文技术媒体转述;该基准由一家编程 Agent 公司的创始人发布,存在利益相关)
  • 技术锚点: C(评测方法:分阶段、回归式检查点的设计)、D(能力边界:多轮迭代下的代码库质量退化)
  • 本篇关键词: SlopCodeBench、关灯软件工厂、HumanLayer、Dex Horthy、代码库维护、严格通过率、回归测试、架构退化、Agent 评测、代码审查

HumanLayer 是美国公司,做复杂代码库中的编程 Agent 协作产品,创始人兼 CEO 为 Dex Horthy。

这条的价值不在"Agent 不行",而在它换了一种评测方式:不看第一次能不能跑通,看改到第三轮、第四轮还能不能改得动。这是当前主流代码基准几乎都不测的东西。

一、研究背景

主流代码基准(从 HumanEval 到 SWE-bench 的早期形态)本质是让模型当补丁工:给一个报错上下文,改几行代码跑通单测。但真实软件团队的工作方式不是这样——一个产品上线后会被反复加需求、改行为,代码库要能接住下一张工单。

Dex Horthy 在演讲里点出的时间差是:测试能验证当前改动是否符合预期,但糟糕架构的代价按月、按年计算。一个 Agent 为交付眼前功能在三个地方各补一段判断,测试全过;下一次规则变化,团队就得找到并同步修改这三处。

二、研究方法和过程

SlopCodeBench 的设计要点是"分阶段给需求":

  • 不在一开始给出完整规格,而是先给 Initial Spec,让 Agent 完成初版;
  • 随后追加 Spec 2、Spec 3 等新需求,要求 Agent 在自己写过的代码上继续扩展;
  • 例:一个代码搜索工具任务,从 Python 基本搜索开始,后续逐步增加结构化匹配、自动修复与对 JavaScript/C++ 的支持。

检查点设计上有一个关键定义:严格通过指当前阶段及此前的回归测试均通过。这意味着后面的检查点不仅要求新功能可用,还要求前面的功能没被改坏。

规模为 36 道任务、196 个阶段检查点。

三、研究结果

1. 关键结果

指标 数值 口径
完整完成全部任务的 Agent 数 0 受测 Agent 中无一完整做完
最佳严格通过率(演讲时) 14.8% 各轮评测中最好的成绩
最佳严格通过率(十月更新) 16.3% 同上口径
严格通过的定义 当前阶段及此前回归测试全部通过 评测方定义

口径提示: 14.8% 与 16.3% 来自不同时间的评测,Horthy 本人明确说明这不是同一模型的前后对照。也就是说,从 14.8% 到 16.3% 的变化不能解读为"某个模型进步了",只能说明在后续评测中出现了更好的成绩。

2. 局限与复现状态

本期未能回溯到该基准的原始仓库或榜单页面,因此无法确认受测 Agent 的具体名单、版本、工具权限、运行环境与检查点判定代码。发布方 HumanLayer 本身是编程 Agent 产品公司,其创始人既有动机也有立场质疑"无人审查"路线——这不构成对结论的否证,但构成需要独立复核的理由。

四、相关研究横向对比

SlopCodeBench 与同期主流代码基准的差别主要在评测结构:前者测"连续迭代能力 + 回归不回退",后者多测"单次任务完成度"。2026 年一线厂商采购的代码数据已转向跨多语言仓库的从零构建(NL2Repo)与长周期工程妥协,评测侧出现分阶段设计是同一趋势的产物。官方未给出与 SWE-bench 系列的同口径对照,本期不作能力排名。

五、演讲给出的做法(非评测结论)

这一部分属于发布者的建议,不是评测结果,正文区分处理:大改动先花 20—30 分钟与 Agent 讨论模块划分与提交顺序再铺开实现;给 Agent 浏览器与运行中的应用,让它自己操作、截图、调用接口,而不是只看终端里的"测试通过";把真实用户反馈、线上报警与功能开关接进后续改动;保留计划、会话记录与架构文档。同时明确:候选修复 PR 不等于准许自动发布,人仍要决定是否合并。

待验证指标: 原始仓库与榜单页面是否公开;是否出现独立第三方用同一基准复现 16.3%;受测 Agent 名单与版本是否披露。

声明:文中数据及部分观点来源于网络,部分观点来源于个人分析和推理,仅供参考,不构成投资或商业决策建议。
您觉得本文:
资料来源
  1. Dex Horthy 演讲视频
← 返回 [前沿动态]