SlopCodeBench:36 个任务、196 个检查点,没有 Agent 能完整改完自己的代码
HumanLayer 联合创始人兼 CEO Dex Horthy 在一场演讲中质疑"关灯运行的软件工厂"这一设想,并给出分阶段评测 SlopCodeBench:不把完整需求一次交给 Agent,而是先让它完成初版,再不断追加新需求,要求它在自己写过的代码上继续扩展。基准含 36 道任务、196 个阶段检查点,受测 Agent 无一完整完成全部任务,最佳严格通过率为 16.3%(十月更新;演讲时为 14.8%)。
- 类别: 研究与论文
- 事件时间: 2026-11-02(腾讯研究院 AI 速递等转述 HumanLayer 创始人 Dex Horthy 的演讲与十月更新)
- 主要来源: [P2] Dex Horthy 演讲视频与十月更新;[P3] 51CTO 技术栈整理、腾讯研究院 AI 速递 20261103
- 证据强度: C(本期未回溯到 SlopCodeBench 的原始仓库、榜单页面或十月更新的第一手发布;数字经中文技术媒体转述;该基准由一家编程 Agent 公司的创始人发布,存在利益相关)
- 技术锚点: C(评测方法:分阶段、回归式检查点的设计)、D(能力边界:多轮迭代下的代码库质量退化)
- 本篇关键词: SlopCodeBench、关灯软件工厂、HumanLayer、Dex Horthy、代码库维护、严格通过率、回归测试、架构退化、Agent 评测、代码审查
HumanLayer 是美国公司,做复杂代码库中的编程 Agent 协作产品,创始人兼 CEO 为 Dex Horthy。
这条的价值不在"Agent 不行",而在它换了一种评测方式:不看第一次能不能跑通,看改到第三轮、第四轮还能不能改得动。这是当前主流代码基准几乎都不测的东西。
一、研究背景
主流代码基准(从 HumanEval 到 SWE-bench 的早期形态)本质是让模型当补丁工:给一个报错上下文,改几行代码跑通单测。但真实软件团队的工作方式不是这样——一个产品上线后会被反复加需求、改行为,代码库要能接住下一张工单。
Dex Horthy 在演讲里点出的时间差是:测试能验证当前改动是否符合预期,但糟糕架构的代价按月、按年计算。一个 Agent 为交付眼前功能在三个地方各补一段判断,测试全过;下一次规则变化,团队就得找到并同步修改这三处。
二、研究方法和过程
SlopCodeBench 的设计要点是"分阶段给需求":
- 不在一开始给出完整规格,而是先给 Initial Spec,让 Agent 完成初版;
- 随后追加 Spec 2、Spec 3 等新需求,要求 Agent 在自己写过的代码上继续扩展;
- 例:一个代码搜索工具任务,从 Python 基本搜索开始,后续逐步增加结构化匹配、自动修复与对 JavaScript/C++ 的支持。
检查点设计上有一个关键定义:严格通过指当前阶段及此前的回归测试均通过。这意味着后面的检查点不仅要求新功能可用,还要求前面的功能没被改坏。
规模为 36 道任务、196 个阶段检查点。
三、研究结果
1. 关键结果
| 指标 | 数值 | 口径 |
|---|---|---|
| 完整完成全部任务的 Agent 数 | 0 | 受测 Agent 中无一完整做完 |
| 最佳严格通过率(演讲时) | 14.8% | 各轮评测中最好的成绩 |
| 最佳严格通过率(十月更新) | 16.3% | 同上口径 |
| 严格通过的定义 | 当前阶段及此前回归测试全部通过 | 评测方定义 |
口径提示: 14.8% 与 16.3% 来自不同时间的评测,Horthy 本人明确说明这不是同一模型的前后对照。也就是说,从 14.8% 到 16.3% 的变化不能解读为"某个模型进步了",只能说明在后续评测中出现了更好的成绩。
2. 局限与复现状态
本期未能回溯到该基准的原始仓库或榜单页面,因此无法确认受测 Agent 的具体名单、版本、工具权限、运行环境与检查点判定代码。发布方 HumanLayer 本身是编程 Agent 产品公司,其创始人既有动机也有立场质疑"无人审查"路线——这不构成对结论的否证,但构成需要独立复核的理由。
四、相关研究横向对比
SlopCodeBench 与同期主流代码基准的差别主要在评测结构:前者测"连续迭代能力 + 回归不回退",后者多测"单次任务完成度"。2026 年一线厂商采购的代码数据已转向跨多语言仓库的从零构建(NL2Repo)与长周期工程妥协,评测侧出现分阶段设计是同一趋势的产物。官方未给出与 SWE-bench 系列的同口径对照,本期不作能力排名。
五、演讲给出的做法(非评测结论)
这一部分属于发布者的建议,不是评测结果,正文区分处理:大改动先花 20—30 分钟与 Agent 讨论模块划分与提交顺序再铺开实现;给 Agent 浏览器与运行中的应用,让它自己操作、截图、调用接口,而不是只看终端里的"测试通过";把真实用户反馈、线上报警与功能开关接进后续改动;保留计划、会话记录与架构文档。同时明确:候选修复 PR 不等于准许自动发布,人仍要决定是否合并。
待验证指标: 原始仓库与榜单页面是否公开;是否出现独立第三方用同一基准复现 16.3%;受测 Agent 名单与版本是否披露。
- Dex Horthy 演讲视频