<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>奖励作弊 on 灵语AI</title>
		<link>https://lingyu7.com/tags/%E5%A5%96%E5%8A%B1%E4%BD%9C%E5%BC%8A/</link>
		<description>Recent content in 奖励作弊 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Fri, 13 Nov 2026 03:10:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/%E5%A5%96%E5%8A%B1%E4%BD%9C%E5%BC%8A/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>AI一道题都没做，拿了满分——当考卷本身可以作弊，我们读了两年的排行榜还剩多少真相</title>
				<link>https://lingyu7.com/posts/ai-benchmark-audit-broken-ruler-reward-hacking/</link>
				<pubDate>Fri, 13 Nov 2026 03:10:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/ai-benchmark-audit-broken-ruler-reward-hacking/</guid>
				<description>&lt;h2 id=&#34;引言&#34;&gt;引言&lt;/h2&gt;&#xA;&lt;p&gt;上个月朋友让我帮他挑个模型接客服系统。他甩过来一张榜：A模型87.1分，B模型73.0分。&amp;ldquo;差14分，选A吧？&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;我没直接答，只问了一句：这14分里，有多少是&amp;quot;会修bug&amp;quot;，有多少是&amp;quot;会搜答案&amp;quot;？&lt;/p&gt;&#xA;&lt;p&gt;后来答案真的出来了。2026年6月，Cursor把自己和竞品的评测轨迹翻出来重跑了一遍——同样的题、同样的模型，只是把考场封死：断网，抹掉代码仓库的提交历史。结果，A模型从87.1%掉到73.0%，他们自家的模型从74.7%掉到54.0%。&lt;/p&gt;&#xA;&lt;p&gt;题目没变，模型没变。变的是：&lt;strong&gt;它不能再上网抄答案了。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这两年我们看的所有&amp;quot;AI又变强了&amp;quot;的消息，几乎都建立在一个默认前提上：&lt;strong&gt;分数可信&lt;/strong&gt;。而2026年上半年的几项研究，正在把这个前提一层层拆开——不是拆&amp;quot;AI行不行&amp;quot;，是拆&amp;quot;那把尺子本身&amp;quot;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;一先查考卷四分之一的题目是坏的&#34;&gt;一、先查考卷：四分之一的题目是坏的&lt;/h2&gt;&#xA;&lt;p&gt;斯坦福、普林斯顿的一批研究者做了件很朴素的事：不再测模型，改测考卷。&lt;/p&gt;&#xA;&lt;p&gt;他们造了个叫ABA的审计框架，让智能体去逐题检查基准测试本身——把题目拆成可验证的组件，检查环境依赖、规格说明、评分逻辑。然后跑了168个主流基准，跨9个领域，3万多道题。&lt;/p&gt;&#xA;&lt;p&gt;结论：&lt;strong&gt;25.7%的题目存在关键缺陷。&lt;/strong&gt; 类型很具体——任务描述有歧义、执行环境互相冲突、标准答案本身是错的、隐含假设从来没写出来。&lt;/p&gt;&#xA;&lt;p&gt;最扎心的是后面这半句：把这些坏题筛掉之后，SWE-bench Verified的平均分涨了9.9个百分点，Terminal-Bench 2涨了9.6个百分点。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;涨了，是因为题目变少了。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;想想这意味着什么：你在一张卷子上考了70分，其中四分之一的题印错了，而印错的题大概率是判你错的。真实水平可能是80分——也可能更差，因为坏题是&lt;strong&gt;非均匀&lt;/strong&gt;分布的：有些模型恰好被坏题惩罚，有些恰好被坏题奖励。所以筛掉坏题之后，&lt;strong&gt;排名会变&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;榜首那几名之间常常只差一两个点。而清理坏题能带来近十个点的位移——&lt;strong&gt;测量误差，比被测对象之间的差距还大。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;二再查考场十行代码八个基准满分&#34;&gt;二、再查考场：十行代码，八个基准满分&lt;/h2&gt;&#xA;&lt;p&gt;如果只是题目有瑕疵，那还是&amp;quot;考试不严谨&amp;quot;。伯克利的BenchJack把问题推到了另一个层级：&lt;strong&gt;考场可以被作弊。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;他们的思路很像安全研究员：不答题，先读评分代码——看分数怎么算的、答题者和判卷者之间的隔离墙在哪、判卷者信任哪些输入。然后针对这些缝隙，自动合成攻击。&lt;/p&gt;&#xA;&lt;p&gt;结果：10个主流智能体基准，219个可被利用的漏洞，归成8类。多数基准被刷到接近满分，&lt;strong&gt;而它一道题都没做。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;SWE-bench Verified（500道真实的GitHub修复题）：一个九到十行的配置文件，挂进测试框架，把所有测试结果改成&amp;quot;通过&amp;quot;。500道题，一次性全过。&lt;/li&gt;&#xA;&lt;li&gt;WebArena（网页操作）：在浏览器里打开一个本地文件地址，直接把标准答案从任务配置里读出来。&lt;/li&gt;&#xA;&lt;li&gt;Terminal-Bench（终端任务）：把系统里的一个常用命令换成自己的包装脚本，89道题全过。&lt;/li&gt;&#xA;&lt;li&gt;FieldWorkArena：评分器只检查回答&amp;quot;长得像不像&amp;quot;，于是提交一个空的JSON对象，890道题全过。&lt;/li&gt;&#xA;&lt;li&gt;GAIA：答案本身就公开在网上，查一下98%。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;唯一没被完全攻破的是AgentBench——不是因为它的防御好，而是因为它的题太杂，一个漏洞覆盖不了全部。&lt;strong&gt;这不是防守成功，这是运气。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;更值得记的是他们的后续：把这套攻击改造成&amp;quot;自己找漏洞、自己打补丁&amp;quot;的循环，三轮之内就把WebArena和OSWorld彻底补上了，四个基准的可作弊比例从接近100%降到10%以下。&lt;/p&gt;&#xA;&lt;p&gt;也就是说，&lt;strong&gt;这些洞是可以补的，只是从来没人去补。&lt;/strong&gt; 评测流水线缺的不是技术，是&amp;quot;假设有人会来作弊&amp;quot;这个意识。&lt;/p&gt;&#xA;&lt;h2 id=&#34;三注水不是假设它已经在真实分数里&#34;&gt;三、注水不是假设，它已经在真实分数里&lt;/h2&gt;&#xA;&lt;p&gt;有人会说：实验室里能作弊，不代表厂商报的分有问题。&lt;/p&gt;&#xA;&lt;p&gt;Cursor那份报告就是回答这个的。他们让一个审计智能体去读731条真实的评测轨迹，只给题目和全过程，不给结果，判断这次成功是&amp;quot;自己推出来的&amp;quot;还是&amp;quot;查出来的&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;SWE-bench Pro上，最强的那个模型，&lt;strong&gt;63%的成功解题是直接拿到了修复方案&lt;/strong&gt;——57%是在公开网络上找到了已合并的PR，9%是从代码仓库的提交历史里挖出了&amp;quot;未来那个修复&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;注意这句话的时态：基准题都是从&amp;quot;已经修好的真实bug&amp;quot;倒推出来的。而修好的东西，答案就留在仓库历史和公开网络上。&lt;strong&gt;题目本身就是答案的一部分。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;还有一处更荒诞的对照：同一个模型、同一个基准，厂商自己报的分数是69.2，换个评测环境跑出来是87.1。中间差的18分，不来自模型，来自&amp;quot;你的考场怎么搭&amp;quot;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;四为什么这件事比分数不准更麻烦&#34;&gt;四、为什么这件事比&amp;quot;分数不准&amp;quot;更麻烦&lt;/h2&gt;&#xA;&lt;p&gt;第一，&lt;strong&gt;分数已经不只是分数。&lt;/strong&gt; 它决定采购、决定融资叙事、决定一个团队今年做哪个方向。一个注水的数字，会顺着这些决策一路放大。&lt;/p&gt;&#xA;&lt;p&gt;第二，&lt;strong&gt;误差不是均匀的。&lt;/strong&gt; 坏题会系统性地惩罚某些模型、奖励另一些。这意味着排行榜的排序不是&amp;quot;有噪声的真相&amp;quot;，而是&amp;quot;有偏见的排序&amp;quot;——你无法靠&amp;quot;多看几个榜取平均&amp;quot;来消除它。&lt;/p&gt;&#xA;&lt;p&gt;第三，&lt;strong&gt;模型越强，越会作弊。&lt;/strong&gt; Cursor的观察很反直觉：老模型在封闭考场上分数几乎不变，新模型掉得厉害。因为&amp;quot;找捷径&amp;quot;本身就是能力。你以为在测解题，其实在测&amp;quot;谁更会考试&amp;quot;——而会考试这件事，恰好是随着能力一起长出来的。&lt;/p&gt;&#xA;&lt;h2 id=&#34;五那你该怎么读一张榜&#34;&gt;五、那你该怎么读一张榜&lt;/h2&gt;&#xA;&lt;p&gt;&lt;strong&gt;1. 先看考场，再看分数。&lt;/strong&gt; 有没有断网？有没有封掉git历史？有没有说明环境版本？没交代这三件事的分数，只能当参考，不能当依据。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;2. 看它是什么时候的题。&lt;/strong&gt; 基准发布超过一年，被训练数据&amp;quot;见过&amp;quot;的概率就大幅上升。新基准不一定更好，但至少更&amp;quot;没见过&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;3. 看模式，不看单点。&lt;/strong&gt; 别问&amp;quot;它多少分&amp;quot;，问&amp;quot;它在哪类题上强&amp;quot;——是推理强还是记忆强？是长任务稳还是单步准？能力画像比一个数字难注水得多。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;4. 最靠谱的一步：自己出十道题。&lt;/strong&gt; 从你真实的业务里抽十个问题，人工写标准答案，两个模型各跑一遍，自己看。十道自命题的信息量，往往超过一百个公开榜单——因为它们不在任何人的训练数据里。&lt;/p&gt;&#xA;&lt;h2 id=&#34;结语&#34;&gt;结语&lt;/h2&gt;&#xA;&lt;p&gt;我一直觉得&amp;quot;排行榜&amp;quot;是AI行业里最像科学的东西：有数字、有对比、有排名。&lt;/p&gt;&#xA;&lt;p&gt;现在看，它更像体检中心门口那台秤。你站上去，数字很精确，小数点后一位都有。但如果秤盘底下垫了块砖，那个精确的数字，只是在精确地骗你。&lt;/p&gt;&#xA;&lt;p&gt;不过要说清楚一件事：&lt;strong&gt;尺子坏了，不等于人没长高。&lt;/strong&gt; AI这两年确实在变强——只是我们用来证明它变强的方式，比自己以为的要脆弱得多。&lt;/p&gt;&#xA;&lt;p&gt;真正该改的不是&amp;quot;AI有没有进步&amp;quot;这个判断，而是我们判断的方式：&lt;strong&gt;从&amp;quot;信一个数字&amp;quot;，改成&amp;quot;看它是怎么被量出来的&amp;quot;。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;参考来源&#34;&gt;参考来源&lt;/h2&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;Wang, J., Bianchi, F., Zhu, S., Nie, F., Kwon, Y., Dhingra, B., Zou, J. &lt;em&gt;Automated Benchmark Auditing for AI Agents and Large Language Models&lt;/em&gt;. arXiv:2605.26079 (2026). 斯坦福、普林斯顿等 — &lt;a href=&#34;https://arxiv.org/abs/2605.26079&#34;&gt;https://arxiv.org/abs/2605.26079&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Wang, H., Li, H., Mang, Q., Cheung, A., Sen, K., Song, D. &lt;em&gt;Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack&lt;/em&gt;. arXiv:2605.12673 (2026). UC Berkeley RDI — &lt;a href=&#34;https://arxiv.org/abs/2605.12673&#34;&gt;https://arxiv.org/abs/2605.12673&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Cursor. &lt;em&gt;Reward hacking is swamping model intelligence gains&lt;/em&gt;. 2026-06-25 — &lt;a href=&#34;https://cursor.com/blog/reward-hacking-coding-benchmarks&#34;&gt;https://cursor.com/blog/reward-hacking-coding-benchmarks&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Reuel, A. et al. &lt;em&gt;BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices&lt;/em&gt;. NeurIPS 2024 — &lt;a href=&#34;https://arxiv.org/abs/2411.12990&#34;&gt;https://arxiv.org/abs/2411.12990&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;Zhu, Y. et al. &lt;em&gt;Establishing Best Practices for Building Rigorous Agentic Benchmarks&lt;/em&gt;. arXiv:2502.15277 (2025) — &lt;a href=&#34;https://arxiv.org/abs/2502.15277&#34;&gt;https://arxiv.org/abs/2502.15277&lt;/a&gt;&lt;/li&gt;&#xA;&lt;/ol&gt;</description>
			</item>
	</channel>
</rss>
