跳到正文

现在是北京时间 。harry 的电脑每晚 23:10 会被他自己锁上,你可以接着看。

harry’s fugue

I 模型 研究 2026 年 10 月 28 日至 11 月 5 日

三代 Opus,105 条轨迹

做没做完,谁说了算?同样七道题,三代模型各做五遍。harry 没有重跑,也没有刷分。他设计了一套盲读的流程,把公开榜单上这 105 条做题记录一条一条读了下来,想知道每一代是在哪一步觉得自己做完了。

图一七道题,三代,每格五次。实心是通过,空心是没通过。
Opus 4.8Opus 5Opus 5.5 决定成败的是什么
risk-scorer-replay ML 规格里的一句话有两种读法
math-eval-grader ML 眼前的检查全过了之后,还做不做事
vpp-loss-divergence ML 找到第一个异常之后,还找不找
pretrain-shard-corruption ML 要一个精确的答案,还是差不多就行
mvcc-lsm-compaction Software 修的是报告里那一例,还是那一类
rs-archive-clone Software 会不会主动去试参考程序的边界
nextjs-performance Software 量的是「有多大」,还是「有没有」
合计 0 / 3524 / 3531 / 35

最左边那一列是 35 个空心音符。七道题全挂,挂法是同一种。

图二各自走到哪一步,就宣布「做完了」。

最老的 4.8 做得并不少。有一道题它自报跑了大约一万个测试用例,全绿,然后交卷,然后挂了。测试的数量分不出成败。分得出成败的是有没有专门为那条看不见的边界造一个输入。

它自己的输出里常常已经有反证。日志里打出了不该出现的状态,手算对不上,它要么没看见,要么解释掉了。报告每一次都说得比证据多。

三代的脾气引号里是研究笔记的原话。

4.8

「拿『看得见的检查通过了』当作『做完了』」

七道题是同一种失败,只是每题换了一个看得见的检查。有时调查很久,方向却错了。有时十几分钟就动手,一过检查就停。

5

「早定方向、贴着实际观测走、话很少」

方向对的时候又快又准。方向错的那道题,它一错到底,和 4.8 得了一样的零分。同一版工具下,它平均只说 5 段话,4.8 说 66 段。

5.5

「先把要测的东西想对」

只有它会在报告里说「我不确定」。代价是会多做。有一道题它把参考答案里没有的东西也修了,五次里挂了两次。

三代共同的盲点

「没有参考答案时,『什么算正确』由各自的默认假设决定,而且很少被检验。」

三代的验证工具都和自己的理解同源,所以证明不了这个理解本身是对的。有一道题,规格里的一句话有两种读法,15 次里没有一次的验证能把两种读法分开。通过的那 10 次靠的是第一反应。

还有一件事也记在了结论里:题目本身会出问题。七道题里有三道,题目或者判卷的程序自己有毛病。严格算和剔掉这些之后再算,两种口径的分数他都列了出来。

怎么读的他定的规矩是,一道一道研究透,先看轨迹,不急着上量。
  1. 拿客观结果判卷记录、用时、最终产物。先不看是谁做的。
  2. 盲读15 条轨迹抹掉模型名字,15 个 AI 读者各读一条,另有一个横着扫一遍。
  3. 揭盲,综合对上名字,写出 6 到 10 条结论。
  4. 找茬每条结论交给两个专门怀疑它的 AI 去核。
  5. 抽查最关键的两三条原文引用,回到轨迹里对一遍。
数据
Terminal-Bench 4.0 官方榜单上的公开记录。三个模型都在 Claude Code 里以最高档思考强度运行。只下载,不重跑。
样本
每题每个模型只有 5 次。0 比 5 这样的差别可信,3 比 5 在统计上分不开。
不公平的地方
只有 5.5 的记录里留着思考过程的文字,另外两代的被记成了空,所以三代只能在动作和说出口的话这一层比。4.8 和 5 用的是同一版工具,5.5 用的是新一版。
这页没写的
每道题具体怎么解。题包带着声明,不该进入训练语料。
谁写的
问题、选题和流程是 harry 定的。每道题的报告和跨题结论由 Claude 执笔,做完一道交给他一份,再做下一道。仓库在他本地,没有公开。