4.8
「拿『看得见的检查通过了』当作『做完了』」
七道题是同一种失败,只是每题换了一个看得见的检查。有时调查很久,方向却错了。有时十几分钟就动手,一过检查就停。
现在是北京时间 。harry 的电脑每晚 23:10 会被他自己锁上,你可以接着看。
I 模型 研究 2026 年 10 月 28 日至 11 月 5 日
做没做完,谁说了算?同样七道题,三代模型各做五遍。harry 没有重跑,也没有刷分。他设计了一套盲读的流程,把公开榜单上这 105 条做题记录一条一条读了下来,想知道每一代是在哪一步觉得自己做完了。
risk-scorer-replay ML 规格里的一句话有两种读法 math-eval-grader ML 眼前的检查全过了之后,还做不做事 vpp-loss-divergence ML 找到第一个异常之后,还找不找 pretrain-shard-corruption ML 要一个精确的答案,还是差不多就行 mvcc-lsm-compaction Software 修的是报告里那一例,还是那一类 rs-archive-clone Software 会不会主动去试参考程序的边界 nextjs-performance Software 量的是「有多大」,还是「有没有」 最左边那一列是 35 个空心音符。七道题全挂,挂法是同一种。
最老的 4.8 做得并不少。有一道题它自报跑了大约一万个测试用例,全绿,然后交卷,然后挂了。测试的数量分不出成败。分得出成败的是有没有专门为那条看不见的边界造一个输入。
它自己的输出里常常已经有反证。日志里打出了不该出现的状态,手算对不上,它要么没看见,要么解释掉了。报告每一次都说得比证据多。
「拿『看得见的检查通过了』当作『做完了』」
七道题是同一种失败,只是每题换了一个看得见的检查。有时调查很久,方向却错了。有时十几分钟就动手,一过检查就停。
「早定方向、贴着实际观测走、话很少」
方向对的时候又快又准。方向错的那道题,它一错到底,和 4.8 得了一样的零分。同一版工具下,它平均只说 5 段话,4.8 说 66 段。
「先把要测的东西想对」
只有它会在报告里说「我不确定」。代价是会多做。有一道题它把参考答案里没有的东西也修了,五次里挂了两次。
「没有参考答案时,『什么算正确』由各自的默认假设决定,而且很少被检验。」
三代的验证工具都和自己的理解同源,所以证明不了这个理解本身是对的。有一道题,规格里的一句话有两种读法,15 次里没有一次的验证能把两种读法分开。通过的那 10 次靠的是第一反应。
还有一件事也记在了结论里:题目本身会出问题。七道题里有三道,题目或者判卷的程序自己有毛病。严格算和剔掉这些之后再算,两种口径的分数他都列了出来。