2026-09-03　·　利得軸　·　成立

評価者が追っているのは問題の難しさであって、答えの正誤ではありません

同じ評価者の層が、MBPP+ ではほぼ一律に合格と判定し（誤り率 0.305）、LiveCodeBench の難問ではほぼ一律に不合格と判定しました（誤り率 0.46）。それは全体的な性質に従っており、この回答そのものには従っていません。

評価者仕組みの分析問題バンク横断

#二つの問題バンク、同じ評価者

FAIL 主張を調べているとき、「FAIL 主張が破棄されている」例が大量に見つかりました。


round346 の元の FAIL 主張率	1.2% – 25.8%
そのうち `outside_input_contract` と判定されて破棄されたもの	73.6% – 100%

根本原因はインデントのバグでした

破棄された 99 件を再計算しました。

「評価者が捕まえた誤り」の四割近くは実は本物で、ただインデントのバグ一つに食われていたのです。 この件は典型的な測定の落とし穴として methods.json に残されています。

三回の run を合わせ、本当に失敗する 49 タスクについて見ると：

R438 の分析と、その後の二つの run：

run	評価者の正確さ	ゼロ知能ベースライン	差
R438（179 問）	0.7552	0.7522	+0.29 pp
R440N（179 問、gemma-only）	+4.19 pp（grounded）	—	95% [0.00, +8.58]
R440T（91 問、LCB hard）	—	—	+0.77 pp、95% [−19.16, +11.11]

「評価者がだめ」から「評価者は審判ではない」へ

しかしこの結論の実際の形は違います。評価者は強さが足りないのではなく、問うている問題が、答える能力のある問題と違うのです。 「この問題はだいたい難しいかどうか」は判断できても、「この回答が正しいかどうか」は判断できません。

したがって正しい直し方は、審判の強さを替えることではなく、審判の種類を替えることです。

R440P は非常にクリーンな検証を行いました。API を使わないオフライン再生で、895 個の候補（179 問 × 5 件）をすべて再実行したのです。

実行が意見に取って代わった効果

ルール	合格率	呼び出し
実行ゲート（最初に合格したものを納品）	78.21%	1.34
五件の投票で多数決	73.74%	5.00

より正確で、しかも 3.7 倍安い。