2026-09-05　·　利得軸　·　成立

問題が難しいほど、受け入れゲートの価値は高くなる

早期停止ゲートは MBPP+ で 7.8 ポイント、LiveCodeBench の難問で 20.9 ポイント多く納品しました。しかも「漏れ率」は 44 から 11 に下がりました——納品拒否は難問でこそ最も価値があります。

LiveCodeBenchゲート難度利得

#三つの次元の対照

これは、難問ではモデルが自信満々に壊れたものを出しやすいからです。ゲートの仕組みは「あなたのテストを実行し、合格したら納品する」です——難問でも「これは不合格」と判断できますが、投票の仕組みは五つすべてが誤っているときには誤るしかありません。

ゲートが納品拒否した問題を一つ残らず事後監査し、五つの草稿が本当にすべて不正解かを確かめました：

R445 は三つの問題セットで収束を確かめました（ゲート vs 一回だけの抽出）：

問題バンク	n	Δ	統計	呼び出し/問
MBPP+（統合 371）	371	+4.58 pp	95% CI [+0.57, +8.04]	1.51
LCB v2（難問）	120	+19.17 pp	b=31 c=8、p = 0.0003	1.71
LCB v3	189	+7.94 pp	b=25 c=10、p = 0.0167	1.55

R445 の 8 個の事前予測：7 個的中・1 個外れ（外れたのは、区間の半幅が予測より大きかったこと）。

② 拒否の情報価値。 難問ではモデルの偽の納品率が高い（44 / 91 = 48.3%）ので、「不合格と判断できる」ことの価値がより高くなります。

H-B 仮説は「MBPP+ は現代のモデルには簡単すぎるので、難問の問題バンクに替えれば利得が現れる」というものでした。その仮説の対象は委員会型の設計です。

結果：難問の問題バンクに替えても、委員会の利得はやはり現れませんでした（LCB 難問での ON vs OFF5 は p = 0.4244）。