評価ゲートの誕生：意見の代わりに実行を、投票の代わりにレシートを
AI の評価委員会を削除し、「顧客の受け入れテストを実行し、最初に合格した候補を納品し、すべて不合格なら納品を拒否する」方式に改めました。三つの問題バンクで納品が 4.58 から 19.17 ポイント増え、1 問あたりの呼び出しは 1.5 回だけでした。
#ルール（一字一句凍結）
- 候補を順に生成する。
- どの候補にもサンドボックス内で可視の受け入れ検査を実行する。
- 最初に合格した候補をすぐに通し、生成を止める。
- 最大五つ。すべて不合格なら納品を拒否する。
- 納品拒否は失敗に数え、分母はすべての問題とする。
#なぜ「最初に合格したら止める」が効くのか
選択ルールの上限は、候補プールの中に少なくとも一つ正しい候補がある割合だからです。多数決もこの上限からは抜け出せません。
保存済みの五候補データ二バッチ：
| 問題セット | 候補プールの上限 | 五つすべて不正解の問題数 |
|---|---|---|
g_r441 | 82.68% | 31 / 179 |
g_r356 | 85.03% | 22 / 147 |
#三つの問題バンクでの収束
| 問題バンク | n | 差（一回だけ引く場合との比較） | 統計量 | 1 問あたりの呼び出し |
|---|---|---|---|---|
| MBPP+（統合 371） | 371 | +4.58 pp | 95% CI [+0.57, +8.04] | 1.51 |
| LCB v2（難問） | 120 | +19.17 pp | b=31 c=8、p = 0.0003 | 1.71 |
| LCB v3 | 189 | +7.94 pp | b=25 c=10、p = 0.0167 | 1.55 |
#納品拒否された問題は運ではない
ゲートが納品を拒否したすべての問題を事後に監査し、五つの草稿が本当にすべて誤りだったかを確かめました。
| バッチ | 納品拒否された問題数 | 五つすべて不正解 |
|---|---|---|
| r447 | 7 | 7 / 7 |
| r449b | 8 | 8 / 8 |
| r449c | 10 | 10 / 10 |
| r461 | 15 | 15 / 15 |
#EQ5：最もきれいな比較
これは利得軸全体で最もよく設計された実験です——同じ 5 つの候補、同じ 5 回の呼び出しで、一方は最初に合格した候補を納品し、もう一方は五つの候補で投票して多数を取ります。候補は完全にそろえ、予算も完全にそろえています。
| 段階 / 問題バンク | ゲートの成功 | 多数決の成功 | Δ | 補正前 p |
|---|---|---|---|---|
| r446 MBPP+ | 280 / 371 | 265 / 371 | +4.04 | .0135 |
| r448 MBPP+（シード変更） | 286 / 371 | 273 / 371 | +3.50 | .0241 |
| r449b LCB v2 | 85 / 120 | 75 / 120 | +8.33 | .0414 |
| r449c LCB v3 | 157 / 189 | 149 / 189 | +4.23 | .0963 同符号・未解決 |
#候補プールの上限の直接検証
R440P はAPI を使わないオフラインのリプレイで一度検証しました（保存済みの五候補を再計算）。
g_r441 | g_r356 | |
|---|---|---|
| 候補 | 895 | 735 |
| 早期停止の合格率 | 78.21%、1.34 呼び出し | 82.99%、1.13 呼び出し |
| OFF5 の実際の出荷 | 73.74%、5.00 呼び出し | 77.55%、5.00 呼び出し |
| 差 | +4.47 pp、p=0.0963 | +5.44 pp、p=0.0574 |
| 早期停止 vs 一回だけ引く | +7.82 pp、b=14 c=0、p=0.0001 | +6.80 pp、b=10 c=0、p=0.0020 |
#このゲート自体も攻撃を受けた
2026-09-06 の R451/R452：受け入れスイートが「信頼されたコード」の一片である限り、攻撃者はゲージを無効化できます。
| 段階 | 結果 |
|---|---|
| スイートを commit に結びつける、平凡なスイート | 371 / 371 すべて拒否（正常） |
| 状態を持つゲージの変種 | 納品率が 75.20 pp 落ちたのに、ゲージは ok を返した |
| 修正：SuiteSpec（スイートをデータにする） | exec の密輸 368 / 371 → 0 / 371 |
| 残存：generic_gauged | +2.72 pp |
| 事後的な上界：weak_oracle | +4.35 pp |
#このゲートの前提
私たちはこの文を、効果の数字を述べるすべての文書に一字一句載せています。そのブロックを削除することは、それらの数字が成り立つ条件を削除することに等しいのです。
関連する構造的な発見：私たちが使った問題バンクでは、非公開テストはいずれも可視テストの上位集合（V ⊆ GT）でした。そのため「可視テストによる選別は無損失である」という文は構造上つねに真であり、検出力を持ちません。v-gt-is-not-lossless
#誠実な限界
#次に読むもの
- 前提についての完全な議論：v-gt-is-not-lossless
- 問題の難しさがこのルールの価値をどう変えるか：harder-tasks-more-worth
- ゲートの完全な仕様：受け入れゲート CONFORM
