利得軸
最も力を注ぎ、最も多く自分を反証した軸です。見出しは「AI 評価者は多数決に負けた」、結論は「実行可能な受け入れゲート＋再サンプリングは有効、修正ループの追加の利得は同符号・未解決」です。
このページが引用する判定 7 件：成立 2・反証 1・言い過ぎ 1・識別可能な差なし 1・同符号・未解決 2クリックするとその主張カードへ移動します
#この軸が答えること
要求が実行可能な受け入れテストにコンパイルできるという条件のもとで、受け入れゲート、再サンプリング、失敗フィードバックによる修正が、それぞれ納品成功率にどれだけの利得をもたらし、その代償にどれだけの token がかかるか。
#始まり：委員会型の設計は負けた
#初期の G シリーズ（探索的）
等予算での比較（同一問題、同一呼び出し数）：
| 比較 | n | 結果 | p |
|---|---|---|---|
| ON vs OFF5（371 タスク） | 347 | 82.42% vs 83.57% | 0.5572 |
| OFF5 vs OFF（等予算ではない） | 349 | 83.09% vs 78.51% | 0.0090 |
重要な発見：OFF5 アームはコードに accepted = True が書き込まれていました——拒否という経路を持っていなかったのです。したがって上の比較は、実際には「無償のゲートを持つアーム」対「拒否を禁じられたアーム」でした。
#R437 決定的な三アーム run
事前に定めた三つの判定基準（2026-08-24/28 凍結）：
| 判定基準 | 判定 |
|---|---|
| ① OFF の失敗率が 20–60% に入る | ✓ 26.44%（Wilson [20.4, 33.4]）——ゲージにシグナルがある |
| ② 三アームに識別可能な差がある | 測れなかった（それ自体が答え） |
| ③ ON が等予算で OFF5 に勝つ | ✓ 答えは「勝たない」 |
#R438 メカニズム分析（成立）
| 指標 | 数値 |
|---|---|
| 評価者の票の正解率 | 0.7552 |
| 「すべて合格と判定する」ゼロ知能ベースライン | 0.7522 |
| 差 | +0.29 pp |
| 単一ラウンドの修正で「修正の機会がなかった」 | 93 / 113 |
| 修正版を盲目的に採用した後の非公開評価合格率 | 82.3% → 78.8%（−3.5 pp） |
| 修正による本当の改善 | 1 / 113 |
#二つの仮説はどちらも排除された
人間が 2026-09-01 に二つの説明を出しましたが、どちらも自分たちの実験で排除されました。
#H-A 天井：worker が強すぎる
単一の 12B モデル（gemma-4-12b、179 問）に替え、独立監査で一行ずつ再計算した結果は R516 と完全に一致しました（rows.jsonl 525 行 sha 440d973c、calls 1,986 sha 3d24b73d）。
| アーム | n | 合格 | 失敗率 |
|---|---|---|---|
| OFF | 179 | 122 | 31.8%（Wilson [25.5, 39.0]） |
| ON | 167（+12 void = 6.7%） | 122 | 26.9% |
| OFF5 | 179 | 132 | 26.3% |
ON vs OFF5：n=167、b=11、c=12、p = 1.0000。評価者の grounded lift は +4.19 pp、95% [0.00, +8.58]。
worker を弱いものに替えると失敗率は確かに上がりました（25.5% → 31.8%）が、利得はやはり現れませんでした。
#H-B 難問：問題バンクが簡単すぎる
日付スタンプ付きの競技難問（LiveCodeBench v1、medium+hard の 91 問、gemma のみ）に替えました。
| アーム | n | 合格 | 失敗率 | 納品 | 漏れ | 呼び出し/問 |
|---|---|---|---|---|---|---|
| OFF | 91 | 47 | 48.4% [38.4, 58.5] | 91 | 44 | 1.00 |
| ON | 87（4 void） | 58 | 33.3% | 69（79.3% カバー） | 11 | 5.09 |
| OFF5 | 91 | 56 | 38.5% | 91 | 35 | 5.00 |
ON vs OFF5：n=87、b=15、c=10、p = 0.4244。問題バンクは確かに難しくなりました（MBPP+ の 31.8% より 16.6 pp 高い）が、利得はやはり現れませんでした。
三つのクリーンな run、二つのモデルファミリー、二つの問題バンク、二つの難度で、答えは一致しました。等予算では、この仕組みは self-consistency に勝てません。}}
#ついでに：漏れ率はゲートの最も安定した利点
| アーム | 受け入れたが実際は不合格（漏れ） |
|---|---|
| OFF | 44 |
| OFF5 | 35 |
| ON | 11 |
問題が難しいほど、拒否の価値は高くなります。 これはこの軸全体で最も早く成立したメカニズムの結論です。
#転換：R440P、意見を実行で置き換える
2026-09-03。評価者委員会を削除し、顧客自身の受け入れテストを実行する形に改めました。API ゼロのオフライン再生：保存済みの五候補のデータを計算し直しました。
g_r441（gemma-12b） | g_r356（qwen35b + gemma12b プール） | |
|---|---|---|
| 候補 | 895（179×5） | 735（147×5） |
| 早期停止の合格率 | 78.21%、1.34 呼び出し | 82.99%、1.13 呼び出し |
| OFF5 の実際の出荷 | 73.74%、5.00 呼び出し | 77.55%、5.00 呼び出し |
| 差 | +4.47 pp、b=13 c=5、p=0.0963 | +5.44 pp、b=11 c=3、p=0.0574 |
| 候補プールの上限 | 82.68%（31 問は五つとも不正解） | 85.03%（22 問がすべて不正解） |
| 早期停止 vs 単発抽出 | +7.82 pp、b=14 c=0、p=0.0001 | +6.80 pp、b=10 c=0、p=0.0020 |
#二つの自己審査
- R440P 自身の監査が自分の誤りを捕まえた：第一版の「等予算」ルールは非公開テストによる多数決を使っていました——V/GT 分離に反し、しかも出荷できる仕組みではありません。可視テストだけを見るように改めました。
- R440U ゲートのコスト（成立）：ON は差し止めができる唯一のアームです（カバー率 0.829、他は 1.0）。中盤 n=77：差し止め 14、正解を捨てた回数 a = 0。事前に定めた判定基準 a ≤ 2 → クローズ。
#R445：三つの問題バンクでの収束
| 問題バンク | n | Δ | p / CI | 呼び出し/問 |
|---|---|---|---|---|
| MBPP+（統合） | 371 | +4.58 pp | [+0.57, +8.04] | 1.51 |
| LCB v2 | 120 | +19.17 pp | b=31 c=8、p=0.0003 | 1.71 |
| LCB v3 | 189 | +7.94 pp | b=25 c=10、p=0.0167 | 1.55 |
納品拒否された問題を事後監査すると、五つの草稿は毎回すべて不正解でした——r447 7/7、r449b 8/8、r449c 10/10、r461 15/15。ゲートが拒否したのは運ではありません。
#EQ5：同じ候補群で、ゲート vs 投票
#R460：六アーム、四つの状態を事前に固定
2026-09-07 から 09-11。LCB v2 120 問、6 ブロック × 20。gemma-4-12b-it-qat Q4_0、temperature 0.7、六種類の persona、LM Studio 0.4.17、reasoning token はすべて 0。
| アーム | 成功 | 率 |
|---|---|---|
| OFF | 70/120 | 58.33% |
| CONFORM | 85/120 | 70.83% |
| OFF5 | 78/120 | 65.00% |
| H-PI | 91/120 | 75.83% |
| H-OC | 96/120 | 80.00% |
| H-MIX | 101/120 | 84.17% |
H-MIX − CONFORM：b=22、c=6、+13.33 pp、条件付き区間 [4.22, 19.46]、Holm p = .0112 → EFFECTIVE と標示。
#R460R：五回の再現、看板の主張が自分のルールに負けた
これが本研究全体で最も重要なページです。 詳しい分解はfive-replicationsを参照してください。ここには結論だけを置きます。
| 五回の H-MIX − CONFORM | +5.83 / +4.17 / +0.83 / +2.50 / +4.31 pp |
| 五回の Holm p | .6301 / .9165 / 1.0000 / .6776 / .9224 |
| Holm を通過した回数 | 0 / 5 |
| 状態 | INCONCLUSIVE / INCONCLUSIVE / RULED_OUT / INCONCLUSIVE / INCONCLUSIVE |
| 五つの補正前区間 | すべて R460 の [+4.22, 19.46] と交わる |
| 五つの上限 | すべて +13.33 を下回る |
禁止された言い方：「再現は安定」「再現失敗」「効果が消えた」「同等」「引き分け」「ループは役に立たない」。n の統合、平均、一回だけを選んで報告することは禁止です。
#ただし二つは同じデータで成り立つ
| 差 | 統計 | |
|---|---|---|
| 三つの H アーム vs OFF | 15/15 セルすべてがそれぞれの Holm を通過 | 差の範囲 +17.5 ~ +29.2 pp |
| CONFORM − OFF | +14.17 / +18.33 / +17.50 / +19.17 / +18.97 pp | 事前登録されたどのファミリーにも含まれない |
利得の本体は「実行可能な受け入れゲート＋再サンプリング」であり、フィードバックループはその上に乗った小さな上積みにすぎません。
#探索的な量：投票はゲートに負け、しかもコストは二倍以上
| 再現 | OFF5 − CONFORM | 補正前 p |
|---|---|---|
| r1 | −10.83 pp | 0.019 |
| r2 | −10.83 pp | — |
| r3 | −15.83 pp | — |
| r4 | −4.17 pp | — |
| r5 | −1.74 pp | — |
3/5 で補正前 p < .05——そして有意でなかった二つは、ちょうど r4 と r5、つまりバックエンドの共存がゼロだった二回です。 これはどの事前登録ファミリーにも入っておらず、状態は「同符号・未解決」です。
#R529：問題バンクをまたぐ四つのセット
| 問題セット | n | OFF | CONFORM | H-MIX | H−C b/c | C−O b/c |
|---|---|---|---|---|---|---|
| LCB v3 medium | 135 | 115 | 125 | 126 | 6/5 | 14/4 |
| LCB v3 hard | 54 | 38 | 41 | 43 | 5/3 | 3/0 |
| HumanEval+ | 156 | 129 | 147 | 148 | 5/4 | 21/3 |
| MBPP+ | 371 | 277 | 295 | 299 | 15/11 | 26/8 |
| 統合 | 716 | 559 | 608 | 616 | 31/23 | 64/15 |
| 比較 | 差 | 統計 |
|---|---|---|
| H-MIX − CONFORM | +1.12 pp | 条件付き区間 [−1.02, 3.13]、Holm p = .3409 |
| H-MIX − OFF | +7.96 pp | Holm p = 2.02 × 10⁻⁸ |
| CONFORM − OFF | +6.84 pp | ファミリー外、補正前 |
8 個の事前予測：4 個的中・4 個外れ → INCONCLUSIVE。異質性 χ² = 0.135、df = 3、p = .987（記述目的のみ。最小期待セル度数 < 5）。
偽の納品は再現しませんでした：6 vs 9、7 vs 11、6 vs 6、58 vs 56（MBPP+）。
#コスト：これは成功率の向上であり、token 効率の向上ではない
R460 の問題あたり token／正しい納品あたり token：
| アーム | 率 | token/問 | token/正解 |
|---|---|---|---|
| OFF | 58.33% | 2,913 | 4,994 |
| CONFORM | 70.83% | 5,805 | 8,195 |
| OFF5 | 65.00% | 15,004 | 23,084 |
| H-PI | 75.83% | 9,448 | 12,459 |
| H-OC | 80.00% | 7,432 | 9,290 |
| H-MIX | 84.17% | 5,677 | 6,745 |
- H-MIX vs OFF：2.23–2.78×/問、1.65–2.11×/正解
- H-MIX vs CONFORM：0.92–1.56×/問（R460R）、1.07–1.69×/問（R529）
- 五回の再現のうち四回で、H-MIX は正しい納品一件あたり CONFORM より高くついた
- OFF5 vs CONFORM：2.16–2.85×/問、しかも毎回納品率がより低い
「同じ上限」は「同じ実際のコスト」と同じではありません。
#R532：より強いモデルに替える
2026-09-17/18。qwen/qwen3.8-27b Q4_K_M、非 reasoning、836 タスク、43 ブロック、無効 0、2,508 行。V/GT 指紋 199,019 項目 CLEAN。86 本のレシートチェーン / 3,895 件すべてが検証を通過。
H-MIX − CONFORM は五つの問題セットですべて負：−5.83 / −5.19 / −16.67 / −1.28 / −0.54。統合 −3.23 pp、区間 [−5.52, −0.75]、Holm p = 0.0101（b=38, c=65）。
#検出力：なぜ一部の問いはいつまでも測れないのか
| 問題バンク | Δ | 統計 |
|---|---|---|
| LCB v2 | +6.67 pp | p = 0.15 |
| LCB v3 | +1.59 pp | 95% CI [−3.17, +6.35]、p = 0.6636 |
| MBPP+ クリーン再現（192 問） | +4.69 pp | 95% CI [−1.11, 9.42] |
MDE は 4.31 pp、しかし問題バンクは 378 問しかない
#この軸がまだ欠いているもの
#次に
- 一件ずつの判定：証拠台帳
- 各再現の詳細：five-replications
- 記録と多者実行：記録と多者実行
