私たちの AI 評価委員会は「五回生成して多数決」に負けました
同じ 5 回の呼び出し、同じ問題で、三人の AI 評価者と一回の修正からなる委員会が「五回生成して多数決」に負けました。差の点推定は −1.98 ポイントで、無関係なバグを一つ直すと +2.97 になりました。
このページが引用する判定 3 件：成立 1・言い過ぎ 1・識別可能な差なし 1クリックするとその主張カードへ移動します
2026-08-30、私たちは本研究全体で最も重要な実験を行いました。結果は、私たちが設計した中核の仕組みが負けたというものでした。
#背景：委員会型の設計
私たちのアーキテクチャは、もともと次のようなものでした。
1. 評判ルーティングでワーカーを一人選ぶ
2. 回答を生成する
3. 三人のピアレビュー（AI）がそれぞれ判定する
4. 決定的なサンプリング監査（サンドボックスで再実行）
5. 不合格なら、一ラウンドの修正問題は、この仕組み全体の審判が AI だということです。そして対照群は最も単純なもの、つまり同じ問題を五回生成し、五つの回答で投票して多数を取るというものでした。
同じ呼び出し予算のもとで（どちらも 5 回）、どちらの納品率が高いのでしょうか。
#設計
| 問題バンク | MBPP+（EvalPlus v0.2.0） |
| タスク数 | 179 問、6 ブロック |
| 三つのアーム | OFF（一回だけ抽出）／ ON（仕組み全体）／ OFF5（五回取って多数決） |
| 判定基準の凍結 | 2026-08-24 と 2026-08-28 |
| 統計 | 対応のある McNemar |
#結果
| 判定基準 | 判定 |
|---|---|
| ① ゲージにシグナルがある | ✓ 26.44%（Wilson [20.4, 33.4]） |
| ② 三つのアームに識別可能な差がある | 測れない |
| ③ ON が OFF5 に勝つ | ✓ 答えは「勝たない」 |
対応のある結果（n = 101、三つのアームすべてが void でないもの）：
| 集計方法 | ON | OFF5 | 差 | b | c | p |
|---|---|---|---|---|---|---|
| 元のまま | 75.25% | 77.23% | −1.98 pp | 6 | 8 | 0.7905 |
| typing ホワイトリストのバグを修正 | 84.16% | 81.19% | +2.97 pp | 5 | 2 | 0.4531 |
#なぜ負けたのか：仕組みの分析
| 指標 | 数値 |
|---|---|
| 評価者の票の正確さ | 0.7552 |
| 「すべて合格と判定」するゼロ知能ベースライン | 0.7522 |
| 差 | +0.29 ポイント |
| 一ラウンドの修正に「直す機会がなかった」 | 93 / 113 |
| 修正版を盲目的に採用した後の非公開評価の合格率 | 82.3% → 78.8%（−3.5 pp） |
| 修正がもたらした本当の改善 | 1 / 113 |
#「委員会に審査を回す」設計はどう削除されたか
2026-09-03、R440P。プロジェクト文書の言い方はこうです。
実行が意見に取って代わり、レシートが投票に取って代わる。（原文：「執行取代意見，收據取代投票。」）
評価委員会と一ラウンドの修正を削除すると、一問あたり評価 3 回 + 修正 1 回の呼び出しが浮きます。 残るのは顧客自身の実行可能な受け入れゲートです。
#同時に撤回したデータ品質の主張
「決定的な run は最初のクリーンな完全データセットである」→「既知のバグによる汚染なし、対応ありのサブセット n = 101」に変更しました。
| アーム | infra_void |
|---|---|
| ON | 66 / 179 = 36.9% |
| OFF5 | 30 / 179 |
| OFF | 5 / 179 |
summary.json には equal_budget_comparison_valid = false とあり、R437 自身も VOID-GATE-WARNING を一行記録しています。対応のある分析の n=101 という結論は void の直接の影響を受けません（三つのアームすべてが void でない問題だけを使うため）が、「クリーン」という言葉は使えません。
#もっと早いシグナルを、私たちは見落としていました
2026-08-30 より前の G シリーズ（探索的）で、すでに答えは出ていました。
| 比較 | n | ON | OFF5 | p |
|---|---|---|---|---|
| 同一予算（371 タスク） | 347 | 82.42% | 83.57% | 0.5572 |
| 予算が不揃い：OFF5 vs OFF | 349 | 83.09% | 78.51% | 0.0090 |
#誠実な限界
#次に
- 提案されては排除された二つの仮説：hypotheses-excluded
- 評価者の層がほぼ定数になる理由：reviewer-tracks-difficulty
- 評価者を削除した後のゲート：conformance-gate
