受け入れゲート CONFORM
一字一句凍結されたルールです。候補を順に生成し、どの候補にも可視の受け入れ検査を実行し、最初に合格した候補を通します。最大五つで、すべて不合格なら納品を拒否します。納品拒否は失敗に数え、分母はすべての問題です——これがこのルールの最も重要な半分です。
このページが引用する判定 2 件:成立 2クリックするとその主張カードへ移動します
#ルール
ルールは一字一句凍結されており、調整できるパラメータはありません。
- 候補を順に生成する。
- どの候補にもサンドボックス内で可視の受け入れ検査を実行する。
- 最初に合格した候補をすぐに通し、生成を止める。
- 最大五つ。すべて不合格なら納品を拒否する。
- 納品拒否は失敗に数え、分母はすべての問題とする。
#評価委員会をどう置き換えたか
2026 年 8 月の利得実験では、委員会式の設計(評判ルーティング、三人の評価者、サンプリング監査、一回の修正)が、同じ呼び出し予算のもとで、同じ問題を五回生成して多数決を取る方式に負けました。
仕組みの分析で原因が見つかりました。
| 指標 | 数値 |
|---|---|
| 評価者の票の正解率 | 0.7552 |
| 「すべて合格と判定する」という知能ゼロのベースライン | 0.7522 |
| 差 | +0.29 ポイント |
| 一回の修正で「直す機会がなかった」割合 | 93 / 113 |
| 修正後の版を盲目的に採用した場合の非公開評価の合格率 | 82.3% → 78.8%(−3.5 pp) |
| 修正がもたらした本当の改善 | 1 / 113 |
評価者が追っているのは問題の難しさであって、答えの正誤ではない
9 月 3 日の R440P は審判そのものを置き換えました:評価委員会を削除し、顧客の受け入れテストを実行する方式に改めました。 プロジェクト文書の言い方では——
意見の代わりに実行を、投票の代わりにレシートを。}}
#実測結果
三つの問題バンクで、五回の再現と四つの互いに重ならない問題セットにまたがっています。
| 問題バンク | n | 差 | 統計量 | 1 問あたりの呼び出し |
|---|---|---|---|---|
| MBPP+(統合 371) | 371 | +4.58 pp | 95% CI [+0.57, +8.04] | 1.51 |
| LCB v2(難問) | 120 | +19.17 pp | b=31 c=8、p=0.0003 | 1.71 |
| LCB v3 | 189 | +7.94 pp | b=25 c=10、p=0.0167 | 1.55 |
ゲートは一回だけ引くより多く納品する——問題バンクをまたいでも、再現をまたいでも成り立つ
#同予算での比較:ゲートが投票に勝つ
これは最もきれいな比較です:同じ 5 つの候補、同じ 5 回の呼び出しで、一方は最初に合格した候補を納品し、もう一方は五つの候補で投票して多数を取ります。
| 段階 / 問題バンク | ゲートの成功 | 多数決の成功 | Δ | 補正前 p |
|---|---|---|---|---|
| r446 MBPP+ | 280/371 | 265/371 | +4.04 | .0135 |
| r448 MBPP+(シード変更) | 286/371 | 273/371 | +3.50 | .0241 |
| r449b LCB v2 | 85/120 | 75/120 | +8.33 | .0414 |
| r449c LCB v3 | 157/189 | 149/189 | +4.23 | .0963 同符号・未解決 |
#なぜゲートは効き、評価者は効かないのか
| 選択ルール | 何ができるか | 上限 |
|---|---|---|
| ゲート、多数決 | 既存の候補から選ぶことしかできない | 「少なくとも一つの候補が正しい」割合 |
| 修正ループ | 候補そのものを変える | 原理的には上限を越えられる |
保存済みの五候補データ二バッチでは、候補プールの上限はそれぞれ 82.68%(31 問で五つすべて不正解)と 85.03%(22 問ですべて不正解)でした。
この記事はゲートの系列全体の数字と反証の記録をまとめたものです
#このゲートは今も成り立つが、唯一の道ではない
2026 年 9 月末以降、製品にはゼロ設定(ゼロ設定の Vacant)というもう一つの主線が加わりました。これがすることは一つだけです:エージェントが「完了しました」と言ったその瞬間に、一度だけ言葉を送り返します。
四つのバッチのうち三つで差が測れませんでした。 四つ目では測れましたが、推論エンジンを替えると再現しませんでした。
| バッチ | 分母 | 差 | p |
|---|---|---|---|
| DABstep 有料(gemma-4-26b) | 77 問 | 正解 50 → 44 問 | 0.21 |
| DABstep 有料(qwen3.8-27b) | 77 問 | 正解 68 → 64 問 | 0.29 |
| Colab 920 問 | 920 問 | 81.3% → 82.4% | 0.387 |
| u274 事前登録 | 100 問 | 正解 9 → 10 問 | 1.0 |
これは本ページの数字を反証するものではありません。 理由は、二つに欠けているものが同じではないからです。
| 部品 | ゲート CONFORM | ゼロ設定 |
|---|---|---|
| 実行可能なシグナル | 顧客の受け入れテストで、実際に実行される | DABstep の答えには可視テストがない |
| やり直させる権限 | 最大五つの候補 | 同じセッション内で差し戻し、最大 2 回 |
| 納品を拒否する権限 | すべて不合格なら納品しない | 失敗しても一律に通す |
原文の言い方では、ゼロ設定の C 群は三つの部品を一つも持っていません。
#サンドボックスと受け入れスイート
候補プログラムは独立したプロセスで実行されます:10 秒、128 MiB、作業ディレクトリは一時ディレクトリ、環境変数は継承しません。テストプログラムと候補プログラムは別々のプロセスにあり、ランダムなトークンを付けたリテラル値のみを許すリモート呼び出しで通信するため、候補プログラムは構造的にテストコードを見ることができません。
#受け入れスイートはデータであって、プログラムではない
2026 年 9 月 6 日の攻撃実験(R451)で分かったこと:受け入れスイートが「信頼されたコード」の一片である限り、攻撃者は状態を持つ変種を書いてゲージを無効化できます——ゲージは両方向とも満点なのに、納品率は −75.20 pp 落ち、それでもゲージは ok を返していました。
修正は SuiteSpec です:スイートには方言、エントリポイント名、「入力—期待値」のリテラル値リストだけが含まれます。実行器は自分自身の決定論的なレンダラーでこのデータからテストコードを生成するだけで、レンダリング結果のハッシュはマシンをまたいで照合できます。
効果:exec の密輸は 368/371 → 0/371 になりました。
#前提条件
私たちはこの文を、効果の数字を述べるすべての文書に一字一句書き込んでいます。そのブロックを削除することは、それらの数字が成り立つ条件を削除することに等しいのです。
関連する構造的な発見:私たちが使った問題バンクでは、非公開テストはいずれも可視テストの上位集合(V ⊆ GT)でした。そのため「非公開では通るが可視では通らない」は構造上起こりえません。これにより「可視テストによる選別は無損失である」という文は中身を失います。v-gt-is-not-lossless
#偽の納品:ゲートは確かに止めているが、半減ではない
R532 の比較的大きなモデルでの実験(836 問、43 ブロック、0 無効):
| アーム | 受け入れ | 偽の納品 | 率 |
|---|---|---|---|
| CONFORM | 811 | 120 | 14.4%(受け入れに占める割合 14.8%) |
| OFF | 625 | 211 | 25.2% |
ゲートは偽の納品をおおよそ四割減らしたのであって、半減ではありません。論文は当初「halved」と書いていましたが、ファクトチェックで ERROR E6 と判定されました——その二つの率は異なる分母を使っていたからです。
#次に読むもの
- 修正ループを加えるとどうなるか:実行可能な受け入れ層
- 五回の再現のあとの判定:見出しの主張は自分たちの安定性ルールに負けた
- token の収支:これは成功率の向上であって、token 効率の向上ではない

