ゲートは偽の納品を半分ではなく約四割削減した
836 問、43 ブロック、無効 0 の実験です。論文の「halved」は誤りでした——二つの率が異なる分母を使っていたからです。この訂正で、ゲートの効果は「半減」から「約四割」になりました。
#偽の納品とは何か
| 用語 | 定義 |
|---|---|
| 納品成功 | システムが実際に通し、かつ保存された候補が非公開評価に合格した |
| 偽の納品 | システムは通したが、候補が非公開評価に合格しなかった |
したがって「偽の納品率」には三通りの集計の取り方があり得て、どれも正しいのですが、違う数字が出ます。
#R532 のデータ
| モデル | qwen/qwen3.8-27b Q4_K_M、非 reasoning |
| タスク | 836 |
| ブロック | 43 |
| 完了率 | 43 / 43 |
| データ行 | 2,508 |
| 無効 | 0 |
| V/GT 指紋 | 199,019 項目 CLEAN |
| レシートチェーン | 86 本 / 3,895 件すべて検証を通過 |
これは本研究でデータ品質が最もクリーンな実験でした——無効 0、V/GT 違反 0、86 本のチェーンすべてが検証を通過。
#三通りの集計
| アーム | 受け入れ数 | 偽の納品数 | 偽の納品 / 全 836 | 偽の納品 / 受け入れ数 |
|---|---|---|---|---|
| CONFORM | 811 | 120 | 14.4% | 14.8% |
| OFF | 625 | 211 | 25.2% | 33.8% |
#訂正後の主張
#この数字がなぜ重要か
#他の数字との関係
| 数字 | 値 | 出典 |
|---|---|---|
| 偽の納品率（CONFORM） | 14.4%（受け入れ数に対して 14.8%） | R532 |
| 偽の納品率（OFF） | 25.2% | R532 |
| カバー率（CONFORM が通せた割合） | 811 / 836 = 97.0% | R532 |
| 候補プールの上限（r441） | 82.68% | R440P |
| 残存する実現可能な攻撃（generic_gauged） | +2.72 pp | R452 |
| ゲージの上限（weak_oracle） | +4.35 pp | R452 |
#この実験の二つの修正案
AMEND1（H-MIX のラベルについて）：
| 問題セット | H-MIX − CONFORM |
|---|---|
| 1 | −5.83 |
| 2 | −5.19 |
| 3 | −16.67 |
| 4 | −1.28 |
| 5 | −0.54 |
| 統合 | −3.23 pp、区間 [−5.52, −0.75]、Holm p = 0.0101 |
分析器は有意性だけを確認し、方向を確認していなかったため、EFFECTIVE と標示しました。そのラベルは無効です。
引用してよいのは RULED_OUT（今回のラウンドの閾値：区間の上限 < +2.0 pp）だけで、しかも「ループは有害」と言うことを明文で禁じています。
AMEND2（前提について）：
「より強いモデル」という前提は成り立ちません。 27B の OFF アームは 74.8%、12B は 75.2% です。
私たちはより強いモデルと比較できていませんでした。したがって R532 は「モデルが強くなると利得が消える」と言うためには使えません——モデルは強くなっていなかったからです。
#分母の問題の一般化
#次に
- ゲートの完全なルールと上限：conformance-gate
- R532 の完全な判定：five-replications
- 可視／非公開テストの構造的な問題：v-gt-is-not-lossless
