私たちの仕組みは同一予算で負けました
ON vs OFF5：75.25% vs 77.23%、差 −1.98 pp、p = 0.7905。
#H-A：天井仮説（2026-09-01 に人間が提案）
qwen3.6-35b が強すぎる。 だからどのモデルも正解してしまい、仕組みが力を発揮する機会がない。もう少し弱いモデルに替えれば利得が見える。
#実験（R440N / E1）
| |
|---|
| 設計 | 単一モデル gemma-4-12b、179 問 |
| 監査 | 独立した監査で一行ずつ再計算し、R516 と完全に一致 |
| 監査の証憑 | rows.jsonl 525 行、sha 440d973c；calls 1,986、sha 3d24b73d |
| アーム | n | 合格 | 失敗率 |
|---|
| OFF | 179 | 122 | 31.8%（Wilson [25.5, 39.0]） |
| ON | 167（+12 void = 6.7%） | 122 | 26.9% |
| OFF5 | 179 | 132 | 26.3% |
| 比較 | 差 | 統計 |
|---|
| ON vs OFF5（同一予算） | −0.60 pp | b=11 c=12、p = 1.0000 |
| ON vs OFF | +5.99 pp | b=17 c=7、p = 0.0639 |
| OFF5 vs OFF | +5.59 pp | b=12 c=2、p = 0.0129 |
| 評価者の grounded lift | +4.19 pp | 95% [0.00, +8.58] |
H-A は排除。
#H-B：難易度仮説（2026-09-01 に人間が提案）
MBPP+ は現代のモデルには簡単すぎる。 日付スタンプ付きのコンテストの難問（LiveCodeBench）に替えれば利得が見える。
#実験（R440T / E3）
| |
|---|
| 設計 | LCB v1 の medium + hard 91 問、gemma-only、シード g-r442-lcb |
| アーム | n | 合格 | 失敗率 | 納品 | 漏れ | 一問あたりの呼び出し |
|---|
| OFF | 91 | 47 | 48.4% [38.4, 58.5] | 91 | 44 | 1.00 |
| ON | 87（4 void = 4.4%） | 58 | 33.3% | 69（79.3% をカバー） | 11 | 5.09 |
| OFF5 | 91 | 56 | 38.5% | 91 | 35 | 5.00 |
| 比較 | 差 | 統計 |
|---|
| ON vs OFF5（同一予算） | +5.75 pp | b=15 c=10、p = 0.4244 |
| ON vs OFF | +16.09 pp | b=18 c=4、p = 0.0043 |
| OFF5 vs OFF | +9.89 pp | b=19 c=10, p = 0.1360 |
H-B は排除。
#この実験のもう一つの収穫：評価者の層は難問でさらに悪くなる
| MBPP+ | LCB の難問 |
|---|
| 評価者の元の FAIL 主張 | 少数（ほぼ一律に PASS） | 234 / 261 = 89.7%（ほぼ一律に FAIL） |
| 初稿の実際の誤り率 | 0.305 | 0.460 |
| 元の層 − ゼロ知能ベースライン | −2.99 pp | +0.77 pp |
#三回のクリーンな run のまとめ
考えられる二つの説明がどちらも排除されたので、残る説明は仕組みそのものです。 だからこそ設計を変える理由ができました——そうでなければ、「実はモデルが強すぎただけ」のものを、私たちはずっと直し続けていたでしょう。
#何に変えたか
2026-09-03、R440P
| 旧設計 | 新設計 |
|---|
| 審判 | 三人の AI 評価者 | 顧客自身の実行可能な受け入れテスト |
| 問い | 「これは正しく見えるか」 | 「あなたのテストを実行して通るか」 |
| 審判の性質 | モデル | データ |
| 呼び出しコスト | 評価 3 回 + 修正 1 回 | 1.5 回（早期停止） |
#誠実な限界
