我們的機制在等預算下輸了
ON vs OFF5：75.25% vs 77.23%，差 −1.98 pp，p = 0.7905。
#H-A：天花板假說（人類於 2026-09-01 提出）
qwen3.6-35b 太強了。 所以每個模型都做對，機制沒機會發揮。換成弱一點的模型就會看到增益。
#實驗（R440N / E1）
| |
|---|
| 設計 | 單一模型 gemma-4-12b，179 題 |
| 稽核 | 獨立稽核逐列重算，與 R516 完全一致 |
| 稽核憑證 | rows.jsonl 525 行，sha 440d973c；calls 1,986，sha 3d24b73d |
| 臂 | n | 通過 | 失敗率 |
|---|
| OFF | 179 | 122 | 31.8%（Wilson [25.5, 39.0]） |
| ON | 167（+12 void = 6.7%） | 122 | 26.9% |
| OFF5 | 179 | 132 | 26.3% |
| 比較 | 差異 | 統計 |
|---|
| ON vs OFF5（等預算） | −0.60 pp | b=11 c=12，p = 1.0000 |
| ON vs OFF | +5.99 pp | b=17 c=7，p = 0.0639 |
| OFF5 vs OFF | +5.59 pp | b=12 c=2，p = 0.0129 |
| 評審 grounded lift | +4.19 pp | 95% [0.00, +8.58] |
H-A 排除。
#H-B：難度假說（人類於 2026-09-01 提出）
MBPP+ 對現代模型太簡單了。 換成有日期戳的比賽難題（LiveCodeBench）就會看到增益。
#實驗（R440T / E3）
| |
|---|
| 設計 | LCB v1 的 91 題 medium + hard，gemma-only，種子 g-r442-lcb |
| 臂 | n | 通過 | 失敗率 | 交付 | 洩漏 | 每題呼叫 |
|---|
| OFF | 91 | 47 | 48.4% [38.4, 58.5] | 91 | 44 | 1.00 |
| ON | 87（4 void = 4.4%） | 58 | 33.3% | 69（79.3% 覆蓋） | 11 | 5.09 |
| OFF5 | 91 | 56 | 38.5% | 91 | 35 | 5.00 |
| 比較 | 差異 | 統計 |
|---|
| ON vs OFF5（等預算） | +5.75 pp | b=15 c=10，p = 0.4244 |
| ON vs OFF | +16.09 pp | b=18 c=4，p = 0.0043 |
| OFF5 vs OFF | +9.89 pp | b=19 c=10, p = 0.1360 |
H-B 排除。
#這次實驗的另一個收穫：評審層在難題上更糟
| MBPP+ | LCB 難題 |
|---|
| 評審的原始 FAIL 主張 | 少數（近乎一律 PASS） | 234 / 261 = 89.7%（近乎一律 FAIL） |
| 初稿實際錯誤率 | 0.305 | 0.460 |
| 原始層 − 零智慧基線 | −2.99 pp | +0.77 pp |
#三次乾淨 run 的總結
兩個可能的解釋都被排除了，所以剩下的解釋是機制本身。 這才有理由去改設計——否則我們會一直修一個「其實只是模型太強」的東西。
#改成了什麼
2026-09-03，R440P
| 舊設計 | 新設計 |
|---|
| 裁判 | 三位 AI 評審 | 客戶自己的可執行驗收測資 |
| 問題 | 「這看起來對嗎」 | 「跑你的測試過不過」 |
| 裁判性質 | 模型 | 資料 |
| 呼叫成本 | 3 通評審 + 1 通修訂 | 1.5 通（早停） |
#誠實邊界
#接下來
