評審追蹤的是題目難度，不是答案對錯
同一個評審層，在 MBPP+ 上近乎一律判通過（0.305 錯誤率），在 LiveCodeBench 難題上近乎一律判不通過（0.46 錯誤率）。它跟著全域性質走，不是跟著這份答案走。
#兩個題庫，同一個評審
| MBPP+ | LCB v1（medium + hard） | |
|---|---|---|
| 題數 | 179 | 91 |
| OFF 臂失敗率 | 31.8% | 48.4% |
| 初稿實際錯誤率 | 0.305 | 0.460 |
| 評審的原始 FAIL 主張 | 少數（近乎一律 PASS） | 234 / 261 = 89.7%（近乎一律 FAIL） |
| 評審層 − 零智慧基線 | −2.99 pp | +0.77 pp |
#審計過程中的意外
我們在查 FAIL 主張的時候，發現了大量「FAIL 主張被丟棄」：
| round346 的原始 FAIL 主張率 | 1.2% – 25.8% |
其中被判定為 outside_input_contract 而丟棄 | 73.6% – 100% |
#另一個觀察：集體盲區
三次 run 併起來，在 49 個真的會失敗的任務上：
| 總任務數 | 275 |
| 真負例（TN = 0 的部分） | 0 |
| 3 個評審代理投的票 | 147 |
| 其中說「pass」 | 145（98.6%） |
| 曾經投不通過的任務 | 2 / 49（而兩次都被多數壓過） |
#三次 run 的一致結果
R438 的分析與兩個後續 run：
| run | 評審準確率 | 零智慧基線 | 差距 |
|---|---|---|---|
| R438（179 題） | 0.7552 | 0.7522 | +0.29 pp |
| R440N（179 題，gemma-only） | +4.19 pp（grounded） | — | 95% [0.00, +8.58] |
| R440T（91 題，LCB hard） | — | — | +0.77 pp，95% [−19.16, +11.11] |
#這條結論怎麼導致設計改變
#一個反面測試
R440P 做了一個很乾淨的檢驗：用零 API 的離線重放，把 895 個候選（179 題 × 5 份）全部重跑一遍。
g_r441 | g_r356 | |
|---|---|---|
| 候選數 | 895 | 735 |
| 「可見過了但隱藏沒過」 | 0 | 0 |
| 早停閘門通過率 | 78.21% | 82.99% |
| 每題呼叫 | 1.34 | 1.13 |
#誠實邊界
#接下來
- 委員會輸給多數決的完整數字：committee-loses-to-majority
- 執行裁判的完整規則：conformance-gate
- 評審品質為什麼是防守軸唯一緊的約束：reviewer-accuracy-binds
