題目越難，驗收閘門越值錢
早停閘門在 MBPP+ 上多交付 7.8 個百分點，在 LiveCodeBench 難題上多交付 20.9 個百分點。而且「洩漏率」從 44 降到 11——拒交在難題上最值錢。
#三個維度的對照
| MBPP+ | LCB v1（難題） | |
|---|---|---|
| 題數 | 179 | 91 |
| OFF（單抽一次）失敗率 | 31.8% | 48.4% |
| 閘門 vs 單抽一次 | +7.82 pp | +20.88 pp |
| b / c（早停救回 / 單抽就對） | 14 / 0 | 19 / 0 |
| 候選池上限 | 82.68% | 75.82% |
| 單抽一次的成功率 | 78.2% | 45.05% |
#洩漏率：拒交在難題上最值錢
| 臂 | MBPP+ 洩漏 | LCB 難題洩漏 |
|---|---|---|
| OFF（單抽） | — | 44 / 91 |
| OFF5（五次投票） | — | 35 |
| CONFORM（閘門） | — | 11 |
| MBPP+ | LCB 難題 | |
|---|---|---|
| 閘門 vs 五次投票 | +4.47 pp | +4.40 pp |
| p | 0.0963 | 0.424 |
| 閘門 vs 單抽 | +7.82 pp | +20.88 pp |
| p | 0.0001 | < 0.0001 |
這是因為難題上模型更容易自信地交出壞東西。閘門的機制是「跑你的測試，過才交」——它在難題上仍然能判斷「這個不過」，而投票機制在五份都錯的時候只能錯。
#41 個被拒交的題目
事後審計每一個被閘門拒交的題目，看五份草稿是不是真的都錯：
| 批次 | 被拒交 | 五份全錯 |
|---|---|---|
| r447 | 7 | 7 / 7 |
| r449b | 8 | 8 / 8 |
| r449c | 10 | 10 / 10 |
| r461 | 15 | 15 / 15 |
#三個題庫的收斂
R445 用三個題庫集收斂（閘門 vs 單抽一次）：
| 題庫 | n | Δ | 統計 | 每題呼叫 |
|---|---|---|---|---|
| MBPP+（併庫 371） | 371 | +4.58 pp | 95% CI [+0.57, +8.04] | 1.51 |
| LCB v2（難題） | 120 | +19.17 pp | b=31 c=8，p = 0.0003 | 1.71 |
| LCB v3 | 189 | +7.94 pp | b=25 c=10，p = 0.0167 | 1.55 |
R445 的 8 條事前預測：7 中 1 失（失誤的是區間半寬比預測大）。
#這條發現的機制解釋
② 拒絕的資訊價值。 難題上模型的假交付率更高（44 / 91 = 48.3%），所以「能判斷不過」這件事的價值更高。
#這對「我們的機制有效」這個宣稱意味著什麼
H-B 假說是「MBPP+ 對現代模型太簡單，換難題庫就會顯出增益」。那個假說的對象是委員會式設計。
結果：換到難題庫，委員會的增益還是沒出現（ON vs OFF5 在 LCB 難題上 p = 0.4244）。
#誠實邊界
#接下來
- 閘門的完整規則：conformance-gate
- 兩個被排除的假說：hypotheses-excluded
- 評審層在難題上為什麼更糟：reviewer-tracks-difficulty
