評審閘門的誕生:執行取代意見,收據取代投票
刪掉 AI 評審委員會,改成「跑客戶的驗收測資、交第一份通過的、全不通過就拒交」。三個題庫上多交付 4.58 到 19.17 個百分點,每題只花 1.5 通呼叫。
#規則(逐字凍結)
- 依序生成候選。
- 每份候選都在沙箱中執行可見驗收。
- 第一份通過者即放行,並停止生成。
- 最多五份。全部不通過則拒交。
- 拒交計為失敗,分母是全部題目。
#為什麼「第一份通過就停」有效
因為選擇規則的上限是候選池裡至少一份正確的比例。多數決也跳不出這個上限。
兩批已保存的五候選資料:
| 題庫集 | 候選池上限 | 五份全錯的題數 |
|---|---|---|
g_r441 | 82.68% | 31 / 179 |
g_r356 | 85.03% | 22 / 147 |
#三個題庫的收斂
| 題庫 | n | 差異(vs 單抽一次) | 統計量 | 每題呼叫 |
|---|---|---|---|---|
| MBPP+(併庫 371) | 371 | +4.58 pp | 95% CI [+0.57, +8.04] | 1.51 |
| LCB v2(難題) | 120 | +19.17 pp | b=31 c=8,p = 0.0003 | 1.71 |
| LCB v3 | 189 | +7.94 pp | b=25 c=10,p = 0.0167 | 1.55 |
#被拒交的題目不是運氣
事後審計每一個被閘門拒交的題目,看五個草稿是不是真的都錯:
| 批次 | 被拒交題數 | 五份全錯 |
|---|---|---|
| r447 | 7 | 7 / 7 |
| r449b | 8 | 8 / 8 |
| r449c | 10 | 10 / 10 |
| r461 | 15 | 15 / 15 |
#EQ5:最乾淨的一次比較
這是整個增益軸設計得最好的一個實驗——同一組 5 份候選、同樣 5 通呼叫,一個交第一份通過的,一個五份投票取多數。候選完全對齊,預算完全對齊。
| 階段 / 題庫 | 閘門成功 | 多數決成功 | Δ | 未校正 p |
|---|---|---|---|---|
| r446 MBPP+ | 280 / 371 | 265 / 371 | +4.04 | .0135 |
| r448 MBPP+(換種子) | 286 / 371 | 273 / 371 | +3.50 | .0241 |
| r449b LCB v2 | 85 / 120 | 75 / 120 | +8.33 | .0414 |
| r449c LCB v3 | 157 / 189 | 149 / 189 | +4.23 | .0963 同號未解析 |
#候選池上限的直接驗證
R440P 用零 API 的離線重放驗了一次(把已保存的五候選重算):
g_r441 | g_r356 | |
|---|---|---|
| 候選 | 895 | 735 |
| 早停通過率 | 78.21%,1.34 呼叫 | 82.99%,1.13 呼叫 |
| OFF5 實際出貨 | 73.74%,5.00 呼叫 | 77.55%,5.00 呼叫 |
| 差 | +4.47 pp,p=0.0963 | +5.44 pp,p=0.0574 |
| 早停 vs 單抽 | +7.82 pp,b=14 c=0,p=0.0001 | +6.80 pp,b=10 c=0,p=0.0020 |
#這個閘門自己也被攻擊過
2026-09-06 的 R451/R452:只要驗收套件是一段「被信任的程式碼」,攻擊者就能讓量具失效。
| 階段 | 結果 |
|---|---|
| 套件綁進 commit,平凡套件 | 371 / 371 全拒(正常) |
| 有狀態的量具變體 | 交付率掉 75.20 pp,而量具回報 ok |
| 修補:SuiteSpec(套件變成資料) | exec 走私 368 / 371 → 0 / 371 |
| 殘餘:generic_gauged | +2.72 pp |
| 事後上界:weak_oracle | +4.35 pp |
#這個閘門的前提
我們把這句話逐字放進每一份講成效數字的文件裡。刪掉那個區塊等於刪掉那些數字的成立條件。
相關的結構性發現:在我們用過的題庫裡,隱藏測資都是可見測資的超集(V ⊆ GT),所以「可見篩選是無損的」這句話在構造上是恆真的,沒有檢定力。v-gt-is-not-lossless
#誠實邊界
#接下來
- 前提的完整討論:v-gt-is-not-lossless
- 題目難度怎麼改變這條規則的價值:harder-tasks-more-worth
- 閘門的完整規格:驗收閘門 CONFORM

