我們的 AI 評審委員會，輸給了「生成五次取多數」
同樣 5 通呼叫，同一批題目，三位 AI 評審加一次修訂組成的委員會，輸給「生成五次取多數決」。差異的點估計是 −1.98 個百分點，而修掉一個無關的 bug 之後變成 +2.97。
本頁引用 3 條裁決：成立 1・說太滿 1・無可分辨差異 1點一條跳到那張宣稱卡
2026 年 8 月 30 日，我們做了整個專題最關鍵的一個實驗。結果是我們設計的核心機制輸了。
#背景：委員會式設計
我們的架構本來是這樣的：
1. 依信譽路由選一位工作者
2. 生成答案
3. 三位同儕評審（AI）各自判定
4. 確定性抽樣稽核（沙箱重跑）
5. 若不通過，單輪修訂問題是：這整套東西的裁判是 AI。而我們的對照組是最無腦的那種：同一題生成五次，五份投票取多數。
在相同呼叫預算下（都是 5 通），哪個交付率比較高？
#設計
| 題庫 | MBPP+（EvalPlus v0.2.0） |
| 任務數 | 179 題，6 個區塊 |
| 三臂 | OFF（單抽一次）／ ON（完整機制）／ OFF5（五次取多數） |
| 判準凍結 | 2026-08-24 與 2026-08-28 |
| 統計 | 配對 McNemar |
#結果
| 判準 | 裁決 |
|---|---|
| ① 量具有訊號 | ✓ 26.44%（Wilson [20.4, 33.4]） |
| ② 三臂有可分辨差異 | 量不到 |
| ③ ON 贏 OFF5 | ✓ 答案是沒有 |
配對結果（n = 101，三臂皆非 void）：
| 口徑 | ON | OFF5 | 差 | b | c | p |
|---|---|---|---|---|---|---|
| 原始 | 75.25% | 77.23% | −1.98 pp | 6 | 8 | 0.7905 |
| 修掉 typing 白名單 bug | 84.16% | 81.19% | +2.97 pp | 5 | 2 | 0.4531 |
#為什麼會輸：機制分析
| 指標 | 數值 |
|---|---|
| 評審票準確率 | 0.7552 |
| 「全部判通過」零智慧基線 | 0.7522 |
| 差距 | +0.29 個百分點 |
| 單輪修訂「沒有機會修正」 | 93 / 113 |
| 盲目採用修訂版後的隱藏通過率 | 82.3% → 78.8%（−3.5 pp） |
| 修訂帶來的真實改善 | 1 / 113 |
#「送審委員會」這個設計是怎麼被刪掉的
2026-09-03，R440P。專案文件的說法是：
執行取代意見，收據取代投票。
刪掉評審委員會與單輪修訂之後：每題省下 3 通評審 + 1 通修訂。 剩下的是客戶自己的可執行驗收閘門。
#同時撤回的資料品質宣稱
「決定性 run 是第一個乾淨的完整資料集」→ 改成「無已知 bug 汙染、配對子集 n = 101」。
| 臂 | infra_void |
|---|---|
| ON | 66 / 179 = 36.9% |
| OFF5 | 30 / 179 |
| OFF | 5 / 179 |
summary.json 裡的 equal_budget_comparison_valid = false，而 R437 自己記了一行 VOID-GATE-WARNING。配對分析的 n=101 結論不受 void 直接影響（只用三臂皆非 void 的題），但「乾淨」這個詞不能用。
#一個更早的訊號被我們忽略了
2026-08-30 之前的 G 系列（探索性）就已經有答案了：
| 比較 | n | ON | OFF5 | p |
|---|---|---|---|---|
| 等預算（371 任務） | 347 | 82.42% | 83.57% | 0.5572 |
| 非等預算：OFF5 vs OFF | 349 | 83.09% | 78.51% | 0.0090 |
#誠實邊界
#接下來
- 兩個假說被提出又被排除：hypotheses-excluded
- 評審層為什麼近乎常數：reviewer-tracks-difficulty
- 刪掉評審之後的閘門：conformance-gate
