增益軸
這是花最多力氣、也自我推翻最多的一條軸。頭條是「AI 評審輸給多數決」，結論是「可執行驗收閘門＋重抽有效，修訂迴圈的額外增益同號未解析」。
本頁引用 7 條裁決：成立 2・推翻 1・說太滿 1・無可分辨差異 1・同號未解析 2點一條跳到那張宣稱卡
#這一軸回答什麼
在需求已可編譯為可執行驗收測資的條件下，驗收閘門、重抽與失敗回饋修訂，各自為交付成功率帶來多少增益，代價是多少 token。
#開頭：委員會式設計輸了
#早期 G 系列（探索性）
等預算比較（同題、同呼叫數）：
| 比較 | n | 結果 | p |
|---|---|---|---|
| ON vs OFF5（371 任務） | 347 | 82.42% vs 83.57% | 0.5572 |
| OFF5 vs OFF（非等預算） | 349 | 83.09% vs 78.51% | 0.0090 |
關鍵發現：OFF5 臂在程式裡寫死了 accepted = True——它沒有拒絕這條路。所以上面那個比較實際上是「一個有免費閘門的臂」對「一個被禁止拒絕的臂」。
#R437 決定性三臂 run
事前訂的三個判準（2026-08-24/28 凍結）：
| 判準 | 裁決 |
|---|---|
| ① OFF 失敗率落在 20–60% | ✓ 26.44%（Wilson [20.4, 33.4]）——量具有訊號 |
| ② 三臂有可分辨差異 | 量不到（這本身就是答案） |
| ③ ON 在等預算下贏 OFF5 | ✓ 答案是沒有 |
#R438 機制分析（成立）
| 指標 | 數值 |
|---|---|
| 評審票準確率 | 0.7552 |
| 「全部判通過」零智慧基線 | 0.7522 |
| 差距 | +0.29 pp |
| 單輪修訂「沒有機會修正」 | 93 / 113 |
| 盲目採用修訂版後隱藏通過率 | 82.3% → 78.8%（−3.5 pp） |
| 修訂帶來的真實改善 | 1 / 113 |
#兩個假說都被排除
人類在 2026-09-01 提出兩個解釋，兩個都被自己的實驗排除。
#H-A 天花板：worker 太強
換成單一 12B 模型（gemma-4-12b，179 題），獨立稽核逐列重算與 R516 完全一致（rows.jsonl 525 行 sha 440d973c、calls 1,986 sha 3d24b73d）。
| 臂 | n | 通過 | 失敗率 |
|---|---|---|---|
| OFF | 179 | 122 | 31.8%（Wilson [25.5, 39.0]） |
| ON | 167（+12 void = 6.7%） | 122 | 26.9% |
| OFF5 | 179 | 132 | 26.3% |
ON vs OFF5：n=167、b=11、c=12、p = 1.0000。評審的 grounded lift +4.19 pp，95% [0.00, +8.58]。
把 worker 換弱，失敗率確實升了（25.5% → 31.8%），增益仍然沒有出現。
#H-B 難題：題庫太簡單
換成有日期戳的比賽難題（LiveCodeBench v1，91 題 medium+hard，gemma-only）。
| 臂 | n | 通過 | 失敗率 | 交付 | 洩漏 | 每題呼叫 |
|---|---|---|---|---|---|---|
| OFF | 91 | 47 | 48.4% [38.4, 58.5] | 91 | 44 | 1.00 |
| ON | 87（4 void） | 58 | 33.3% | 69（79.3% 覆蓋） | 11 | 5.09 |
| OFF5 | 91 | 56 | 38.5% | 91 | 35 | 5.00 |
ON vs OFF5：n=87、b=15、c=10、p = 0.4244。題庫確實更難（比 MBPP+ 的 31.8% 高 16.6 pp），但增益仍然沒出現。
三個乾淨的 run、兩個模型家族、兩個題庫��兩種難度，答案一致：等預算下這個機制打不贏 self-consistency。}}
#順帶：洩漏率是閘門最穩的好處
| 臂 | 接收但實際失敗（洩漏） |
|---|---|
| OFF | 44 |
| OFF5 | 35 |
| ON | 11 |
題目越難，拒絕越值錢。 這是整條軸裡最早成立的機制結論。
#轉向：R440P，執行取代意見
2026-09-03。刪除評審委員會，改成跑客戶自己的驗收測資。零 API 的離線重放：把已保存的五候選資料重算一遍。
g_r441（gemma-12b） | g_r356（qwen35b + gemma12b 池） | |
|---|---|---|
| 候選 | 895（179×5） | 735（147×5） |
| 早停通過率 | 78.21%，1.34 呼叫 | 82.99%，1.13 呼叫 |
| OFF5 實際出貨 | 73.74%，5.00 呼叫 | 77.55%，5.00 呼叫 |
| 差 | +4.47 pp，b=13 c=5，p=0.0963 | +5.44 pp，b=11 c=3，p=0.0574 |
| 候選池上限 | 82.68%（31 題五份全錯） | 85.03%（22 題全錯） |
| 早停 vs 單抽 | +7.82 pp，b=14 c=0，p=0.0001 | +6.80 pp，b=10 c=0，p=0.0020 |
#兩個自我審查
- R440P 自己的審計抓到自己的錯：第一版「等預算」規則用隱藏測資的多數決——違反 V/GT 分離，而且不是一個可出貨的機制。改成只看可見。
- R440U 閘門成本（成立）：ON 是唯一能扣留的臂（覆蓋 0.829 vs 其他 1.0）。中段 n=77：扣留 14，丟掉正確答案的次數 a = 0。事前訂的判準 a ≤ 2 → 閉。
#R445：三個題庫的收斂
| 題庫 | n | Δ | p / CI | 每題呼叫 |
|---|---|---|---|---|
| MBPP+（併庫） | 371 | +4.58 pp | [+0.57, +8.04] | 1.51 |
| LCB v2 | 120 | +19.17 pp | b=31 c=8，p=0.0003 | 1.71 |
| LCB v3 | 189 | +7.94 pp | b=25 c=10，p=0.0167 | 1.55 |
事後審計被拒交的題目：五個草稿每次都錯——r447 7/7、r449b 8/8、r449c 10/10、r461 15/15。閘門拒掉的不是運氣。
#EQ5：同一組候選，閘門 vs 投票
#R460：六臂，事前寫死四個狀態
2026-09-07 至 09-11。LCB v2 120 題，6 個區塊 × 20。gemma-4-12b-it-qat Q4_0，temperature 0.7，六種 persona，LM Studio 0.4.17，reasoning token 全為 0。
| 臂 | 成功 | 率 |
|---|---|---|
| OFF | 70/120 | 58.33% |
| CONFORM | 85/120 | 70.83% |
| OFF5 | 78/120 | 65.00% |
| H-PI | 91/120 | 75.83% |
| H-OC | 96/120 | 80.00% |
| H-MIX | 101/120 | 84.17% |
H-MIX − CONFORM：b=22、c=6、+13.33 pp、條件區間 [4.22, 19.46]、Holm p = .0112 → 標為 EFFECTIVE。
#R460R：五次複製，頭條宣稱輸給自己的規則
這是整個專題最重要的一頁。 詳細拆解見 five-replications，這裡只放結論：
| 五次的 H-MIX − CONFORM | +5.83 / +4.17 / +0.83 / +2.50 / +4.31 pp |
| 五次的 Holm p | .6301 / .9165 / 1.0000 / .6776 / .9224 |
| 通過 Holm 的次數 | 0 / 5 |
| 狀態 | INCONCLUSIVE / INCONCLUSIVE / RULED_OUT / INCONCLUSIVE / INCONCLUSIVE |
| 五個未校正區間 | 全部與 R460 的 [+4.22, 19.46] 相交 |
| 五個上界 | 全部低於 +13.33 |
被禁用的說法：「複製穩定」、「複製失敗」、「效應消失」、「等價」、「打成平手」、「迴圈沒用」。禁止合併 n、禁止平均、禁止挑一次來報。
#但有兩條在同一批資料上站得住
| 差異 | 統計 | |
|---|---|---|
| 三條 H 臂 vs OFF | 15/15 格全部通過自己的 Holm | 差異範圍 +17.5 ~ +29.2 pp |
| CONFORM − OFF | +14.17 / +18.33 / +17.50 / +19.17 / +18.97 pp | 落在每個預註冊家族之外 |
增益的主體是「可執行的驗收閘門＋重抽」，回饋迴圈只是疊在它上面的小增量。
#探索量：投票輸給閘門，而且貴一倍以上
| 複製 | OFF5 − CONFORM | 未校正 p |
|---|---|---|
| r1 | −10.83 pp | 0.019 |
| r2 | −10.83 pp | — |
| r3 | −15.83 pp | — |
| r4 | −4.17 pp | — |
| r5 | −1.74 pp | — |
3/5 未校正 p < .05——而兩個不顯著的正好是 r4 與 r5，也就是後端零共存的兩次。 這條不在任何預註冊家族裡，狀態是「同號未解析」。
#R529：跨題庫四集
| 題庫集 | n | OFF | CONFORM | H-MIX | H−C b/c | C−O b/c |
|---|---|---|---|---|---|---|
| LCB v3 medium | 135 | 115 | 125 | 126 | 6/5 | 14/4 |
| LCB v3 hard | 54 | 38 | 41 | 43 | 5/3 | 3/0 |
| HumanEval+ | 156 | 129 | 147 | 148 | 5/4 | 21/3 |
| MBPP+ | 371 | 277 | 295 | 299 | 15/11 | 26/8 |
| 併庫 | 716 | 559 | 608 | 616 | 31/23 | 64/15 |
| 比較 | 差異 | 統計 |
|---|---|---|
| H-MIX − CONFORM | +1.12 pp | 條件區間 [−1.02, 3.13]，Holm p = .3409 |
| H-MIX − OFF | +7.96 pp | Holm p = 2.02 × 10⁻⁸ |
| CONFORM − OFF | +6.84 pp | 家族外，未校正 |
8 條事前預測：4 中 4 失 → INCONCLUSIVE。異質性 χ² = 0.135、df = 3、p = .987（僅供描述，最小期望格數 < 5）。
假交付沒有重現：6 vs 9、7 vs 11、6 vs 6、58 vs 56（MBPP+）。
#成本：這是成功率提升，不是 token 效率提升
R460 每題 token / 每個正確交付的 token：
| 臂 | 率 | token/題 | token/正確 |
|---|---|---|---|
| OFF | 58.33% | 2,913 | 4,994 |
| CONFORM | 70.83% | 5,805 | 8,195 |
| OFF5 | 65.00% | 15,004 | 23,084 |
| H-PI | 75.83% | 9,448 | 12,459 |
| H-OC | 80.00% | 7,432 | 9,290 |
| H-MIX | 84.17% | 5,677 | 6,745 |
- H-MIX vs OFF：2.23–2.78×/題、1.65–2.11×/正確
- H-MIX vs CONFORM：0.92–1.56×/題（R460R）、1.07–1.69×/題（R529）
- 五次複製中有四次，H-MIX 每個正確交付比 CONFORM 更貴
- OFF5 vs CONFORM：2.16–2.85×/題，而且每次交付率都更低
「同樣的上限」不等於「同樣的實際成本」。
#R532：換更強的模型
2026-09-17/18。qwen/qwen3.8-27b Q4_K_M，非 reasoning，836 任務、43 個區塊、0 作廢、2,508 列；V/GT 指紋 199,019 項 CLEAN；86 條收據鏈 / 3,895 筆全部驗得過。
H-MIX − CONFORM 的五個題庫集全部為負：−5.83 / −5.19 / −16.67 / −1.28 / −0.54。併庫 −3.23 pp，區間 [−5.52, −0.75]，Holm p = 0.0101（b=38, c=65）。
#檢定力：為什麼有些題目永遠量不出來
| 題庫 | Δ | 統計 |
|---|---|---|
| LCB v2 | +6.67 pp | p = 0.15 |
| LCB v3 | +1.59 pp | 95% CI [−3.17, +6.35]，p = 0.6636 |
| MBPP+ 乾淨複製（192 題） | +4.69 pp | 95% CI [−1.11, 9.42] |
#這條軸目前欠的
#接下來
- 逐條裁決：證據帳本
- 每次複製的細節：five-replications
- 紀錄與多方執行：紀錄與多方執行
