閘門把假交付砍掉四成,不是對半
836 題、43 個區塊、0 作廢的實驗。論文的「halved」是錯的——因為兩個率用了不同的分母。這個更正讓閘門的效果從「對半」變成「大約四成」。
#假交付是什麼
| 詞 | 定義 |
|---|---|
| 交付成功 | 系統實際放行,且保存的候選通過隱藏評估 |
| 假交付 | 系統放行,但候選未通過隱藏評估 |
所以「假交付率」有三種可能的口徑,每個都對,但會給出不同的數字。
#R532 的資料
| 模型 | qwen/qwen3.8-27b Q4_K_M,非 reasoning |
| 任務 | 836 |
| 區塊 | 43 |
| 完成率 | 43 / 43 |
| 資料列 | 2,508 |
| 作廢 | 0 |
| V/GT 指紋 | 199,019 項 CLEAN |
| 收據鏈 | 86 條 / 3,895 筆全部驗得過 |
這是這個專題裡資料品質最乾淨的一次實驗——0 作廢、0 V/GT 違規、86 條鏈全部驗得過。
#三種口徑
| 臂 | 接受數 | 假交付數 | 假交付 / 全部 836 | 假交付 / 接受數 |
|---|---|---|---|---|
| CONFORM | 811 | 120 | 14.4% | 14.8% |
| OFF | 625 | 211 | 25.2% | 33.8% |
#修正後的宣稱
#這個數字為什麼重要
#與其他數字的關係
| 數字 | 值 | 來源 |
|---|---|---|
| 假交付率(CONFORM) | 14.4%(占接受 14.8%) | R532 |
| 假交付率(OFF) | 25.2% | R532 |
| 覆蓋率(CONFORM 能放行的比例) | 811 / 836 = 97.0% | R532 |
| 候選池上限(r441) | 82.68% | R440P |
| 殘餘可實現攻擊(generic_gauged) | +2.72 pp | R452 |
| 量具上界(weak_oracle) | +4.35 pp | R452 |
#這次實驗的兩個修正案
AMEND1(關於 H-MIX 的標籤):
| 題庫集 | H-MIX − CONFORM |
|---|---|
| 1 | −5.83 |
| 2 | −5.19 |
| 3 | −16.67 |
| 4 | −1.28 |
| 5 | −0.54 |
| 併庫 | −3.23 pp,區間 [−5.52, −0.75],Holm p = 0.0101 |
分析器只檢查顯著性、沒有檢查方向,於是標成 EFFECTIVE。那個標籤作廢。
只允許引用 RULED_OUT(本輪門檻:區間上界 < +2.0 pp),而且明文禁止說「迴圈有害」。
AMEND2(關於前提):
「更強模型」這個前提不成立。 27B 的 OFF 臂 74.8% vs 12B 的 75.2%。
我們沒有比較到更強的模型。所以 R532 不能用來說「模型更強時增益消失」——因為模型沒有更強。
#分母這件事的一般化
#接下來
- 閘門的完整規則與上限:conformance-gate
- R532 的完整裁決:five-replications
- 可見/隱藏測資的構造性問題:v-gt-is-not-lossless

