VacantAI 的可究責層GitHub

 · 增益軸

閘門把假交付砍掉四成,不是對半

836 題、43 個區塊、0 作廢的實驗。論文的「halved」是錯的——因為兩個率用了不同的分母。這個更正讓閘門的效果從「對半」變成「大約四成」。

假交付資料品質自我更正LiveCodeBench

#假交付是什麼

詞定義
交付成功系統實際放行,且保存的候選通過隱藏評估
假交付系統放行,但候選未通過隱藏評估

所以「假交付率」有三種可能的口徑,每個都對,但會給出不同的數字。

#R532 的資料

模型qwen/qwen3.8-27b Q4_K_M,非 reasoning
任務836
區塊43
完成率43 / 43
資料列2,508
作廢0
V/GT 指紋199,019 項 CLEAN
收據鏈86 條 / 3,895 筆全部驗得過

這是這個專題裡資料品質最乾淨的一次實驗——0 作廢、0 V/GT 違規、86 條鏈全部驗得過。

#三種口徑

臂接受數假交付數假交付 / 全部 836假交付 / 接受數
CONFORM81112014.4%14.8%
OFF62521125.2%33.8%

#修正後的宣稱

#這個數字為什麼重要

#與其他數字的關係

數字值來源
假交付率(CONFORM)14.4%(占接受 14.8%)R532
假交付率(OFF)25.2%R532
覆蓋率(CONFORM 能放行的比例)811 / 836 = 97.0%R532
候選池上限(r441)82.68%R440P
殘餘可實現攻擊(generic_gauged)+2.72 ppR452
量具上界(weak_oracle)+4.35 ppR452

#這次實驗的兩個修正案

R532 的完整裁決

AMEND1(關於 H-MIX 的標籤):

題庫集H-MIX − CONFORM
1−5.83
2−5.19
3−16.67
4−1.28
5−0.54
併庫−3.23 pp,區間 [−5.52, −0.75],Holm p = 0.0101

分析器只檢查顯著性、沒有檢查方向,於是標成 EFFECTIVE。那個標籤作廢。

只允許引用 RULED_OUT(本輪門檻:區間上界 < +2.0 pp),而且明文禁止說「迴圈有害」。

AMEND2(關於前提):

「更強模型」這個前提不成立。 27B 的 OFF 臂 74.8% vs 12B 的 75.2%。

我們沒有比較到更強的模型。所以 R532 不能用來說「模型更強時增益消失」——因為模型沒有更強。

#分母這件事的一般化

#接下來

相關

閱讀約 5 分鐘

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽