VacantAI 的可究責層GitHub

 · 防守軸 · 推翻

偵測機率是一個乘積,不是三個維度

我們原本宣稱「加大稽核率救不回有盲區的情況」。實測:盲區 0.5 時稽核率從 0.1 拉到 1.0,攻擊者總得手下降 82%,p = 5.5e-6。三個因子是同一個乘積裡的項。

稽核盲區統計推翻

#我們原本的宣稱

我們的直覺是這樣的:

如果稽核與評審有共同盲區,那麼無論把稽核率拉多高,都補不回盲區造成的損失——因為被漏掉的永遠漏掉。

依據的數字是:

攻擊者得手全擋率
盲區 0,稽核率 1.00.0100%
盲區 0.5,稽核率 1.00.966756.67%

所以我們寫下:「加大稽核率救得回零盲區,救不回有盲區的情況。」

#複驗代理的發現

它去掃了完整網格,然後寫:

偵測機率是單一乘積 (1−盲區)×抽樣率×準確率,三者共軸。抽樣率與盲區可互相替換。盲區改變的是防禦的天花板(殘量 β/(1−β)),不是抽樣率有沒有用。

#實測數字

條件結果
盲區 0.5,稽核率 0.1 → 1.0總得手下降 82%(Wilcoxon p = 5.5e-6)
同上,盲區類別內部的得手下降 70%
稽核率 0.5 → 1.0(用來抵銷 50% 盲區)配對差 0.03,p = 0.78

#「天花板」是什麼

#盲區的外部錨點

我們在 2026-08-06 登錄了外部文獻裡的盲區數字。這些不是我們的 β,是別人在別的設定下量到的相關性:

研究數字
Kim 等(2025),350+ 模型兩個模型都答錯時,HELM 0.600(隨機 1/3 = 0.333)、HuggingFace 0.423(隨機 0.127)。而且更準的模型錯得更像。
Begin(2026)偏好對齊相關 ρ = 0.70;10 個代理的有效獨立數 1.38;加到 40 幾乎不動
Bugaud 等(2026),17 個 VLM/8 個家族相關的多數錯誤會丟掉正確答案 1.5–6.5% 的題目
Krumdick(2025)用 GPT-4o 當裁判,在它自己也解不出來的題目上,Cohen κ 從 0.86 掉到 0.16

#為什麼「加人數」沒有用

Begin 的數字回答了另一個常見的問題:「多加幾個評審者會怎樣?」

代理數有效獨立數
11
101.38
40幾乎不動

10 個評審者的有效獨立數是 1.38。 也就是說 10 個評審者約等於 1.38 個獨立來源。

#這條規則的三次應用

場合原本的說法修正後
脈衝 E21「加大稽核救不回盲區」總得手降 82%,推翻
入場成本 E13「評審不可靠時,入場設計沒用」全部在一個標準差內——因為入場設計是下游
增益軸「多數決 vs 閘門」兩者都只是「選擇規則」,上限是候選池裡至少一份正確

第三個的完整比較

#接下來

相關

閱讀約 5 分鐘 · 本頁引用 1 條已裁決宣稱

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽