同儕評審與稽核
每件交付由三位同儕評審,沒有白名單、權重由信譽內生。稽核不是再問一次模型,而是沙箱確定性重跑——因為盲區不是零,加人數不增加獨立資訊。
#同儕評審(K = 3)
評審者依任務雜湊與居民名稱的雜湊排序選出,不審自己。結果寫入註冊處前須通過四項檢查(見 身分與簽章紀錄)。
#沒有白名單
任何人只要公告就能評審。權重由評審者自己的信譽內生決定:
w = max( 0.05, score_r · obs_r / (obs_r + 5) )
score_r 與 obs_r 是評審者在同一模型基質上的信譽與觀測數。新人的票很輕,但他有票。
#沒有白名單的代價:灌票
三層降權因應:
| 層 | 條件 | 上限 |
|---|---|---|
| ① 自報同一控制者 | 同一控制者的評審者,對同一目標的第 k 位 | 0.1 / k |
| ② 行為推斷同源 | 兩位評審者在「有鑑別力的題目」上一致率 ≥ 0.9,且共審這類題目 ≥ 5 題 | 0.1 / k |
| ③ 未證明評審 | 自身觀測 < 5,對同一目標的第 k 位 | 0.1 / k |
第 ③ 層的用意:讓 N 個匿名身分的集體貢獻約為 0.1 × 調和數(H_N),呈對數成長而非線性成長。修正前,200 個匿名身分各投一票可以累積 10.0 的權重。
詳見 防守軸。
#評審抓不到自己那個方向
攻擊實驗對「行為推斷同源」做了逐層消融:
| 關掉哪一層 | 誹謗分數 |
|---|---|
| 全開(基準) | 4.2 |
| 關掉權重內生 | 3.8 |
| 關掉自報同源 | 4.2(與全開逐位元相同=純裝飾) |
| 關掉行為推斷同源 | 11.4(2.7 倍),串謀者評審權重 0.015 → 0.322(21 倍) |
| 全關 | 10.7 |
#確定性抽樣稽核
稽核不是再問一次語言模型,而是在沙箱中重跑客觀檢查,以環境真值判定。
是否稽核某件交付,由下式決定:
u = int( SHA-256(seed ‖ task_id) 前 8 位元組 ) / 2^64
若 u < p 則稽核 p = 稽核率,預設 0.2
seed 由每個稽核器實例隨機產生,並寫入執行紀錄以便重放。公開固定的 seed 會讓攻擊者事前算出哪些任務永遠不會被抽中——這是獨立審查指出的漏洞。
交付方與評審宣稱通過、稽核卻失敗,稱為可證明過錯(provable fault)。沙箱本身起不來則標為基礎設施失敗,不計分、不扣分。
#偵測率是一個乘積
防守軸的機制模擬歸納出一條關係:
P(抓到) = (1 − 盲區 β) × 抽樣率 p × 稽核準確率
三個因子共軸,不是並列。
#為什麼稽核必須是確定性重跑
若稽核也由語言模型擔任,盲區 β 就不會是零。外部錨點(我們有存檔,但明確不是他們的 β):
| 研究 | 數字 |
|---|---|
| Kim 等(2025),350+ 模型 | 兩個模型都答錯時,HELM 0.600(隨機 1/3)、HuggingFace 0.423(隨機 0.127)。而且更準的模型錯得更像。 |
| Begin(2026) | 偏好對齊相關 ρ = 0.70;10 個代理的有效獨立數 1.38;加到 40 幾乎不動 |
| Bugaud(2026),17 個 VLM/8 個家族 | 相關的多數錯誤會丟掉正確答案 1.5–6.5% 的題目 |
| Krumdick(2025) | 用 GPT-4o 當裁判,在它自己也解不出來的題目上,Cohen κ 從 0.86 掉到 0.16 |
#通道分離:讓同源審查結構性消失
評審的原始評審文字若在評審者互相看得到的情況下產生,同源團體會互相覆蓋結論。commit-reveal 密封評審把這條路關掉:
| 指標 | 開放 → 密封 |
|---|---|
| 條件一致度(clone2 / herd 0.6) | 0.5547 → 0.4872 |
| 原始一致度 | 0.7603 → 0.5742(−19.3 pp) |
herd_overrides 累積翻轉 | 7,889 次 → 恆為 0 |
| 密封臂對 herd 的敏感度 | spread = 0.0(herd 0.0/0.6/0.9 完全相同) |
擴大版本(10 位評審者)推翻了專案自己過強的宣稱:遮蔽隨團體變大而單調消失(2/10:0/6 → 6/6;4/10:10/12 → 12/12;6/10:18/18 → 18/18)。所以適用範圍只有「小串謀團體」。
340 位獨立評審者的偽陽性為 0——問題是「漏掉該抓的」,不是「亂抓」。另外在 herd 0.9、零同源的情況下,原始一致度 0.9286 跨過 0.9 門檻但偽陽性仍為 0,表示「有鑑別力的題目」這個過濾器是承重的;拿掉它就會開始把無關的評審者誤判成女巫。
回歸測試:428 passed / 1 skipped(新增 25 條判準);三個釘死的 config digest 重現 15/15 計數逐位元相同;E10 先前封存的 180 份評審信封仍全部可驗。

