實驗　·　方法 / 四個家族　·　2026-10-07

實驗方法與裁決值

四種實驗方法家族、裁決值的六種狀態、事前宣告的四個規則，以及四條被複驗之後才寫出來的分析紀律。這一頁是所有數字的判讀前提。

#兩條軸

2026-08-17 起，專題把全部實驗正式分成兩條軸。這是整份研究裡最重要的一次結構調整——在那之前，我們累積的全部實驗都在問「壞的有沒有被擋住」，沒有一個在問「加了這層，交出來的東西有沒有更符合需求」。

軸	問題	方法
防守軸	在有刻意交付錯誤的參與者存在時，這套規則能擋多少	機制模擬為主
增益軸	在需求已可編譯為可執行驗收測資時，交��成功率提高多少、代價多少 token	真模型配對實驗

#四種方法家族

#1. 機制模擬（E1–E9, E12–E24, A1–B5, M1–M5, S1–S3）

回答什麼：在這套規則下，某個攻擊策略或機制參數值多少。

什麼是真的：路由（真的 Registry.route，UCB + 見習期上限 0.55 + 每 10 輪見習配額）、稽核（真的 Auditor，sha256(seed:task_id) 確定性抽樣）、信譽（真的 Reputation，五維 Beta、乘法 slash、per-stream 半衰期 200 事件）、簽章（真的 Ed25519 與 hash-chain）。

什麼是模擬的：只有「這一筆交付是好是壞」——那本來就是實驗處理，不是機制。

沒控制什麼：

攻擊者策略空間是寫死的三到四種；真實攻擊者可能更強。
單一攻擊者 + 5 個誠實居民的固定生態規模。
盲區的真實值未知（沒有外生錨定）。

#2. 真模型實驗

回答什麼：整條管線在真模型上跑得起來嗎；開關信任層有沒有可測差異。

步驟：從 EvalPlus MBPP+ v0.2.0（378 題、sha256 釘死）取樣 → 每一臂各跑同一批題（三臂的 prompt 模板逐字相同，KS-1）→ 交付後用臂外的 compile_check(t.check)(answer) 獨立判定品質 → 以 task_id（sha256(prompt+tests)，跨臂穩定）配對 → McNemar 精確檢定 + 固定種子 bootstrap 95% CI + 檢定力。

#3. 迴歸判準（pytest）

回答什麼：機制本身有沒有退回去。

先寫會失敗的判準，再改機制（先紅後綠）。每支判準的說明記錄「當時的錯誤數字」，讓退化無法無聲發生。

#4. 網站稽核

回答什麼：公開網站是否可讀、互動是否正確、有無水平溢出。

對比度：iframe 探針走訪每個可見元素，取 computed style，把半透明前景與有效背景合成後算 WCAG 比值（文字 4.5:1、大字與 UI 邊框 3:1）。
功能：以 JS 驅動點擊走完互動流程，比對 DOM 狀態與指紋是否真的重算。
響應式：iframe 固定寬度量 scrollWidth vs clientWidth。

#裁決值：六種狀態

這是全站最重要的一組詞。每一條對外宣稱都必須落在其中一格。

成立事前訂的判準通過（預註冊、跑完對答案）
推翻宣稱是錯的，正確說法列在「更正後」
說太滿核心站得住但說得太滿，或原始證據／機制解釋有問題
無可分辨差異量到沒有可分辨的效應——這本身就是答案，不是沒測完
同號未解析預註冊的規則沒有觸發任何一個狀態，沒量出來，不是沒有差異
未複驗尚未送複驗——不等於通過

#事前宣告的四個規則

判準在開跑前凍結。 每個實驗的判準、統計方法、四狀態規則都寫在裁決文件裡，附時戳。
拒交計為失敗，分母是全部題目。 否則「全部拒交」會變成 100% 成功。
基礎設施失敗不計為模型失敗。 沙箱起不來是環境問題，不是模型能力問題。
沒量到不等於量到零。 所有涵蓋性欄位採三態（真／假／未量）。

#四條分析紀律

這四條是被對抗式複驗之後才補上的。每一條都對應一次我們原本會發錯的結論。

#一、對聚合量下結論前先分解

對聚合量下「維度 X 不重要」的結論之前，先把它分解。分解不出來時只能寫「在這個操作點上量不到」，不能寫「不重要」。

來源：E24 的「時間結構只差 1.81 倍」。aggregate-decomposition

#二、不要在退化端點上量效應量

端點的數字最漂亮，通常也最沒有資訊。

blindspot = 1.0 時 30 個 seed 塌成同一條軌跡（sd = 0、有效 n = 1）；audit_rate = 1 且 audit_accuracy = 1 時 caught == bad 是程式寫死的恆等式。

#三、偵測機率是單一乘積

P(抓到) = (1 − 盲區 β) × 抽樣率 p × 稽核準確率。不要把同一個乘積裡的因子當成正交維度。

來源：「加大稽核救不回盲區」。blindspot-is-a-product

#四、等預算比較要驗 `defected == BUDGET`

上界恆成立，永遠抓不到「這一臂根本沒被綠住」。

來源：E19 把「多作惡 2.5 倍」誤讀成「時機較優」。equal-budget-must-bind

#統計上的自我更正

事件	發現方式
`wilcoxon_signed_rank_exact` 常態近似分支重複計算平手修正	n=30、20 正 10 負時程式說 p=0.0288（顯著），精確值 0.0987（不顯著）
bootstrap CI 用 `hash()` 當種子，跨行程不可重現	同一份資料跑出 53,478 與 1,628
`SimConfig.digest()` 同時是 RNG 種子與所有欄位的雜湊	「加一個選用參數」會靜默地移動 E1–E16 每��個數字。修正：預設值欄位不納入 digest，並把三個 config digest 釘死到逐位元重現
隱藏測資稽核 v1 產生 90 筆偽陽性	改以「這段文字是誰寫的」為判準，v2 零違規
`codebench.py` 的縮排 bug	378 個契約中 77.2% 有 ≥2 個 assert，導致 FAIL 主張被誤丟。補算 99 筆：38（38.4%）是被 bug 吃掉的真反例

#誠實邊界的三層

層	內容
機制層	機制模擬證不了安全，只能給攻擊成本上界的下界。
題目層	增益實驗限定在 Python 程式生成，題目來自三個公開題庫的本地子集。主要實驗使用單一的 12B 量化模型與本地推論主機。
人的層	完全沒有量過。我們沒有招募使用者，不知道人是否因此更敢把事交給 AI。