實驗筆記
量到什麼，
以及量到什麼沒站住。
Vacant 的實驗筆記，32 篇：每一篇是一個真跑過的實驗或一個被推翻的宣稱，帶完整數字、分母與裁決值。防守軸、增益軸、多方執行的原始紀錄都在這裡。
這個裁決值沒有對應的筆記。
#方法4 篇
怎麼把一個說法變成可以重算的數字，以及它後來怎麼被推翻。
-
六種裁決值：怎麼說「沒量出來」而不說「沒差異」
成立、推翻、說太滿、無可分辨差異、同號未解析、未複驗——這六個詞各有嚴格的定義。把它們分開，是為了讓「我沒測到」不會被讀成「我測了，沒有」。
-
預註冊：我們為什麼要先寫下判準再跑實驗成立
判準、統計方法、四個狀態規則全部在開跑前凍結並附時戳。這一篇說明我們怎麼做預註冊，以及為什麼「事後補一個判準」在這份研究裡不算數。
-
我們派 AI 去推翻自己的結論，然後它們成功了說太滿
2026 年 8 月初，我們把六條脈衝攻擊的頭條結論交給獨立代理，唯一的指令是「證明它是錯的」。結果三條推翻、兩條降級、只有兩條站得住。
-
我們量錯過的六件事
讀錯一個欄位、網路斷線被算成評審結果、退化成極限的 rng 種子、把 `defected <= BUDGET` 當成等預算、端點上的漂亮數字、以及預設關掉的規則——六個真實的量測陷阱與它們的教訓。
#防守軸9 篇
進來的成本、省下的東西，以及被自己推翻的攻擊模型。
-
只會誹謗、從不違規的攻擊者拿到了 95.4% 的工作未複驗
三層灌票防禦都裝上了，但一個從不交付壞東西、只評審別人的串謀團體拿走了幾乎全部路由——而它���的分數是 0。傷害不是被低估，是被量測為零。
-
為什麼「永久除名」其實是兩個合理修補的乘積說太滿
實測 368 個被懲罰的種子裡 0 個回到路由。我們說「一次被抓 = 永久除名」——但真正的機制不是時鐘，是 slash 同時砍半均值又加倍觀測數，而觀測數是回歸時間的指數係數。
-
「時間結構不重要」是怎麼錯的：把聚合量拆開說太滿
我們量到 15 格攻擊策略的總得手只差 1.81 倍，然後寫下「時間結構幾乎不影響結果」。拆開之後：曝光跨 6.06 倍、效率跨 8.45 倍——攻擊能力差 8.45 倍。
-
偵測機率是一個乘積，不是三個維度推翻
我們原本宣稱「加大稽核率救不回有盲區的情況」。實測：盲區 0.5 時稽核率從 0.1 拉到 1.0，攻擊者總得手下降 82%，p = 5.5e-6。三個因子是同一個乘積裡的項。
-
「等預算」是個陷阱：我們的排名整個反轉了推翻
判準寫成 defected <= BUDGET 是恆成立的上界，所以抓不到「這一臂根本沒被綁住」。結果 whitewash 多作惡 2.5 倍卻被我們讀成「策略比較省」。改用 == 並驗證後，排名反轉。
-
脈衝攻擊：不是新的，而且連我們的頭條數字都較舊未複驗
放電 B 筆、蓄積 R 筆、重複。這個模型在 2005 年就有人做過了（Srivatsa 等的 strategic oscillation），2026-08-06 我們把「新穎攻擊」的宣稱撤回。
-
真模型上的信任開關實驗：+8.3%，但統計上什麼都沒發生未複驗
60 個配對任務，信任層開關讓通過率從 51.67% 升到 60.00%——但 95% 區間跨 0、McNemar p=0.332、檢定力只有 0.163。同一批資料上另有一條比較有意義的結果。
-
押金設太低反而讓攻擊者賺到 235% 回報未複驗
14 支機制模擬裡最反直覺的一條：免費入場完全封鎖，押金 2 卻讓攻擊者的每單位成本回報率達到 2.354。我們把兩條防禦設計（外生入場費、背書連坐）整個刪掉了。
-
整個防禦系統唯一真正緊的約束：評審準確率未複驗
掃了押金、見習期、生態規模、攻擊者占比、審查者誤差相關性——全部是鬆的。唯一讓攻擊開始有利可圖的格，是評審準確率掉到 0 的時候。
#增益軸13 篇
哪一種機制真的讓交付變好——包含四個沒量到差別的批次。
-
零設定四個批次：三個沒量到差別，第四個換引擎就沒了未複驗
零設定在 DABstep、本機 711 格、Colab 920 題、u274 四個批次上量。付費批次兩個模型都沒量到差別，本機批次 p=0.021 但集中在 6 題，920 題與 u274 沒量到差別，v3.7 後來量到 p=0.0028 卻換成 GGUF 就沒複製。
-
閘門把假交付砍掉四成，不是對半
836 題、43 個區塊、0 作廢的實驗。論文的「halved」是錯的——因為兩個率用了不同的分母。這個更正讓閘門的效果從「對半」變成「大約四成」。
-
這是成功率提升，不是 token 效率提升未複驗
逐通重算 197 格零差異。H-MIX 對單抽一次是 2.23–2.78 倍 token，五次複印中有四次每個正確交付比閘門更貴。「同樣的上限」不等於「同樣的實際成本」。
-
五次複製之後：頭條宣稱輸給了自己的穩定性規則同號未解析
R460 量到修訂迴圈比換人重抽多 13.33 個百分點，Holm p = .0112。五次同題複製之後，五次全部不顯著，0/5 通過校正，狀態降為「同號未解析」。
-
五次複印裡唯一穩定成立的：迴圈比單抽一次多 17 到 29 個百分點成立
15 個區塊全部通過自己的 Holm 校正，差異範圍 +17.5 到 +29.2 個百分點，跨五次同題複製與四個互斥題目集。這是整個專題最硬的一條結果。
-
增益來自迴圈，不是來自第一輪的提示詞成立
把第一輪的完整回應取出來離線重新評分：迴圈貢獻 +19.17 / +17.50 個百分點，第一輪提示詞只貢獻 +6.67 / +8.33。21 道題被迴圈救回。
-
MDE 是 4.31 個百分點，但題庫只有 378 題同號未解析
閘門對多數決這個比較，我們算得出需要 491 對才能有 80% 檢定力，但題庫實際上只有 378 題。這條「同號未解析」不是還沒做完，是物理上量不出來。
-
題目越難，驗收閘門越值錢成立
早停閘門在 MBPP+ 上多交付 7.8 個百分點，在 LiveCodeBench 難題上多交付 20.9 個百分點。而且「洩漏率」從 44 降到 11——拒交在難題上最值錢。
-
評審閘門的誕生：執行取代意見，收據取代投票成立
刪掉 AI 評審委員會，改成「跑客戶的驗收測資、交第一份通過的、全不通過就拒交」。三個題庫上多交付 4.58 到 19.17 個百分點，每題只花 1.5 通呼叫。
-
兩個解釋被自己的實驗排除之後，機制才有地方改推翻
「模型太強」和「題目太簡單」是兩個人類提出的解釋。兩次實驗把兩個都排除了，評審機制才被迫改設計——改的方向是換裁判，不是換評審模型。
-
評審追蹤的是題目難度，不是答案對錯成立
同一個評審層，在 MBPP+ 上近乎一律判通過（0.305 錯誤率），在 LiveCodeBench 難題上近乎一律判不通過（0.46 錯誤率）。它跟著全域性質走，不是跟著這份答案走。
-
「隱藏測資是無損的」這句話在構造上就是空的成立
R440P 的一條事前判準在九天後被推翻：LCB 的 91/91 隱藏測資都是可見測資的超集，所以「隱藏會過但可見不過」在構造上不可能發生。這個判準的檢定力是零。
-
我們的 AI 評審委員會，輸給了「生成五次取多數」推翻
同樣 5 通呼叫，同一批題目，三位 AI 評審加一次修訂組成的委員會，輸給「生成五次取多數決」。差異的點估計是 −1.98 個百分點，而修掉一個無關的 bug 之後變成 +2.97。
#紀錄與多方執行4 篇
簽章鏈、分身、以及量測工具自己量錯的地方。
-
量測工具自己量錯了七次，每一次的方向都對自己不利未複驗
互動式 TUI 的 A/B harness 有七個量測錯誤，外加兩條只在程式碼註解裡的。每一個都在真 pi 上抓到，而且每一個的方向都是讓數字長得比實際好看——8 個捏造的結果、5 格提示從未送出。
-
攻擊者用自己的金鑰重鑄整條鏈，收據檢視器照樣判通過成立
收據鏈 194 條、9,841 筆全部驗得過。但離線單檔檢視器有個結構性極限：整條鏈被重鑄一次，它仍然通過。這不是漏洞，是簽章的定義邊界。
-
說謊的金鑰 273 次全部被指名，誠實者 0 次被誣告成立
k=3、1 把受控的說謊金鑰、5,519 條證言。說謊格指名 273/273，誠實金鑰被誣告 0/1,840，矛盾簽章格裁決正確 58/58。這個數字有多嚴格，取決於你知不知道 ⌊(k−1)/2⌋ 那條數學上界。
-
把驗收套件從程式變成資料，之後交付率從掉 75% 變成掉 2.7%成立
攻擊者寫了一個有狀態的量具變體，量具兩方向都滿分，交付率卻掉了 75 個百分點。修法是讓套件只剩三樣東西：方言、進入點名稱、輸入—期望值的字面值清單。
#專題歷程2 篇
從定義到裁決，這條線是怎麼走到現在的。
-
定義改了五次：從「責任結構」到「沒有收據的交付不收」
九個月裡「Vacant 是什麼」被改寫了五次，每一次都把話說得更小：從「代理自願採用的責任結構」到「沒有可驗證收據的交付不收」。這個收縮過程本身就是這個專題的貢獻。
-
KS-1：在凍結的模型上，「把後果寫得像真」和「把後果變真」是同一件事未複驗
2026 年 6 月 28 日，兩個主驗證設計被 17 個與 10 個代理的對抗工作流殺掉。殺掉它們的事實，後來變成整個專題的方法論核心。
