「等預算」是個陷阱:我們的排名整個反轉了
判準寫成 defected <= BUDGET 是恆成立的上界,所以抓不到「這一臂根本沒被綁住」。結果 whitewash 多作惡 2.5 倍卻被我們讀成「策略比較省」。改用 == 並驗證後,排名反轉。
#我們想做什麼
E19 想回答一個很直覺的問題:
攻擊者拿到同樣的作惡預算,哪種時間安排最省事?
所以我們設了一個上限:總作惡次數不能超過 12。然後比較五種攻擊策略的「效率」。
#量到的東西
| 臂 | 判準下的效率 | 綁住了嗎 |
|---|---|---|
| whitewash(一直作惡,被抓就換身份) | 8.1667 | 29 / 30 |
| sybil | 6.1333 | 30 / 30 |
| pulse(5,20) | 4.30 | 1 / 30 |
| pulse(3,10) | 4.2333 | 1 / 30 |
| patient(慢慢作惡) | 3.7333 | 1 / 30 |
我們的結論:
等預算(各 12 筆)+盲區 0.5 之下,whitewash 8.17 反而勝過脈衝 4.23。
「所以粗暴的連續攻擊比講節奏的脈衝更省。」這個句子讀起來還挺有洞察力。
#它錯在哪
而那個預算 12 到底綁住了誰?
| 臂 | 達到預算 12 的種子比例 |
|---|---|
| whitewash | 29 / 30 |
| sybil | 30 / 30 |
| patient | 1 / 30 |
| pulse(3,10) | 1 / 30 |
| pulse(5,20) | 0 / 30 |
而且 defected <= BUDGET 是一個恆成立的上界——只要作惡次數不超過 12 就通過。所以這個判準在設計上不可能區分「被綁住」和「沒被綁住」。
#修正後
換成 defected == BUDGET,並且事前驗證每個臂都真的被綁住。
掃過 budget ∈ {1, 2, 3, 4, 6}:
| 預算 | whitewash | patient | sybil | pulse(3,10) | pulse(5,20) |
|---|---|---|---|---|---|
| 1 | 1.00 / 0.533 | 1.00 / 0.867 | 1.00 / 0.533 | 1.00 / 0.900 | 1.00 / 0.900 |
| 2 | 1.00 / 0.967 | 0.87 / 1.667 | 1.00 / 0.967 | 0.90 / 1.667 | 0.90 / 1.667 |
| 3 | 1.00 / 1.667 | 0.77 / 2.300 | 1.00 / 1.600 | 0.77 / 2.300 | 0.77 / 2.300 |
| 4 | 1.00 / 2.233 | 0.60 / 2.900 | 1.00 / 2.033 | 0.63 / 2.933 | 0.63 / 2.900 |
| 6 | 1.00 / 3.667 | 0.27 / 3.600 | 1.00 / 3.233 | 0.47 / 3.833 | 執行中 |
只有 budget = 1 會讓五個臂全部被綁住。 放寬到「80% 達到預算」也只多綁住 1 和 2。
在唯一被綁住的那一點(Wilcoxon exact,以種子分組):
| 臂 | 效率 | 對 whitewash | p |
|---|---|---|---|
| pulse(3,10) | 0.900 | +0.367 | 0.0074(13/15/2) |
| pulse(5,20) | 0.900 | +0.367 | 0.0074 |
| patient | 0.867 | +0.333 | 0.0309 |
| sybil | 0.533 | 0.000 | 30 個種子全部相同 |
| whitewash | 0.533 | — | — |
排名反轉:whitewash 是最弱的,不是最強的。}}
#一致性檢查
修改後重跑 budget = 12,逐位元重現原本的 E19:
| 數值 | |
|---|---|
| 達到預算的比例 | 29 / 30 = 0.9667 |
| 實際作惡 | 11.9667 |
| 宣稱效率 | 8.1667 |
#這條規則的四個適用範圍
| 場合 | 錯誤的等預算 | 正確的 |
|---|---|---|
| 攻擊策略比較 | defected <= 12 | == 1(唯一全綁點) |
| ON vs OFF5 | accepted 硬寫死 True | 分母改成全部題目 |
| 等預算臂的 token 比較 | 只比呼叫數上限 | 逐通 usage 加總(上限 ≠ 實際成本) |
| V/GT 稽核 | 比對隱藏測資 | 只比對可見測資(那不是可出貨的機制) |
#通則
#接下來
- 這條規則的完整版:實驗方法與裁決值
- 我們量錯過的六件事:measurement-traps

