VacantAI 的可究責層GitHub

 · 防守軸 · 說太滿

「時間結構不重要」是怎麼錯的:把聚合量拆開

我們量到 15 格攻擊策略的總得手只差 1.81 倍,然後寫下「時間結構幾乎不影響結果」。拆開之後:曝光跨 6.06 倍、效率跨 8.45 倍——攻擊能力差 8.45 倍。

量測陷阱統計攻擊面

#我們原本量到的

攻擊策略是「脈衝攻擊」:放電 B 筆連續作惡,蓄積 R 筆乾淨交付,重複。我們掃了 15 個 (burst, recover) 的組合,在盲區 0.5 下:

數值格
最少得手2.8333(1, 20)
最多得手5.1333(8, 20)
跨度1.81 倍

基於這個數字,我們在報告裡寫了:

攻擊的時間結構幾乎不影響總得手數。

這句話是錯的。 或者更精確地說,它是一個推理錯誤,不是算錯。

#複驗代理的發現

它把「總得手」拆成兩個量:

總得手 = 路由次數 × 每次得手率
跨度
曝光(路由次數)6.06 倍
效率(每次得手率)8.45 倍
兩者相乘1.81 倍

#正確的說法

在盲區 0.5 這一點上量不到時間結構對總得手的效應,但那是 absence of evidence。把得手拆成「路由次數 × 每次得手率」後,前者跨度 6.06 倍、後者 8.45 倍——總數之所以平,是曝光與效率反向抵消。攻擊能力差 8.45 倍。

#這件事的嚴重程度

複驗還查到三件事:

ANOVAF = 1.27
η²0.039(主效應幾乎為零)
置換檢定p = 0.115
檢定力只有 25%

#為什麼這個錯誤這麼常發生

#這條規則的三個適用範圍

我們後來把它寫成通則,並在另外兩個地方用到:

地方原本的句型拆開後
脈衝的時間結構「不重要」曝光 6.06×、效率 8.45×
盲區 vs 時間結構「真正的變數是盲區」交互作用 η² = 0.264,是主效應的 4 倍
等預算比較「crude 策略比較省」實際作惡 11.97 vs 4.87

第二個的完整拆解

第三個的完整拆解

#另一個類似的坑:主效應 vs 交互作用

「盲區的影響遠大於攻擊者參數選擇」這條結論,量到的是:

跨度
脈衝的盲區效應8.9 倍
患者的盲區效應54 倍
參數網格(15 格)1.81 倍

所以結論寫成「盲區是真正的變數」。但複驗發現這個排序本身是錯的:

因子η²
時間結構主效應0.039
盲區 × 時間結構交互作用0.264

交互作用是主效應的 4 倍。 一旦有這麼大的交互作用,「真正的變數是 X」這個句型就不成立——兩個因子都不能單獨當成解釋。

#我們為什麼漏掉

誠實地說三個原因:

  1. 我們的原始指標是聚合值。 從設計的第一天就是。
  2. 複驗代理拿到的是結論和資料,沒有我們的思考過程。 所以它不會被「曝光」這個概念預先污染。
  3. 我們沒有把「拆解」列成必做步驟。 在那之前,檢查清單裡只有「有沒有分母」「有沒有 CI」。

#接下來

相關

  • 我們派 AI 去推翻自己的結論,然後它們成功了

    2026 年 8 月初,我們把六條脈衝攻擊的頭條結論交給獨立代理,唯一的指令是「證明它是錯的」。結果三條推翻、兩條降級、只有兩條站得住。

  • 「等預算」是個陷阱:我們的排名整個反轉了

    判準寫成 defected <= BUDGET 是恆成立的上界,所以抓不到「這一臂根本沒被綁住」。結果 whitewash 多作惡 2.5 倍卻被我們讀成「策略比較省」。改用 == 並驗證後,排名反轉。

  • 偵測機率是一個乘積,不是三個維度

    我們原本宣稱「加大稽核率救不回有盲區的情況」。實測:盲區 0.5 時稽核率從 0.1 拉到 1.0,攻擊者總得手下降 82%,p = 5.5e-6。三個因子是同一個乘積裡的項。

  • 我們量錯過的六件事

    讀錯一個欄位、網路斷線被算成評審結果、退化成極限的 rng 種子、把 `defected <= BUDGET` 當成等預算、端點上的漂亮數字、以及預設關掉的規則——六個真實的量測陷阱與它們的教訓。

閱讀約 4 分鐘 · 本頁引用 1 條已裁決宣稱

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽