VacantAI 的可究責層GitHub

 · 方法

六種裁決值:怎麼說「沒量出來」而不說「沒差異」

成立、推翻、說太滿、無可分辨差異、同號未解析、未複驗——這六個詞各有嚴格的定義。把它們分開,是為了讓「我沒測到」不會被讀成「我測了,沒有」。

研究方法統計措辭紀律

這是整個網站最重要的一組詞。每一條對外宣稱都必須落在其中一格,沒有第七格。

#為什麼要分這麼細

因為「沒量出來」和「量出來沒有」是兩件事,而它們在報告裡經常被寫成同一句話。

  • 量出來沒有 → 你可以說「這個東西在此條件下無效」。這是個有資訊的結論。
  • 沒量出來 → 你只能說「我沒能力在這個規模下分辨」。這不是結論,是資料的極限。

我們的 R529 剛好同時有這兩種情況,差異看得很清楚:

數字裁決
H-MIX − OFF+7.96 pp,Holm p = 2.02 × 10⁻⁸成立
H-MIX − CONFORM+1.12 pp,Holm p = .3409同號未解析

同一個實驗、同一批資料,一條成立、一條未解析。 差別只在差異大小有沒有超過門檻。

#六個定義

  • 成立事前訂的判準通過(預註冊、跑完對答案)
  • 推翻宣稱是錯的,正確說法列在「更正後」
  • 說太滿核心站得住但說得太滿,或原始證據/機制解釋有問題
  • 無可分辨差異量到沒有可分辨的效應——這本身就是答案,不是沒測完
  • 同號未解析預註冊的規則沒有觸發任何一個狀態,沒量出來,不是沒有差異
  • 未複驗尚未送複驗——不等於通過

#為什麼「同號未解析」要單獨一格

我們的資料檔 claims.json 裡自己寫了這段註解:

verdict = 未複驗 代表還沒有人試過推翻它,不代表它通過了。

那個 claims.json 裡的 6 條 未複驗,很多是「我知道它很可能錯,但還沒人去查」。誠實的處理是標成未複驗,不是標成成立。

#「無可分辨差異」長什麼樣

只有一條,但它是這份研究裡最有說服力的一條。

它的證據是同一批資料、兩種口徑、方向相反:

口徑ONOFF5差p
原始75.25%77.23%−1.98 pp0.7905
修掉 typing 白名單 bug 之後84.16%81.19%+2.97 pp0.4531

#「說太滿」是怎麼判的

判準是:核心站得住,但說得太滿,或原始證據/機制解釋有問題。

四條,全部在防守軸:

ID核心站得住說太滿在哪
pulse.timing_minor在盲區 0.5 那一點上量不到時間結構的效應但那是 absence of evidence。拆開是曝光跨 6.06 倍、效率跨 8.45 倍——攻擊能力差 8.45 倍
pulse.blindspot_dominates盲區確實比參數選擇重要但幾乎全靠 blind = 1.0 這個退化端點撐著。交互作用 η² = 0.264 是主效應的 4 倍,所以「真正的變數是 X」這個句型不成立
pulse.starvation被 slash 過的身分確實極難回來但「永久」混雜了同一格裡 14 個未被抓種子的巧合。slash 0.9 在第 177 輪就回來了
gain.clean_dataset那批資料沒有已知 bug 汙染但 ON 臂 void 率 36.9%,「第一個乾淨的完整資料集」要改成「配對子集 n=101」

「不重要」和「量不到」不是同一件事

#「未複驗」不丢人

我們有 6 條標成未複驗:

ID為什麼還是未複驗
pulse.definition攻擊模型不是新的,但「四道防禦同時跑的組態」與「把盲區當第二軸」可能仍是新的
pulse.reaction_lag零盲區下仍漏 2.53 筆、平均 27.95 輪才反應——這個數字沒有被獨立複驗
entry.fee_backfires押金讓攻擊有利可圖(ROI 2.354)——機制清楚但沒有人重跑過
entry.reviewer_accuracy_bindsacc=0 時 ROI 1.04 是整個表格裡唯一「作惡有利可圖」的格
gain.signal_existsOFF 失敗率 26.44% 落在預訂的 20–60% 窗內
peerexec.mutual_execution_below_threshold多數門檻以下的指名行為成立(273/273),但完整主張未送複驗

#我們禁用的說法

R460R 裁決文件列了一份禁用清單,這裡直接引用:

「複製穩定」、「複製失敗」、「效應消失」、「等價」、「打成平手」、「迴圈沒用」。

禁止合併 n、禁止平均、禁止挑一次來報。

理由是這五個詞各自對應一種常見的規避動作:

說法實際在說什麼
複製穩定把差異小的幾次挑出來
複製失敗承認失敗但語氣上像在說「環境有問題」
效應消失暗示原本的數字是錯的
等價 / 打成平手把「我分不出來」講成「它們一樣」
迴圈沒用從「同號未解析」跳到無效

我們自己差點犯第一種

#接下來

相關

閱讀約 5 分鐘 · 本頁引用 1 條已裁決宣稱

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽