VacantAI 的可究責層GitHub

 · 增益軸 · 同號未解析

五次複製之後:頭條宣稱輸給了自己的穩定性規則

R460 量到修訂迴圈比換人重抽多 13.33 個百分點,Holm p = .0112。五次同題複製之後,五次全部不顯著,0/5 通過校正,狀態降為「同號未解析」。

五次複製預註冊統計自我修正

本頁引用 3 條裁決:成立 2・同號未解析 1點一條跳到那張宣稱卡

#事情的順序

2026-09-07:R460 的預註冊寫死四個狀態規則。

2026-09-11:R460 跑完(LCB v2 120 題,6 個區塊 × 20)。

臂成功率
OFF70 / 12058.33%
CONFORM85 / 12070.83%
OFF578 / 12065.00%
H-PI91 / 12075.83%
H-OC96 / 12080.00%
H-MIX101 / 12084.17%

H-MIX − CONFORM:b=22、c=6、+13.33 pp、條件區間 [4.22, 19.46]、Holm p = .0112 → EFFECTIVE。

2026-09-11:R460R 的預註冊寫死「五次同題複製」的宣稱規則。

2026-09-12:五次跑完。

#預註冊的宣稱規則

逐次判五次都要過
禁止合併 n、平均、挑一次來報
判定門檻條件區間下界 > 0 且通過 Holm 校正

#五次複製的結果

交付率(%):

臂r1r2r3r4r5
OFF57.5054.1757.5051.6751.26
OFF560.8361.6759.1766.6768.64
CONFORM71.6772.5075.0070.8370.94
H-PI76.6779.1775.8380.8370.83
H-OC76.6773.3375.0078.3375.00
H-MIX77.5076.6775.8373.3374.79

H-MIX − CONFORM:

r1r2r3r4r5
Δ+5.83+4.17+0.83+2.50+4.31
Holm p.6301.91651.0000.6776.9224
95% CI[−2.79, 12.89][−5.35, 12.80][−7.44, 8.89][−5.94, 10.28][−4.54, 12.01]
狀態INCONCLUSIVEINCONCLUSIVERULED_OUTINCONCLUSIVEINCONCLUSIVE

0 / 5 通過 Holm。

#五條強制附帶報告

裁決文件要求同時寫下五件事,缺一不可:

① 五次同號✓ 五次都是 +
② 零次通過 Holm✓
③ 五個未校正區間全部與 R460 相交✓ R460 的區間是 [4.22, 19.46]
④ 五個上界全部低於 +13.33✓ 12.89 / 12.80 / 8.89 / 10.28 / 12.01
⑤ 跨題庫結果也未過 Holm✓ R529:+1.12 pp,Holm p = .3409

#禁用說法

裁決文件直接列了一份禁用清單:

「複製穩定」、「複製失敗」、「效應消失」、「等價」、「打成平手」、「迴圈沒用」。

禁止合併 n、禁止平均、禁止挑一次來報。

#但有兩條在同一批資料上站得住

#迴圈 vs 單抽一次

結果
三條 H 臂 vs OFF15 / 15 格全部通過自己的 Holm
Δ 範圍+17.5 ~ +29.2 pp

#閘門 vs 單抽一次

CONFORM − OFF:+14.17 / +18.33 / +17.50 / +19.17 / +18.97 pp(落在每個預註冊家族之外,未校正)。

增益的主體是「可執行的驗收閘門+重抽」,回饋迴圈只是疊在它上面的小增量。}}

完整的數字

#探索量:投票輸給閘門

複製OFF5 − CONFORM未校正 p
r1−10.83 pp0.019
r2−10.83 pp—
r3−15.83 pp—
r4−4.17 pp—
r5−1.74 pp—

3/5 未校正 p < .05——而兩個不顯著的正好是 r4 與 r5,也就是後端零共存的兩次。

後端共存率:8.5% / 71.3% / 2.1% / 0% / 0%。

#R529:跨題庫也不成立

題庫集nH−C b/cC−O b/c
LCB v3 medium1356/514/4
LCB v3 hard545/33/0
HumanEval+1565/421/3
MBPP+37115/1126/8
併庫71631/2364/15
比較差異統計
H-MIX − CONFORM+1.12 pp區間 [−1.02, 3.13],Holm p = .3409
H-MIX − OFF+7.96 ppHolm p = 2.02 × 10⁻⁸
CONFORM − OFF+6.84 pp家族外

8 條事前預測:4 中 4 失 → INCONCLUSIVE。

#R532:換更強模型之後變成負的

2026-09-17/18。qwen3.8-27b Q4_K_M,非 reasoning,836 任務、43 個區塊、0 作廢。

H-MIX − CONFORM 的五個題庫集全部為負:−5.83 / −5.19 / −16.67 / −1.28 / −0.54。併庫 −3.23 pp,區間 [−5.52, −0.75],Holm p = 0.0101。

#最終狀態

宣稱狀態
迴圈比單抽一次多交付成立(15/15 通過 Holm)
閘門比單抽一次多交付成立(五次全部在家族外顯著)
增益主體是閘門+重抽成立(稽核判斷)
迴圈比換人重抽多交付且不多花 token同號未解析
另兩條迴圈臂也贏過重抽同號未解析(10/10 未過 Holm)
迴圈的增益來自迴圈不是 prompt成立(D5 歸因)

最後那條怎麼量的

以及「不多花 token」為什麼也不成立

#這個案例教了什麼

#接下來

相關

閱讀約 9 分鐘 · 本頁引用 3 條已裁決宣稱

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽