五次複製之後:頭條宣稱輸給了自己的穩定性規則
R460 量到修訂迴圈比換人重抽多 13.33 個百分點,Holm p = .0112。五次同題複製之後,五次全部不顯著,0/5 通過校正,狀態降為「同號未解析」。
本頁引用 3 條裁決:成立 2・同號未解析 1點一條跳到那張宣稱卡
#事情的順序
2026-09-07:R460 的預註冊寫死四個狀態規則。
2026-09-11:R460 跑完(LCB v2 120 題,6 個區塊 × 20)。
| 臂 | 成功 | 率 |
|---|---|---|
| OFF | 70 / 120 | 58.33% |
| CONFORM | 85 / 120 | 70.83% |
| OFF5 | 78 / 120 | 65.00% |
| H-PI | 91 / 120 | 75.83% |
| H-OC | 96 / 120 | 80.00% |
| H-MIX | 101 / 120 | 84.17% |
H-MIX − CONFORM:b=22、c=6、+13.33 pp、條件區間 [4.22, 19.46]、Holm p = .0112 → EFFECTIVE。
2026-09-11:R460R 的預註冊寫死「五次同題複製」的宣稱規則。
2026-09-12:五次跑完。
#預註冊的宣稱規則
| 逐次判 | 五次都要過 |
| 禁止 | 合併 n、平均、挑一次來報 |
| 判定門檻 | 條件區間下界 > 0 且通過 Holm 校正 |
#五次複製的結果
交付率(%):
| 臂 | r1 | r2 | r3 | r4 | r5 |
|---|---|---|---|---|---|
| OFF | 57.50 | 54.17 | 57.50 | 51.67 | 51.26 |
| OFF5 | 60.83 | 61.67 | 59.17 | 66.67 | 68.64 |
| CONFORM | 71.67 | 72.50 | 75.00 | 70.83 | 70.94 |
| H-PI | 76.67 | 79.17 | 75.83 | 80.83 | 70.83 |
| H-OC | 76.67 | 73.33 | 75.00 | 78.33 | 75.00 |
| H-MIX | 77.50 | 76.67 | 75.83 | 73.33 | 74.79 |
H-MIX − CONFORM:
| r1 | r2 | r3 | r4 | r5 | |
|---|---|---|---|---|---|
| Δ | +5.83 | +4.17 | +0.83 | +2.50 | +4.31 |
| Holm p | .6301 | .9165 | 1.0000 | .6776 | .9224 |
| 95% CI | [−2.79, 12.89] | [−5.35, 12.80] | [−7.44, 8.89] | [−5.94, 10.28] | [−4.54, 12.01] |
| 狀態 | INCONCLUSIVE | INCONCLUSIVE | RULED_OUT | INCONCLUSIVE | INCONCLUSIVE |
0 / 5 通過 Holm。
#五條強制附帶報告
裁決文件要求同時寫下五件事,缺一不可:
| ① 五次同號 | ✓ 五次都是 + |
| ② 零次通過 Holm | ✓ |
| ③ 五個未校正區間全部與 R460 相交 | ✓ R460 的區間是 [4.22, 19.46] |
| ④ 五個上界全部低於 +13.33 | ✓ 12.89 / 12.80 / 8.89 / 10.28 / 12.01 |
| ⑤ 跨題庫結果也未過 Holm | ✓ R529:+1.12 pp,Holm p = .3409 |
#禁用說法
裁決文件直接列了一份禁用清單:
「複製穩定」、「複製失敗」、「效應消失」、「等價」、「打成平手」、「迴圈沒用」。
禁止合併 n、禁止平均、禁止挑一次來報。
#但有兩條在同一批資料上站得住
#迴圈 vs 單抽一次
| 結果 | |
|---|---|
| 三條 H 臂 vs OFF | 15 / 15 格全部通過自己的 Holm |
| Δ 範圍 | +17.5 ~ +29.2 pp |
#閘門 vs 單抽一次
CONFORM − OFF:+14.17 / +18.33 / +17.50 / +19.17 / +18.97 pp(落在每個預註冊家族之外,未校正)。
增益的主體是「可執行的驗收閘門+重抽」,回饋迴圈只是疊在它上面的小增量。}}
#探索量:投票輸給閘門
| 複製 | OFF5 − CONFORM | 未校正 p |
|---|---|---|
| r1 | −10.83 pp | 0.019 |
| r2 | −10.83 pp | — |
| r3 | −15.83 pp | — |
| r4 | −4.17 pp | — |
| r5 | −1.74 pp | — |
3/5 未校正 p < .05——而兩個不顯著的正好是 r4 與 r5,也就是後端零共存的兩次。
後端共存率:8.5% / 71.3% / 2.1% / 0% / 0%。
#R529:跨題庫也不成立
| 題庫集 | n | H−C b/c | C−O b/c |
|---|---|---|---|
| LCB v3 medium | 135 | 6/5 | 14/4 |
| LCB v3 hard | 54 | 5/3 | 3/0 |
| HumanEval+ | 156 | 5/4 | 21/3 |
| MBPP+ | 371 | 15/11 | 26/8 |
| 併庫 | 716 | 31/23 | 64/15 |
| 比較 | 差異 | 統計 |
|---|---|---|
| H-MIX − CONFORM | +1.12 pp | 區間 [−1.02, 3.13],Holm p = .3409 |
| H-MIX − OFF | +7.96 pp | Holm p = 2.02 × 10⁻⁸ |
| CONFORM − OFF | +6.84 pp | 家族外 |
8 條事前預測:4 中 4 失 → INCONCLUSIVE。
#R532:換更強模型之後變成負的
2026-09-17/18。qwen3.8-27b Q4_K_M,非 reasoning,836 任務、43 個區塊、0 作廢。
H-MIX − CONFORM 的五個題庫集全部為負:−5.83 / −5.19 / −16.67 / −1.28 / −0.54。併庫 −3.23 pp,區間 [−5.52, −0.75],Holm p = 0.0101。
#最終狀態
| 宣稱 | 狀態 |
|---|---|
| 迴圈比單抽一次多交付 | 成立(15/15 通過 Holm) |
| 閘門比單抽一次多交付 | 成立(五次全部在家族外顯著) |
| 增益主體是閘門+重抽 | 成立(稽核判斷) |
| 迴圈比換人重抽多交付且不多花 token | 同號未解析 |
| 另兩條迴圈臂也贏過重抽 | 同號未解析(10/10 未過 Holm) |
| 迴圈的增益來自迴圈不是 prompt | 成立(D5 歸因) |
#這個案例教了什麼
#接下來
- 同一批資料上成立的那兩條:loop-vs-single-shot
- token 帳:token-cost-ledger
- 迴圈 vs prompt 的歸因:loop-not-prompt
- 被降級的宣稱清單:修正紀錄

