五回の再現の後：看板の主張は自らの安定性ルールに負けた
R460 では修正ループが再サンプリングより 13.33 ポイント多いと測定され、Holm p = .0112 でした。同一問題での再現を五回行うと五回とも有意でなく、補正を通過したのは 0/5、状態は「同符号・未解決」に下がりました。
このページが引用する判定 3 件：成立 2・同符号・未解決 1クリックするとその主張カードへ移動します
#出来事の順序
2026-09-07：R460 の事前登録が四つの状態ルールを固定。
2026-09-11：R460 の実行完了（LCB v2 120 問、6 ブロック × 20）。
| アーム | 成功 | 率 |
|---|---|---|
| OFF | 70 / 120 | 58.33% |
| CONFORM | 85 / 120 | 70.83% |
| OFF5 | 78 / 120 | 65.00% |
| H-PI | 91 / 120 | 75.83% |
| H-OC | 96 / 120 | 80.00% |
| H-MIX | 101 / 120 | 84.17% |
H-MIX − CONFORM：b=22、c=6、+13.33 pp、条件付き区間 [4.22, 19.46]、Holm p = .0112 → EFFECTIVE。
2026-09-11：R460R の事前登録が「同一問題での五回の再現」の主張ルールを固定。
2026-09-12：五回の実行完了。
#事前登録された主張のルール
| 一回ずつ判定 | 五回とも通過する必要がある |
| 禁止 | n の統合、平均、一回だけ選んで報告 |
| 判定の閾値 | 条件付き区間の下限 > 0 かつ Holm 補正を通過 |
#五回の再現の結果
納品率（%）：
| アーム | r1 | r2 | r3 | r4 | r5 |
|---|---|---|---|---|---|
| OFF | 57.50 | 54.17 | 57.50 | 51.67 | 51.26 |
| OFF5 | 60.83 | 61.67 | 59.17 | 66.67 | 68.64 |
| CONFORM | 71.67 | 72.50 | 75.00 | 70.83 | 70.94 |
| H-PI | 76.67 | 79.17 | 75.83 | 80.83 | 70.83 |
| H-OC | 76.67 | 73.33 | 75.00 | 78.33 | 75.00 |
| H-MIX | 77.50 | 76.67 | 75.83 | 73.33 | 74.79 |
H-MIX − CONFORM：
| r1 | r2 | r3 | r4 | r5 | |
|---|---|---|---|---|---|
| Δ | +5.83 | +4.17 | +0.83 | +2.50 | +4.31 |
| Holm p | .6301 | .9165 | 1.0000 | .6776 | .9224 |
| 95% CI | [−2.79, 12.89] | [−5.35, 12.80] | [−7.44, 8.89] | [−5.94, 10.28] | [−4.54, 12.01] |
| 状態 | INCONCLUSIVE | INCONCLUSIVE | RULED_OUT | INCONCLUSIVE | INCONCLUSIVE |
Holm を通過したのは 0 / 5。
#必ず併記する五つの報告事項
決定文書は次の五つを同時に書くよう求めており、一つも欠かせません：
| ① 五回とも同符号 | ✓ 五回ともプラス |
| ② Holm を通過したのはゼロ回 | ✓ |
| ③ 五つの補正前区間がすべて R460 と交わる | ✓ R460 の区間は [4.22, 19.46] |
| ④ 五つの上限がすべて +13.33 を下回る | ✓ 12.89 / 12.80 / 8.89 / 10.28 / 12.01 |
| ⑤ 問題バンクをまたぐ結果も Holm を通過していない | ✓ R529：+1.12 pp、Holm p = .3409 |
#禁止された言い方
決定文書は禁止リストをそのまま列挙しています：
「再現は安定」「再現失敗」「効果が消えた」「同等」「引き分け」「ループは役に立たない」。
n の統合、平均、一回だけを選んで報告することは禁止。
#ただし二つは同じデータで成り立つ
#ループ vs 一回だけの抽出
| 結果 | |
|---|---|
| 三つの H アーム vs OFF | 15 / 15 セルすべてがそれぞれの Holm を通過 |
| Δ の範囲 | +17.5 ~ +29.2 pp |
#ゲート vs 一回だけの抽出
CONFORM − OFF：+14.17 / +18.33 / +17.50 / +19.17 / +18.97 pp（事前登録されたどのファミリーにも含まれず、補正前）。
利得の本体は「実行可能な受け入れゲート＋再サンプリング」であり、フィードバックループはその上に乗った小さな上積みにすぎません。}}
#探索的な量：投票はゲートに負けた
| 再現 | OFF5 − CONFORM | 補正前 p |
|---|---|---|
| r1 | −10.83 pp | 0.019 |
| r2 | −10.83 pp | — |
| r3 | −15.83 pp | — |
| r4 | −4.17 pp | — |
| r5 | −1.74 pp | — |
3/5 で補正前 p < .05——そして有意でなかった二つは、ちょうど r4 と r5、つまりバックエンドの共存がゼロだった二回です。
バックエンドの共存率：8.5% / 71.3% / 2.1% / 0% / 0%。
#R529：問題バンクをまたいでも成り立たない
| 問題セット | n | H−C b/c | C−O b/c |
|---|---|---|---|
| LCB v3 medium | 135 | 6/5 | 14/4 |
| LCB v3 hard | 54 | 5/3 | 3/0 |
| HumanEval+ | 156 | 5/4 | 21/3 |
| MBPP+ | 371 | 15/11 | 26/8 |
| 統合 | 716 | 31/23 | 64/15 |
| 比較 | 差 | 統計 |
|---|---|---|
| H-MIX − CONFORM | +1.12 pp | 区間 [−1.02, 3.13]、Holm p = .3409 |
| H-MIX − OFF | +7.96 pp | Holm p = 2.02 × 10⁻⁸ |
| CONFORM − OFF | +6.84 pp | ファミリー外 |
8 個の事前予測：4 個的中・4 個外れ → INCONCLUSIVE。
#R532：より強いモデルに替えると負になった
2026-09-17/18。qwen3.8-27b Q4_K_M、非 reasoning、836 タスク、43 ブロック、無効 0。
H-MIX − CONFORM は五つの問題セットですべて負：−5.83 / −5.19 / −16.67 / −1.28 / −0.54。統合 −3.23 pp、区間 [−5.52, −0.75]、Holm p = 0.0101。
#最終的な状態
| 主張 | 状態 |
|---|---|
| ループは一回だけの抽出より多く納品する | 成立（15/15 が Holm を通過） |
| ゲートは一回だけの抽出より多く納品する | 成立（五回ともファミリー外で有意） |
| 利得の本体はゲート＋再サンプリング | 成立（監査による判断） |
| ループは再サンプリングより多く納品し、token も多く使わない | 同符号・未解決 |
| 他の二つのループアームも再サンプリングに勝つ | 同符号・未解決（10/10 が Holm を通過せず） |
| ループの利得はループから来ており、prompt からではない | 成立（D5 の帰属分析） |
#この事例が教えたこと
#次に
- 同じデータで成り立つ二つの主張：loop-vs-single-shot
- token の帳簿：token-cost-ledger
- ループ vs prompt の帰属：loop-not-prompt
- 格下げされた主張の一覧：修正記録
