事前登録：なぜ実験を走らせる前に判定基準を書き留めるのか
判定基準、統計手法、四つの状態ルールは、すべて実行開始前に凍結し、タイムスタンプを付けています。この記事では、私たちがどのように事前登録を行うか、そしてなぜ「後から判定基準を一つ足す」ことがこの研究では数に入らないのかを説明します。
#なぜこれが必要なのか
後から判定基準を選ぶことは、統計で最もよくある不正の形の一つであり、しかも誰も嘘をつく必要がないからです。結果を見た後で「もともと通るはずだった」閾値を選び、報告書に書くだけです——その過程で誰一人として悪いことはしていないのに、結論は偽物になります。
私たちは一度それに出くわしました。R440P の §七には「可視フィルタリングは無損失である」（原文：「可見篩選是無損的」）という前提が一つ書かれていました。それは判定基準であり、決定文書に書かれていて、問題はないように見えました。
九日後、R440Q がそれを覆しました。
LCB v1 の 91/91 の非公開テストは、すべて可視テストの上位集合（
V ⊆ GT）である。（原文：「LCB v1 的 91/91 隱藏測資都是可見測資的超集（V ⊆ GT）。」）
したがって「非公開テストなら通るが可視テストでは通らない」ことは、構造上起こりえません。これは「反例がないことを測った」のではなく、「この命題はこの問題バンクでは恒真である」ということです。恒真の判定基準の検出力はゼロです。
#四つの状態ルール
R460 の決定文書は 2026-09-07 に四つの状態を固定しました。
| 状態 | 発動条件 |
|---|---|
| EFFECTIVE | 区間の下限 > 0、かつ Holm 補正を通過 |
| INCONCLUSIVE | 向きは正しいが、どの閾値も通過しない |
| RULED_OUT | 区間の上限 < 閾値（= 効果が閾値より小さいことを確認） |
| 未発動 | 事前に固定した反証条件が成立（たとえば c ≥ b） |
#納品拒否は失敗として数える
これは二つ目の厳格なルールであり、最も見落とされやすいものでもあります。
納品拒否は失敗として数え、分母はすべての問題とする。（原文：「拒交計為失敗，分母是全部題目。」）
理由は単純です。分母に「納品があった問題」だけを数えるなら、「すべて拒否」で成功率 100% になります。何もせず、何も納品しないシステムが、このルールのもとで満点を取れてしまいます。
私たちのコードには、実際にそれができる仕組みがありました。初期の arm_off5 は accepted = True を固定で書いていました——拒否という道がなかったのです。したがって R437 の「ON vs OFF5」の比較は、実際には「無料のゲートを持つアーム」対「拒否を禁じられたアーム」でした。
#あわせて登録した免責
R460 の決定文書には、+13.33 という数字を見る前に、すでに二つのことが登録されていました。
- n = 120 で +10 pp に対する検出力は 0.43 – 0.63 しかないため、あの +13.33 は上振れ寄りの推定として扱わなければならない。
- 事前の予測 9 件のうち一件は、修正によって偽の納品が増えると予想していた。
二つ目は後に向きが逆になりました。H-MIX 14/120 < CONFORM 29/120。修正は偽の納品を増やさなかっただけでなく、減らしました。
#五回の再現も同じルールです
2026-09-12 の R460R は最も厳格な適用でした。事前に固定した主張のルール：
- 一回ごとに判定し、五回すべて通らなければならない。
- n の統合を禁止。
- 平均を禁止。
- 一回だけを選んで報告することを禁止。
結果は 0/5 が通過。判定は「同符号・未解決」です。
#事前登録が守れないもの
誠実にはっきり言っておきます。
| 守れない | 題材選択のバイアス（自分が勝たせたいモデルを選ぶ） |
| 守れない | 打ち切りルール（p < .05 になるまで走らせて止める） |
| 守れない | データの品質（2026-07-09 になって、モデルの I/O がまったく保存されていなかったことに気づいた） |
| 守れない | 棄権ルール（走らせにくいブロックを void にする） |
| 守るもの | 数字を見る前に判定基準を凍結すること |
私たち自身が最後の項目でつまずきました。R437 の ON アームの infra_void は 66/179 = 36.9% で、R437 自身も VOID-GATE-WARNING を一行記録しています。そこで私たちは「最初のクリーンな完全データセット」という主張を「既知のバグによる汚染なし、対応ありのサブセット n = 101」に格下げしました。
