六つの判定値：「差がない」と言わずに「測れなかった」と言う方法
成立、反証、言い過ぎ、識別可能な差なし、同符号・未解決、未再検証——この六つの言葉にはそれぞれ厳密な定義があります。分けておくのは、「測れなかった」が「測ったが、なかった」と読まれないようにするためです。
これはこのサイト全体で最も重要な言葉の組です。外に向けたすべての主張は、そのうちのどれか一つの枠に入らなければならず、七つ目の枠はありません。
#なぜここまで細かく分けるのか
「測れなかった」と「測ったら、なかった」は別のことなのに、報告書ではしばしば同じ一文として書かれてしまうからです。
- 測ったら、なかった → 「これはこの条件のもとでは効果がない」と言えます。これは情報のある結論です。
- 測れなかった → 「この規模では区別する力がなかった」としか言えません。これは結論ではなく、データの限界です。
私たちの R529 には、ちょうどこの二つが同時にあり、違いがよく見えます。
| 数字 | 判定 | |
|---|---|---|
| H-MIX − OFF | +7.96 pp、Holm p = 2.02 × 10⁻⁸ | 成立 |
| H-MIX − CONFORM | +1.12 pp、Holm p = .3409 | 同符号・未解決 |
同じ実験、同じデータで、一つは成立、一つは未解決。 違いは、差の大きさが閾値を超えたかどうかだけです。
#六つの定義
- 成立事前に決めた判定基準を満たした（事前登録し、実行してから答え合わせ）
- 反証主張は誤り。正しい言い方は「訂正後」に記載
- 言い過ぎ核心は成り立つが言い過ぎ、または元の証拠・メカニズムの説明に問題がある
- 識別可能な差なし測った結果、識別できる効果はなかった——それ自体が答えであり、測り終えていないわけではない
- 同符号・未解決事前登録したルールがどの状態も発動しなかった。測れなかった。差がないという意味ではない
- 未再検証まだ再検証に回していない——合格と同じではない
#なぜ「同符号・未解決」に独立した枠が必要なのか
私たちのデータファイル claims.json には、自らこの注記が書かれています。
verdict = 未複驗は、まだ誰も反証を試みていないという意味であり、合格したという意味ではない。（原文：「verdict = 未複驗 代表還沒有人試過推翻它，不代表它通過了。」）
その claims.json にある 6 件の 未複驗 の多くは、「おそらく間違っていると分かっているが、まだ誰も調べていない」ものです。誠実な扱いは未再検証と表示することであって、成立と表示することではありません。
#「識別可能な差なし」はどういう形をしているか
一件だけですが、この研究で最も説得力のある一件です。
その証拠は、同じデータ、二つの集計方法、逆の向きです。
| 集計方法 | ON | OFF5 | 差 | p |
|---|---|---|---|---|
| 元のまま | 75.25% | 77.23% | −1.98 pp | 0.7905 |
| typing ホワイトリストのバグを直した後 | 84.16% | 81.19% | +2.97 pp | 0.4531 |
#「言い過ぎ」はどう判定するか
判定基準は、中核は持ちこたえているが言い過ぎている、または元の証拠／仕組みの説明に問題があることです。
四件で、すべて防御軸です。
| ID | 持ちこたえている中核 | どこが言い過ぎか |
|---|---|---|
pulse.timing_minor | 盲点 0.5 という一点では、時間構造の効果は測れない | しかしそれは absence of evidence です。分解すると露出は 6.06 倍、効率は 8.45 倍の幅で開いており——攻撃能力は 8.45 倍違います |
pulse.blindspot_dominates | 盲点は確かにパラメータの選択より重要 | しかしほぼ blind = 1.0 という退化した端点だけに支えられています。交互作用 η² = 0.264 は主効果の 4 倍なので、「本当の変数は X だ」という文型は成り立ちません |
pulse.starvation | slash された身元は確かに戻ってくるのが極めて難しい | しかし「永久」には、同じセルで捕まらなかった 14 個のシードの偶然が混ざっています。slash 0.9 は第 177 ラウンドで戻ってきました |
gain.clean_dataset | そのデータには既知のバグによる汚染はない | しかし ON アームの void 率は 36.9% で、「最初のクリーンな完全データセット」は「対応ありのサブセット n=101」に改めるべきです |
#「未再検証」は恥ではない
未再検証と表示しているものが 6 件あります。
| ID | なぜまだ未再検証なのか |
|---|---|
pulse.definition | 攻撃モデルは新しくないが、「四つの防御を同時に動かす構成」と「盲点を第二の軸とする」ことは、まだ新しいかもしれない |
pulse.reaction_lag | 盲点ゼロでも 2.53 件を取りこぼし、反応までに平均 27.95 ラウンドかかる——この数字は独立に再検証されていない |
entry.fee_backfires | 保証金によって攻撃が割に合うものになる（ROI 2.354）——仕組みは明確だが、誰も再実行していない |
entry.reviewer_accuracy_binds | acc=0 のときの ROI 1.04 は、表全体で唯一「悪事が割に合う」セル |
gain.signal_exists | OFF の失敗率 26.44% は、事前に定めた 20–60% の範囲に入っている |
peerexec.mutual_execution_below_threshold | 多数の閾値を下回る条件での名指しの振る舞いは成立している（273/273）が、主張全体は再検証に回されていない |
#私たちが禁じている言い方
R460R の決定文書は禁止リストを挙げています。ここでそのまま引用します。
「再現は安定している」（原文：「複製穩定」）、「再現に失敗した」（原文：「複製失敗」）、「効果が消えた」（原文：「效應消失」）、「同等」（原文：「等價」）、「引き分け」（原文：「打成平手」）、「ループは役に立たない」（原文：「迴圈沒用」）。
n の統合を禁止、平均を禁止、一回だけを選んで報告することを禁止。（原文：「禁止合併 n、禁止平均、禁止挑一次來報。」）
理由は、この五つの言葉がそれぞれ、よくある回避の動きに対応しているからです。
| 言い方 | 実際に言っていること |
|---|---|
| 再現は安定している | 差の小さい何回かを選び出す |
| 再現に失敗した | 失敗は認めるが、口ぶりは「環境に問題があった」と言っているかのよう |
| 効果が消えた | 元の数字が間違っていたとほのめかす |
| 同等 / 引き分け | 「私には区別できない」を「それらは同じだ」と言い換える |
| ループは役に立たない | 「同符号・未解決」から「効果なし」へ飛躍する |
