「時間構造は重要でない」はどう間違えたか：集計量を分解する
15 セルの攻撃戦略で総攻撃成功の差が 1.81 倍しかないと測り、私たちは「時間構造は結果にほとんど影響しない」と書きました。分解すると、露出は 6.06 倍、効率は 8.45 倍の幅があり、攻撃能力の差は 8.45 倍でした。
#私たちが最初に測ったもの
攻撃戦略は「パルス攻撃」です。B 件の連続した不正を放電し、R 件のクリーンな納品を蓄積し、繰り返します。私たちは 15 通りの (burst, recover) の組み合わせを、盲点 0.5 のもとで走査しました。
| 値 | セル | |
|---|---|---|
| 最少の攻撃成功 | 2.8333 | (1, 20) |
| 最多の攻撃成功 | 5.1333 | (8, 20) |
| 幅 | 1.81 倍 |
この数字に基づいて、私たちは報告にこう書きました。
攻撃の時間構造は、総攻撃成功数にほとんど影響しない。
この文は誤りです。 より正確に言えば、それは推論の誤りであって、計算の誤りではありません。
#再検証エージェントの発見
エージェントは「総攻撃成功」を二つの量に分解しました。
総攻撃成功 = ルーティング回数 × 一回あたりの成功率| 幅 | |
|---|---|
| 露出（ルーティング回数） | 6.06 倍 |
| 効率（一回あたりの成功率） | 8.45 倍 |
| 両者の積 | 1.81 倍 |
#正しい言い方
盲点 0.5 というこの一点では、時間構造が総攻撃成功に与える効果を測れませんでしたが、それは absence of evidence です。攻撃成功を「ルーティング回数 × 一回あたりの成功率」に分解すると、前者の幅は 6.06 倍、後者は 8.45 倍です——総数が平らなのは、露出と効率が逆向きに打ち消し合っているからです。攻撃能力の差は 8.45 倍です。
#この件の深刻さ
再検証はさらに三つのことを確かめました。
| ANOVA | F = 1.27 |
| η² | 0.039（主効果はほぼゼロ） |
| 並べ替え検定 | p = 0.115 |
| 検出力 | わずか 25% |
#なぜこの誤りはこれほど起こりやすいのか
#この規則の三つの適用範囲
私たちは後にこれを一般則として書き、ほかの二か所でも使いました。
| 場所 | 元の文型 | 分解したあと |
|---|---|---|
| パルスの時間構造 | 「重要でない」 | 露出 6.06×、効率 8.45× |
| 盲点 vs 時間構造 | 「本当の変数は盲点だ」 | 交互作用 η² = 0.264 で、主効果の 4 倍 |
| 等予算の比較 | 「crude 戦略のほうが安上がり」 | 実際の不正 11.97 vs 4.87 |
#もう一つの似た落とし穴：主効果 vs 交互作用
「盲点の影響は攻撃者のパラメータ選択よりはるかに大きい」という結論で測られていたのは次のとおりです。
| 幅 | |
|---|---|
| パルスの盲点効果 | 8.9 倍 |
| patient の盲点効果 | 54 倍 |
| パラメータグリッド（15 セル） | 1.81 倍 |
そこで結論は「盲点こそが本当の変数だ」と書かれました。しかし再検証は、この順位づけそのものが誤りだと見つけました。
| 因子 | η² |
|---|---|
| 時間構造の主効果 | 0.039 |
| 盲点 × 時間構造の交互作用 | 0.264 |
交互作用は主効果の 4 倍です。 これほど大きな交互作用があると、「本当の変数は X だ」という文型は成り立ちません——どちらの因子も単独では説明として使えません。
#なぜ私たちは見落としたのか
正直に三つの理由を挙げます。
- 私たちの元の指標は集計値でした。 設計の初日からそうでした。
- 再検証エージェントが受け取ったのは結論とデータで、私たちの思考過程はありませんでした。 だから「露出」という概念に前もって汚染されることがありませんでした。
- 私たちは「分解」を必須の手順にしていませんでした。 それまでのチェックリストには「分母はあるか」「CI はあるか」しかありませんでした。
#次へ
- この規則の完全版とほかの三つ：実験方法と判定値
- AI に自分を覆させた完全な記録：adversarial-recheck
