2026-08-06　·　方法　·　言い過ぎ

私たちは AI に自分たちの結論を覆させに行き、そして AI は成功した

2026-08 の初め、私たちはパルス攻撃の六つの見出しの結論を独立エージェントに渡し、指示は「それが誤りだと証明せよ」だけでした。結果は三つが反証、二つが格下げで、持ちこたえたのは二つだけでした。

敵対的再検証自己修正統計

#結果

元の結論	判定
時間構造は総攻撃成功にほとんど影響しない（15 セルで差は 1.81 倍）	言い過ぎ
盲点の影響は攻撃者のパラメータ選択よりはるかに大きい	言い過ぎ
盲点が 0.5–0.75 を超えるとパルスは持続的な不正に劣る	反証
監査を強めても盲点のある状況は救えない	反証
一度捕まる = 永久除名	言い過ぎ
等予算のもとでは crude 戦略がパルスに勝つ	反証

六つのうち三つが反証、二つが格下げです。 残った二つの肯定的な結論は、どちらも私たちの分析規律の中で規則として書かれました。

報告を書くとき、私たちは無意識のうちに、関連する二つの因子を直交する次元として扱っていたからです。三組の例：

「盲点の影響はパラメータ選択よりはるかに大きい」という結論について、再検証エージェントの発見はこうでした。

盲点と時間構造には強い交互作用がある（二因子分解で η² = 0.264、時間構造の主効果の 4 倍）。したがって「本当の変数は X だ」という文型そのものが成り立たない。

しかも元の数字は、ほぼ全面的に一つの退化した端点に支えられていました。

	blind = 1.0 を除外したあと
pulse の盲点効果	8.9 倍 → 3.28 倍
patient の盲点効果	54 倍 → 5.68 倍

ゲージが端点で退化すると、測れる数字は最もきれいで、最も情報がありません。 これは後に分析規律の第二として書かれました。

再検証の過程で、予期していなかった問題も一つ捕まりました。wilcoxon_signed_rank_exact の正規近似の分岐が、同順位の補正を二重に計算していたのです。

これは研究者の誤りではなく、ツールの誤りです。しかしその危険は——有意でないものを黙って有意に変えてしまうことにあります。

同じ時に見つかったものがもう一つあります。bootstrap CI が Python 組み込みの hash() をシードに使っていたため、同じデータが別のプロセスでは 53,478 と 1,628 という二つの数字を出していました。

再検証は壊すだけではありません。二つの結論は攻撃に持ちこたえ、しかも元の六つより強いものでした。

P(捕捉) = (1 − 盲点 β) × サンプリング率 p × 監査精度

三つの因子は同じ軸の上にあります。これは発見ではなく一つの規則です——しかし私たちはそれを、三度の異なる誤りの中でそれぞれ学びました。

実測による裏付け：盲点 0.5 のとき監査率 0.1 → 1.0 で攻撃者の総攻撃成功は 82% 低下（Wilcoxon p = 5.5e-6）。監査 0.5 → 1.0 は 50% の盲点をちょうど相殺します（対応のある差 0.03、p = 0.78）。

盲点 × 時間構造の交互作用は、時間構造の主効果の 4 倍です。これは「盲点こそが唯一の本当の変数だ」という文型を直接覆します。

正直に説明しておきます。


エージェントによる再検証にかかったもの	結論ごとに独立したワークフローを一回、生の JSONL を読み直す
エージェントは誤ることがあるか	あります。判定の権限は私たちが持ち、自動的には受け入れない
エージェントが見落としたもの	二つの結論は今も再検証されていない（反応の遅れ、選択的攻撃の集中度）

最後の項目は重要です。再検証は全知ではありません。 エージェントは六つの判定を出しましたが、そのうち二つは私たち自身が「未再検証」としました。再検証エージェントもそれらに触れなかったからです。