VacantAI のアカウンタビリティ層GitHub

実験ノート

何を測ったか、
そして測ったもののうち何が成り立たなかったか。

Vacant の実験ノート、全 32 本。どれも実際に走らせた実験か、反証された主張の一つで、数値・分母・判定値をすべて載せています。防御軸、利得軸、多者実行の元の記録はここにあります。

ノートの背後にある 58 件の主張の判定分布（区画をクリックすると該当の主張を表示）

成立23／58反証14／58言い過ぎ5／58識別可能な差なし5／58同符号・未解決5／58未再検証6／58

#方法4 本

ある言い方を再計算できる数値に変える方法、そしてそれが後にどう反証されたか。

  1. 六つの判定値：「差がない」と言わずに「測れなかった」と言う方法

    成立、反証、言い過ぎ、識別可能な差なし、同符号・未解決、未再検証——この六つの言葉にはそれぞれ厳密な定義があります。分けておくのは、「測れなかった」が「測ったが、なかった」と読まれないようにするためです。

  2. 事前登録：なぜ実験を走らせる前に判定基準を書き留めるのか成立

    判定基準、統計手法、四つの状態ルールは、すべて実行開始前に凍結し、タイムスタンプを付けています。この記事では、私たちがどのように事前登録を行うか、そしてなぜ「後から判定基準を一つ足す」ことがこの研究では数に入らないのかを説明します。

  3. 私たちは AI に自分たちの結論を覆させに行き、そして AI は成功した言い過ぎ

    2026-08 の初め、私たちはパルス攻撃の六つの見出しの結論を独立エージェントに渡し、指示は「それが誤りだと証明せよ」だけでした。結果は三つが反証、二つが格下げで、持ちこたえたのは二つだけでした。

  4. 私たちが測り間違えた六つのこと

    フィールドの読み間違い、ネットワーク切断が評価結果として数えられたこと、極限に退化した rng シード、`defected <= BUDGET` を同一予算とみなしたこと、端点のきれいな数字、そしてデフォルトでオフになっていたルール——六つの実際の測定の落とし穴とその教訓です。

#防御軸9 本

参入のコスト、節約できるもの、そして自分たちで反証した攻撃モデル。

  1. 誹謗するだけで一度も違反しない攻撃者が、仕事の 95.4% を手にした未再検証

    票の水増しへの防御を三層とも備えたのに、悪いものを一度も納品せず他者を評価するだけの共謀集団が、ルーティングのほぼすべてを持っていきました——しかもそのスコアは 0 です。被害は過小評価されたのではなく、ゼロと測定されたのです。

  2. なぜ「永久除名」は実は二つの妥当な修正の積なのか言い過ぎ

    実測では、ペナルティを受けた 368 シードのうちルーティングに戻ったのは 0 でした。私たちは「一度捕まる = 永久除名」と言いました——しかし本当の仕組みは時計ではなく、slash が平均を半分にすると同時に観測数を倍にし、その観測数が回帰時間の指数係数になっていることです。

  3. 「時間構造は重要でない」はどう間違えたか：集計量を分解する言い過ぎ

    15 セルの攻撃戦略で総攻撃成功の差が 1.81 倍しかないと測り、私たちは「時間構造は結果にほとんど影響しない」と書きました。分解すると、露出は 6.06 倍、効率は 8.45 倍の幅があり、攻撃能力の差は 8.45 倍でした。

  4. 検知確率は一つの積であって、三つの次元ではない反証

    私たちは当初「監査率を上げても盲点のある状況は救えない」と主張していました。実測では、盲点 0.5 のとき監査率を 0.1 から 1.0 に引き上げると攻撃者の総攻撃成功は 82% 低下し、p = 5.5e-6 でした。三つの因子は同じ一つの積の中の項です。

  5. 「等予算」は罠だった：私たちの順位は丸ごと逆転した反証

    判定基準を defected <= BUDGET と書くと常に成り立つ上界になるので、「このアームはそもそも縛られていない」ことを捕まえられません。その結果、whitewash は 2.5 倍多く不正をしていたのに、私たちは「戦略が安上がり」と読みました。== に変えて検証すると、順位は逆転しました。

  6. パルス攻撃：新しくはなく、私たちの見出しの数字すら古かった未再検証

    B 件を放電し、R 件を蓄積し、繰り返す。このモデルは 2005 年にすでに先例がありました（Srivatsa らの strategic oscillation）。2026-08-06、私たちは「新しい攻撃」という主張を取り下げました。

  7. 実モデルでの信頼スイッチ実験：+8.3%、しかし統計的には何も起きていません未再検証

    60 の対応のあるタスクで、信頼層のオン・オフによって合格率は 51.67% から 60.00% に上がりました——しかし 95% 区間は 0 をまたぎ、McNemar p=0.332、検出力は 0.163 しかありません。同じデータには、もっと意味のある結果がもう一つあります。

  8. 保証金を低くしすぎると、攻撃者がかえって 235% のリターンを得る未再検証

    14 本のメカニズムのシミュレーションの中で最も直観に反する結果です。無料の参入は完全に封鎖できたのに、保証金 2 では攻撃者の単位コストあたりのリターン率が 2.354 に達しました。私たちは二つの防御設計（外生的な参入料、推薦者の連帯責任）を丸ごと削除しました。

  9. 防御システム全体で唯一本当にきつい制約：評価者の正確度未再検証

    保証金、見習い期間、エコシステムの規模、攻撃者の比率、審査者の誤差の相関を走査しましたが、どれも緩い制約でした。攻撃が割に合い始める唯一のセルは、評価者の正確度が 0 に落ちたときです。

#利得軸13 本

どの仕組みが本当に納品を良くするのか——差が測れなかった四つのバッチも含めて。

  1. ゼロ設定の四つのバッチ：三つは差が測れず、四つ目はエンジンを替えると消えました未再検証

    ゼロ設定を DABstep、ローカル 711 セル、Colab 920 問、u274 の四つのバッチで測りました。有料バッチは二つのモデルとも差が測れず、ローカルバッチは p=0.021 でしたが 6 問に集中し、920 問と u274 は差が測れず、v3.7 は後に p=0.0028 を測ったものの GGUF に替えると再現しませんでした。

  2. ゲートは偽の納品を半分ではなく約四割削減した

    836 問、43 ブロック、無効 0 の実験です。論文の「halved」は誤りでした——二つの率が異なる分母を使っていたからです。この訂正で、ゲートの効果は「半減」から「約四割」になりました。

  3. これは成功率の向上であり、token 効率の向上ではない未再検証

    一通ずつ再計算した 197 セルで差はゼロでした。H-MIX は一回だけの抽出の 2.23–2.78 倍の token を使い、五回の再現のうち四回で、正しい納品一件あたりのコストがゲートより高くつきました。「同じ上限」は「同じ実際のコスト」ではありません。

  4. 五回の再現の後：看板の主張は自らの安定性ルールに負けた同符号・未解決

    R460 では修正ループが再サンプリングより 13.33 ポイント多いと測定され、Holm p = .0112 でした。同一問題での再現を五回行うと五回とも有意でなく、補正を通過したのは 0/5、状態は「同符号・未解決」に下がりました。

  5. 五回の再現で唯一安定して成立したもの：ループは一回だけの抽出より 17 から 29 ポイント多い成立

    15 ブロックすべてがそれぞれの Holm 補正を通過し、差の範囲は +17.5 から +29.2 ポイント。同一問題での五回の再現と、互いに重ならない四つの問題セットにまたがります。これは本研究で最も堅い結果です。

  6. 利得はループから来ており、第一ラウンドのプロンプトからではない成立

    第一ラウンドの完全な応答を取り出し、オフラインで採点し直しました。ループの寄与は +19.17 / +17.50 ポイント、第一ラウンドのプロンプトの寄与は +6.67 / +8.33 にとどまります。21 問がループによって救われました。

  7. MDE は 4.31 ポイント、しかし問題バンクは 378 問しかない同符号・未解決

    ゲート対多数決という比較では、検出力 80% に 491 対が必要だと計算できますが、問題バンクは実際には 378 問しかありません。この「同符号・未解決」は未完了なのではなく、物理的に測れないのです。

  8. 問題が難しいほど、受け入れゲートの価値は高くなる成立

    早期停止ゲートは MBPP+ で 7.8 ポイント、LiveCodeBench の難問で 20.9 ポイント多く納品しました。しかも「漏れ率」は 44 から 11 に下がりました——納品拒否は難問でこそ最も価値があります。

  9. 評価ゲートの誕生：意見の代わりに実行を、投票の代わりにレシートを成立

    AI の評価委員会を削除し、「顧客の受け入れテストを実行し、最初に合格した候補を納品し、すべて不合格なら納品を拒否する」方式に改めました。三つの問題バンクで納品が 4.58 から 19.17 ポイント増え、1 問あたりの呼び出しは 1.5 回だけでした。

  10. 二つの説明が自分たちの実験で排除されてから、ようやく仕組みに直す余地が生まれました反証

    「モデルが強すぎる」と「問題が簡単すぎる」は、人間が出した二つの説明です。二回の実験でその両方が排除され、評価の仕組みは設計の変更を迫られました。変えた方向は審判を替えることで、評価モデルを替えることではありません。

  11. 評価者が追っているのは問題の難しさであって、答えの正誤ではありません成立

    同じ評価者の層が、MBPP+ ではほぼ一律に合格と判定し（誤り率 0.305）、LiveCodeBench の難問ではほぼ一律に不合格と判定しました（誤り率 0.46）。それは全体的な性質に従っており、この回答そのものには従っていません。

  12. 「非公開テストは無損失だ」という文は、構造上空っぽである成立

    R440P の事前の判定基準の一つが九日後に反証されました。LCB の 91/91 の非公開テストはすべて可視テストの上位集合なので、「非公開では合格するが可視では不合格」は構造上起こりえません。この判定基準の検出力はゼロでした。

  13. 私たちの AI 評価委員会は「五回生成して多数決」に負けました反証

    同じ 5 回の呼び出し、同じ問題で、三人の AI 評価者と一回の修正からなる委員会が「五回生成して多数決」に負けました。差の点推定は −1.98 ポイントで、無関係なバグを一つ直すと +2.97 になりました。

#記録と多者実行4 本

署名チェーン、分身、そして測定ツール自身が測り間違えたところ。

  1. 計測ツール自身が七回測り間違え、そのどれもが自分に不利な方向だった未再検証

    対話型 TUI の A/B harness には七つの計測誤りがあり、さらにコードのコメントにだけ書かれた二つがありました。どれも本物の pi の上で見つかり、どれも数字を実際より良く見せる方向でした——捏造された結果が 8 件、一度も送られなかったプロンプトが 5 セル。

  2. 攻撃者が自分の鍵でチェーン全体を鋳造し直しても、レシートビューアは合格と判定する成立

    レシートチェーン 194 本、9,841 件はすべて検証を通りました。しかしオフラインの単一ファイルのビューアには構造的な限界があります。チェーン全体を一度鋳造し直されても、それでも合格するのです。これは脆弱性ではなく、署名の定義上の境界です。

  3. 嘘をつく鍵は 273 回すべて名指しされ、誠実な側の誣告は 0 回成立

    k=3、制御下にある嘘をつく鍵が 1 本、証言 5,519 件。嘘のセルの名指しは 273/273、誠実な鍵の誣告は 0/1,840、矛盾した署名のセルの判定は 58/58 で正解でした。この数字がどれほど厳しいかは、⌊(k−1)/2⌋ という数学的な上限を知っているかどうかで決まります。

  4. 受け入れスイートをプログラムからデータに変えたら、納品率の低下は 75% から 2.7% になった成立

    攻撃者が状態を持つゲージの変種を書き、ゲージは両方向で満点なのに、納品率は 75 ポイント下がりました。直し方は、スイートに残すものを三つだけにすることです。方言、エントリーポイントの名前、入力—期待値のリテラル値の一覧です。

#研究の経緯2 本

定義から判定まで、この研究がどう今に至ったか。

  1. 定義は五回変わった：「責任の構造」から「レシートのない納品は受け取らない」へ

    九か月の間に「Vacant とは何か」は五回書き直され、そのたびに主張は小さくなりました：「エージェントが自発的に採用する責任の構造」から「検証可能なレシートのない納品は受け取らない」へ。この縮小の過程そのものが本研究の貢献です。

  2. KS-1：凍結されたモデルの上では、「結果を本物らしく書く」ことと「結果を本物にする」ことは同じことである未再検証

    2026-06-28、二つの主な検証設計が、17 体と 10 体のエージェントによる敵対的ワークフローで潰されました。それらを潰した事実は、後に本研究全体の方法論の核になりました。

すべての判定はここに

ノートのラベルは、その記事の主な主張の判定です。外に向けたすべての主張の判定は証拠台帳に、方法と読み方の前提は実験方法と判定値にあります。

世新大学世新大学 情報伝播学科Vacant

世新大学 情報伝播学科　2026 年度卒業研究・展示会