VacantAI のアカウンタビリティ層GitHub

実験 · 結果 / 防御 · 

防御軸

攻撃者がどれだけの仕事を手にできるか。本研究の索引にあるこの軸の 12 件の主張のうち、3 件は自分で反証し、3 件は言い過ぎでした。それでも悪い参加者を抑える仕組みは確かに効いており、効いているのは「捕まえられる」ことではなく「飢えさせられる」ことです。

このページが引用する判定 4 件:未再検証 4クリックするとその主張カードへ移動します

#この軸が答える問い

意図的に誤った納品をする参加者がいるエージェント集団において、署名付きの記録、評判ルーティング、ピアチェック、抜き取り監査、ペナルティが、誤った納品が受け入れられる機会をどこまで減らせるか。

防御軸:16 件の主張の判定

成立4/16反証3/16言い過ぎ3/16未再検証6/16

#最も効いたもの:捕まることではなく、見られること

これは防御軸で最も強い肯定的な結果であり、しかもそれは「捕まえられる」ことではありません。

群9,600 ラウンドで得た仕事
一度も捕まらなかった 215 のシード7 – 24 件
一度も違反しない対照群1,290 件

言い換えると、捕まらなかった悪意ある参加者が得た仕事は、誠実な参加者の 0.57% – 1.84% にすぎません。

結論を一文で書くとこうです。攻撃者を止めたのは「見られること」であって、「捕まること」ではありません。 評判ルーティングだけで彼らを飢えさせるのに十分で、一度捕まえる必要すらありません。

(出典:runs/s5_v1_FINDINGS.md)

#参入コスト:どちらの道も選ぶべきではない

2026-07-26、14 本のメカニズムのシミュレーション(セルごとに 20 シード、E9 は 40、E15 は 30。400 ラウンド。誠実な参加者 5 + 攻撃者 1。監査率 0.2、E2/E3 以降は 0.05。評価者の正確度 0.7 は著者が選んだ値で、測定していません)。

#本当の制約は評価者の正確度

評価者の正確度攻撃者へのルーティング攻撃成功ROI
1.018.01.90 ± 0.300.119
0.7—2.35—
0.5—2.70—
0.3—4.300.269
0.033.616.65 ± 12.891.041

acc = 0 は、表全体で唯一「不正が割に合い始める」セルです。 ほかのすべてのパラメータ——参入料、推薦者の連帯責任、見習い期間の長さ——は、評価者の正確度という制約には及びません。

#参入料を低くしすぎると、かえって攻撃者を助ける

外生的な保証金攻撃成功ROI完全阻止率
stake = 00.00—100%
stake = 25.002.3540%
stake = 53.050.5600%
stake = 101.950.1770%
stake = 201.900.0920%

無料の参入 = 完全な封鎖です。保証金を加えると、かえって攻撃が割に合うようになります。 これは私たちにとって最も意外な結果の一つでした。

#見習い期間の長さ:価値はすべて最初の一歩にある

見習い期間 m攻撃成功完全阻止率
m = 06.85 ± 1.800%
m = 1, 2, 3, 5, 80.00100%

一言でいえば、防御の価値はすべて m = 0 → 1 の一歩にあります。それ以上長くしても何の利得もありません。

#判定

二つの道——外生的な参入料、推薦者の連帯責任——はどちらも選ぶべきではありません。前提が誤っています。

推薦者の連帯責任(endorser liability)はさらに悪い結果です。λ = 1.0 のとき誠実な参加者の損失は 0.000 ですが、利得もまったくありません。λ = 0.9 のとき誠実な参加者の損失は 0.691 で、利得は依然として 0 です。

#パルス攻撃:六つの結論のうち三つが反証された

2026-08-03、E17–E24。30 シード × 600 ラウンド、1,740 個のラウンド別ファイル、1,041,246 行。

報告を書き上げたあと、私たちはそれを覆すことだけを任務とする独立エージェントを送りました。六つの見出しの結論の再検証結果は次のとおりです。

元の結論判定再検証で見つかったこと
時間構造は総攻撃成功にほとんど影響しない(15 セルで差は 1.81 倍)言い過ぎANOVA F=1.27、η²=0.039、並べ替え検定 p=0.115、検出力はわずか 25%。分解すると、露出は 6.06 倍、効率は 8.45 倍の幅があり、両者が逆向きに打ち消し合っていた。攻撃能力の差は 8.45 倍。
盲点の影響はパラメータ選択よりはるかに大きい(pulse 8.9 倍、patient 54 倍)言い過ぎほぼ全面的に退化した端点 blind=1.0 に支えられていた。除外すると 3.28 倍と 5.68 倍。交互作用 η² = 0.264 で、時間構造の主効果の 4 倍。
盲点が 0.5–0.75 を超えるとパルスは持続的な不正に劣る反証対応のある差 −0.57、95% CI は 0 をまたぐ。実測では pulse(20,2)/(20,1)/(50,1) は盲点 1.0 で攻撃成功 81/84/87 で、すべて patient の 79 を上回る。
監査を強めても盲点のある状況は救えない反証盲点 0.5 のとき、監査率 0.1→1.0 で総攻撃成功は 82% 低下(Wilcoxon p=5.5e-6)。監査 0.5→1.0 は 50% の盲点をちょうど相殺する(対応のある差 0.03、p=0.78)。
一度捕まる = 永久除名(16/16 シード)言い過ぎ交絡:同じセルで捕まらなかった 14 シードも同様に停止していた。「戻れない」は誤り——slash 0.9 は第 177 ラウンドで、0.8 は第 520 ラウンドで戻ってくる。本当の仕組みは、slash が平均を半分にすると同時に n を倍にし、n が回帰時間の指数係数になっていることである。
等予算のもとでは crude 戦略がパルスに勝つ(whitewash 8.17 > 4.23)反証E19 はそもそも等予算の比較ではなかった。予算 12 が縛っていたのは whitewash(29/30)と sybil(30/30)だけで、patient は 1/30、pulse(3,10) は 1/30。実際の不正回数は 11.97 vs 4.87——whitewash が勝ったのは 2.5 倍多く不正をしたから。正しく縛れるのは budget=2:patient/pulse 1.67 vs whitewash 0.97、p=0.0015。

#残った二つの肯定的な結論

  1. 検知確率は単一の積です (1 − 盲点) × サンプリング率 × 正確度。三つの因子は同じ軸の上にあります。盲点が変えるのは防御の天井(残量 β/(1−β))であって、サンプリング率が役に立つかどうかではありません。
  2. 盲点 × 時間構造の交互作用 η² = 0.264 で、時間構造の主効果の 4 倍です。したがって「本当の変数は X だ」という文型そのものが、ここでは成り立ちません。

#まだ再検証されていない三つ

反応の遅れ盲点ゼロでも一波あたり 2.53 件を取りこぼし、反応までに平均 27.95 ラウンドかかる(盲点 0.5 → 3.95 / 34.53、0.75 → 4.55 / 25.14)
選択的攻撃総ヒットは少ないが高価値の被害は 4.8 倍(上記参照)
突発と持続の本当の交差点実測でおよそ 0.90。パラメータを選べる攻撃者にとっては交差点は存在しない

#先行研究による修正

私たちの見出しの数字すら先を越されていました。Srivatsa ら(2005、TrustGuard)は四つの振動モデルの攻撃者コスト比 1 : 2.28 : 2.08 : 1.36 を測っており、記憶窓 maxH を知る攻撃者の最適戦略が周期 = maxH で振動することを証明しています。私たちの「1.81 倍」は、より古く、より弱く、しかも自分ですでにノイズと判定したものです。Hoffman ら(2009, ACM Computing Surveys §5.4)は、これを oscillation attack という名前の付いた類型として挙げています。

#新たな攻撃面:荷重を支える唯一の層

A1–A3、B1–B5(A シリーズは 12 シード、B シリーズは 10 シード。平均のみで、CI も対応のある検定もありません)。

#層ごとのアブレーション(B2)

どの層を切るか誹謗スコア
すべて有効4.2
重みの内生化を切る3.8
自己申告による同源判定を切る4.2(ビット単位で同一=純粋な飾り)
行動推定による同源判定を切る11.4(2.7 倍)
未実証の減衰を切る3.6
すべて切る10.7

#内部共謀(B3)は最も安く、最も害が大きい

攻撃者スコア
同一の管理者を自己申告3.8
匿名5.1
新規登録10.9 / 7.5

1.5 – 2.9 倍の差です。報告の結論ははっきり書いています。荷重を支える唯一の層は、最も安い攻撃者を止められません。

#B5:被害がゼロと測られる

誹謗するだけで一度も違反しない共謀集団が、ルーティングシェアの 95.4% を持っていき、しかもその「スコア」は 0 でした。(ベースラインの共謀シェアは 0.331)

これは被害の過小評価ではありません——被害がゼロと測定されているのです。「スコア」に基づくルーティングはどれもこうなります。

#B4:最適な誹謗の強度は 0.75

スコア 9.0、ルーティングシェア 0.094、誠実な参加者の評判の低下 0.30。1.0 では 4.2 に戻ります(行動推定に捕まるため)。

#永久排除:0 / 368

パラメータルーティングに戻った数
現行(f = 0.5, λ = 1)0 / 368
平均だけ動かし観測数は動かさない(λ = 0)214 / 368
f = 0.7, λ = 0308 / 368
f = 0.9, λ = 1308 / 368

なぜ「永久」は二つの妥当な修正の積なのか

解析式(total ≥ exp(n'·((target−mean')/c)²) − 1、m=0.9、target=0.95、c=0.3)では n=10 のとき、f=0.5/λ=1 は 10¹² 回の観測が必要で、f=0.9/λ=0 は 10^0.95 ≈ 9 回です。

その 10¹² は「長く待つ」ことではなく、到達できないということです。

#チャネル分離と多方向環境

#チャネル分離(二つの判定基準を満たす)

  • 専門プロファイル:専門家のヒット率 0.1653 → 0.6200(ランダム 1/6 = 0.1667、ランダムの 3.72 倍)、品質 +24.7 pp。null 対照群は 0.4330 → 0.4330 で、小数第四位まで完全に同じ、標準偏差も同じです。
  • 封印評価:herd_overrides は累積 7,889 回の反転から常に 0 になり、herd をまたぐ spread は正確に 0.0 でした。偽陽性は 0 / 340。
  • 拡大版は自分の強すぎる主張を反証しました。遮蔽は集団が大きくなるにつれて単調に消えます(2/10:0/6→6/6、4/10:10/12→12/12、6/10:18/18→18/18)。適用範囲は「小さな共謀集団」だけです。
  • 回帰テスト:428 passed / 1 skipped。固定した三つの digest の再現は 15/15 でビット単位で同一。E10 の 180 通の評価エンベロープはすべて引き続き検証可能です。

#多方向環境(M1–M5、300 ラウンド × 24 シード)

M1 の問いはこうです。共通の盲点のうち、どれだけがアーキテクチャ自身によって生まれているのか?

盲点単方向理論的下限アーキテクチャ由来割合
0.00.1916 ± 0.00690.0270+0.164686%
0.0 + 封印評価0.12830.0270+0.101379%
0.0 + 非公開の評判0.08180.0270+0.054867%
0.0 + 多方向0.0236 ± 0.00270.0270−0.0034≈0
0.3単方向 0.5003 / 多方向 0.30900.318936% / ≈0
0.6単方向 0.7602 / 多方向 0.61000.610820% / ≈0

読み方:単方向アーキテクチャでは、盲点ゼロのとき共通の失敗の 86% がアーキテクチャ自身によって作られています。多方向に変えると、理論的下限を下回ります。M1b で cascade_p / authority_w を走査して得た超過量は −0.010 から +0.316 まで——大きさは信頼できず、方向は頑健です。

M2 の一つずつ加える段階(盲点 0.3):単方向 0.6935 → 多方向 0.8252、+13.2 pp、取りこぼした不良品は半減。分解すると、非公開の評判 +8.0 pp、拒否プリミティブ +6.1 pp、救援要請 +0.5 pp、封印評価は単独ではやや悪化。

M3 は介入を二つの因子に分けました。「どこを見るか」が 70%、「いつ見るか」が 30% を占めます。

#実モデルでの防御実験

#E10 信頼スイッチ(対応あり、N = 60)

qwen3.6-35b-a3b、EvalPlus MBPP+ の 60 組の対応あるタスク、名簿に人為的に 2 人の破壊者を植え込みました。

アーム合格有効合格率所要時間合格あたりの呼び出し
off31600.51676,837.5 s1.94
on36600.60006,168.0 s1.67

対応あり:n=60、b_on_only = 11、c_off_only = 6、不一致 17、Δ = +0.0833、95% CI [−0.05, 0.2167]、McNemar p = 0.3323。検出力はわずか 0.163 で、MDE 80% には n = 337 が必要です。

二つ目の結果変数のほうが興味深いです。破壊者に割り当てられた仕事は off 20/60(33.3%)→ on 11/60(18.3%)、McNemar p = 0.0931(.05 には届かず)。ウォームアップの 10–30 タスクを除くと p は 0.021 – 0.041 に入り、35 または 40 を除くと 0.0703 / 0.2188 になります。}}

#E11 記憶の三アーム(pilot)

同じモデル、12 問:M0 8/12、M1 8/12、M2 8/12(所要時間 846.2 / 1,012.9 / 2,144.6 秒)。原文にはこうあります。「いかなる効果の主張を支えるにも不十分である。」(原文:「不足以支撐任何效果宣稱。」)

#独立レビュー:六つの攻撃 PoC

2026-07-26、対象コミット f9a381a。判定を一文で言えば、このアーキテクチャが現時点で高めているのは説明責任であって、信頼ではありません。

詳しくは帰属を参照してください。ここでは結論だけを挙げます。三つの必要条件のうち二つはそのまま成り立たず(シグナルは安価に偽造でき、ペナルティは効くが低スコアの者にとってはむしろ報酬になる)、一つは部分的に成り立ちます。

#この軸に今欠けているもの

#次へ

最終更新: · 約 15 分で読めます · このページは判定済みの主張を 4 件引用しています

世新大学世新大学 情報伝播学科Vacant

世新大学 情報伝播学科 2026 年度卒業研究・展示会