VacantAI のアカウンタビリティ層GitHub

 · 防御軸 · 未再検証

誹謗するだけで一度も違反しない攻撃者が、仕事の 95.4% を手にした

票の水増しへの防御を三層とも備えたのに、悪いものを一度も納品せず他者を評価するだけの共謀集団が、ルーティングのほぼすべてを持っていきました——しかもそのスコアは 0 です。被害は過小評価されたのではなく、ゼロと測定されたのです。

攻撃面シビル攻撃評判ルーティング

2026-08-07、私たちは「新たな攻撃面」の実験群(A1–A3、B1–B5)を行いました。そのうち一つの実験の結果は、本研究全体で最も慎重に引用すべきものです。

#設計

規模評価者 6 人、bug 6 種類(専門家の正確度 0.90 対 非専門家 0.35)
ルーティング(agent, family) のセル上で UCB を実行
family の宣言納品側が note_head で宣言し、評価者は転記しかできない
A シリーズ12 シード。B シリーズは 10 シード
統計平均のみで、CI も対応のある検定もない

#票の水増しへの三層の防御

私たちは評価者のホワイトリストを持っていません(ホワイトリストが必要なら、それを発行する人が必要になり、その人が信頼されなければならない対象になってしまうからです)。その代償が票の水増しなので、重みを引き下げる層を三つ設けました。

層発動条件重みの上限
① 自己申告による同源同一の管理者を自己申告し、同じ対象に対する k 人目0.1 / k
② 行動推定による同源二人の評価者が「識別力のある問題」で一致率 ≥ 0.9、かつその種の問題を ≥ 5 問共同で評価している0.1 / k
③ 未実証の評価者自身の観測 < 5、同じ対象に対する k 人目0.1 / k

第 ③ 層の狙いは、N 個の匿名の身元の集団としての寄与をおよそ 0.1 × 調和数(H_N) にし、線形ではなく対数的に増えるようにすることです。修正前は、200 個の匿名の身元がそれぞれ一票を投じると 10.0 の重みを積み上げられました。

#層ごとのアブレーション:どの層が本当に働いているか

#攻撃者が安いほど、被害は大きい

攻撃者の種類スコア
同一の管理者を自己申告3.8
匿名5.1
新規登録10.9 / 7.5

1.5 – 2.9 倍の差です。 報告の結論ははっきり書いています。

荷重を支える唯一の層は、最も安い攻撃者を止められない。

#B5:スコア 0 の攻撃者

ここが要点です。

#なぜこれは「スコアが過小評価された」より深刻なのか

#なぜ三層の重み引き下げは止められなかったのか

第 ② 層(行動推定による同源)は、二人以上の評価者が同源と判定される必要があります。そして B5 の集団は次のようなものでした。

  • 一度も違反しない → すべての評価が誠実である。
  • 異なる身元に分散している → 自己申告による同源を回避する。
  • しかし本当に独立して評価している → 行動推定による同源には判断の高い一致が必要だが、誠実な独立評価にはもともと一致性がある。

#この発見の実務上の結論

#誠実な限界

#次へ

関連

  • 防御システム全体で唯一本当にきつい制約:評価者の正確度

    保証金、見習い期間、エコシステムの規模、攻撃者の比率、審査者の誤差の相関を走査しましたが、どれも緩い制約でした。攻撃が割に合い始める唯一のセルは、評価者の正確度が 0 に落ちたときです。

  • 保証金を低くしすぎると、攻撃者がかえって 235% のリターンを得る

    14 本のメカニズムのシミュレーションの中で最も直観に反する結果です。無料の参入は完全に封鎖できたのに、保証金 2 では攻撃者の単位コストあたりのリターン率が 2.354 に達しました。私たちは二つの防御設計(外生的な参入料、推薦者の連帯責任)を丸ごと削除しました。

  • 検知確率は一つの積であって、三つの次元ではない

    私たちは当初「監査率を上げても盲点のある状況は救えない」と主張していました。実測では、盲点 0.5 のとき監査率を 0.1 から 1.0 に引き上げると攻撃者の総攻撃成功は 82% 低下し、p = 5.5e-6 でした。三つの因子は同じ一つの積の中の項です。

約 6 分で読めます

世新大学世新大学 情報伝播学科Vacant

世新大学 情報伝播学科 2026 年度卒業研究・展示会