誹謗するだけで一度も違反しない攻撃者が、仕事の 95.4% を手にした
票の水増しへの防御を三層とも備えたのに、悪いものを一度も納品せず他者を評価するだけの共謀集団が、ルーティングのほぼすべてを持っていきました——しかもそのスコアは 0 です。被害は過小評価されたのではなく、ゼロと測定されたのです。
2026-08-07、私たちは「新たな攻撃面」の実験群(A1–A3、B1–B5)を行いました。そのうち一つの実験の結果は、本研究全体で最も慎重に引用すべきものです。
#設計
| 規模 | 評価者 6 人、bug 6 種類(専門家の正確度 0.90 対 非専門家 0.35) |
| ルーティング | (agent, family) のセル上で UCB を実行 |
| family の宣言 | 納品側が note_head で宣言し、評価者は転記しかできない |
| A シリーズ | 12 シード。B シリーズは 10 シード |
| 統計 | 平均のみで、CI も対応のある検定もない |
#票の水増しへの三層の防御
私たちは評価者のホワイトリストを持っていません(ホワイトリストが必要なら、それを発行する人が必要になり、その人が信頼されなければならない対象になってしまうからです)。その代償が票の水増しなので、重みを引き下げる層を三つ設けました。
| 層 | 発動条件 | 重みの上限 |
|---|---|---|
| ① 自己申告による同源 | 同一の管理者を自己申告し、同じ対象に対する k 人目 | 0.1 / k |
| ② 行動推定による同源 | 二人の評価者が「識別力のある問題」で一致率 ≥ 0.9、かつその種の問題を ≥ 5 問共同で評価している | 0.1 / k |
| ③ 未実証の評価者 | 自身の観測 < 5、同じ対象に対する k 人目 | 0.1 / k |
第 ③ 層の狙いは、N 個の匿名の身元の集団としての寄与をおよそ 0.1 × 調和数(H_N) にし、線形ではなく対数的に増えるようにすることです。修正前は、200 個の匿名の身元がそれぞれ一票を投じると 10.0 の重みを積み上げられました。
#層ごとのアブレーション:どの層が本当に働いているか
#攻撃者が安いほど、被害は大きい
| 攻撃者の種類 | スコア |
|---|---|
| 同一の管理者を自己申告 | 3.8 |
| 匿名 | 5.1 |
| 新規登録 | 10.9 / 7.5 |
1.5 – 2.9 倍の差です。 報告の結論ははっきり書いています。
荷重を支える唯一の層は、最も安い攻撃者を止められない。
#B5:スコア 0 の攻撃者
ここが要点です。
#なぜこれは「スコアが過小評価された」より深刻なのか
#なぜ三層の重み引き下げは止められなかったのか
第 ② 層(行動推定による同源)は、二人以上の評価者が同源と判定される必要があります。そして B5 の集団は次のようなものでした。
- 一度も違反しない → すべての評価が誠実である。
- 異なる身元に分散している → 自己申告による同源を回避する。
- しかし本当に独立して評価している → 行動推定による同源には判断の高い一致が必要だが、誠実な独立評価にはもともと一致性がある。
#この発見の実務上の結論
#誠実な限界
#次へ
- 新たな攻撃面の実験群全体の結果:防御軸
- シビル攻撃の文献上の上界:限界と保証しない事項
- 評価品質がなぜ本当の制約なのか:reviewer-accuracy-binds

