受け入れスイートをプログラムからデータに変えたら、納品率の低下は 75% から 2.7% になった

関連

• 嘘をつく鍵は 273 回すべて名指しされ、誠実な側の誣告は 0 回

  k=3、制御下にある嘘をつく鍵が 1 本、証言 5,519 件。嘘のセルの名指しは 273/273、誠実な鍵の誣告は 0/1,840、矛盾した署名のセルの判定は 58/58 で正解でした。この数字がどれほど厳しいかは、⌊(k−1)/2⌋ という数学的な上限を知っているかどうかで決まります。

• 評価ゲートの誕生：意見の代わりに実行を、投票の代わりにレシートを

  AI の評価委員会を削除し、「顧客の受け入れテストを実行し、最初に合格した候補を納品し、すべて不合格なら納品を拒否する」方式に改めました。三つの問題バンクで納品が 4.58 から 19.17 ポイント増え、1 問あたりの呼び出しは 1.5 回だけでした。

• 検知確率は一つの積であって、三つの次元ではない

  私たちは当初「監査率を上げても盲点のある状況は救えない」と主張していました。実測では、盲点 0.5 のとき監査率を 0.1 から 1.0 に引き上げると攻撃者の総攻撃成功は 82% 低下し、p = 5.5e-6 でした。三つの因子は同じ一つの積の中の項です。

• 私たちが測り間違えた六つのこと

  フィールドの読み間違い、ネットワーク切断が評価結果として数えられたこと、極限に退化した rng シード、`defected <= BUDGET` を同一予算とみなしたこと、端点のきれいな数字、そしてデフォルトでオフになっていたルール——六つの実際の測定の落とし穴とその教訓です。