まず結論から
- AI を信頼できるものにしたわけではありません。
「誰が何をして、誰が検査したか」を、あとから再検証できる記録にしたのです。
- 納品を良くしたのは「実行」であって、「投票」ではありません。
あなたのテストで実行するほうが、別の AI に評価させるより役に立ちます。
- 予想が外れたものも、残しています。
評判と相互評価が利得をもたらすと考えていましたが、実際のモデルを使った実験では現れませんでした。
AI の作業はどんどん速くなるのに、検査は相変わらず遅いまま。では、何を根拠に仕事を任せればいいのでしょう？
01
何に答えたいのか
- なぜ「信頼」ではなく「説明責任を問える」と言うのか
信頼の古典的な定義には「監督しなくてよい」が含まれますが、監督こそが Vacant のやっていることです。
- 定義は 5 回変わった
そのたびに、言うことを小さくしてきました。「エージェントが自発的に採用する責任の構造」から、「検証可能なレシートのない納品は受け取らない」まで。
私はゲートの前に立っています。できたと言われたら、まずあなたのテストで一度実行します。
02
何を作ったのか
- AI アシスタントを包む
アシスタントが作業を終えたその瞬間に受け入れ検査を実行し、レシートに署名します。
- 受け入れゲート
受け入れはデータであって、プログラムではありません。実行するのは、自分で生成したコードだけです。
- 署名付きレシートチェーン
一件ごとに署名し、一つ前の一件を固定します。
- 5 層の語彙
Observed（観察）、Decided（判定）、Withheld（差し止め）、Mediated（仲介）、Attested（認証）。どのレシートも、自分がどの層まで達したかを明記します。
ルールは先に固定し、実行したあとは変更しません。予想が外れても、残しておきます。
03
どう測るのか
- 事前に定めた判定基準
各実験の判定基準は、実行を始める前に凍結します。
- あなたも自分で再実行できます
問題をどう再構築し、どう突き合わせるか。あなたのコンピューターでも実行できます。
- すべての実行の索引
どれが証拠で、どれが単なるテストや途中で止めたものか。
当たった予想もあれば、反証されたものもあります。全部ここにあります。
04
何を測ったのか
これらの効果の数値には、すべて同じ前提があります。「この仕組み全体は『要求は実行可能な受け入れテストにコンパイルできる』という前提の上に成り立っている。……要求が実行できない場面では、この仕組みには無償の審判がいない。『モデルに聞く』に退化し、それこそが測定で成績の悪かったものである。」整件事建立在「需求可以被編譯成可執行的驗收測資」。……需求跑不起來的場合，這個機制沒有免費的裁判，會退化成「問一個模型」，而那正是量出來很差的東西。（R440P §五-1）
- 受け入れゲート＋再サンプリング
1 回だけ試すより 14～19 ポイント高くなりました（同じ 120 問、5 回繰り返し）。
- 問題バンクを替えても成立
716 問を合わせても、なお 6.84 ポイント高くなりました。
- AI による評価は多数決に負けた
AI 同士に相互評価させても、同じ予算では「5 回生成して多数決」に勝てませんでした。
- 「失敗メッセージを見て直す」が書き直しより良いとは測れなかった
5 回ともわずかに高く、補正を通ったのは 0 回です。より大きなモデルに替えても現れませんでした。
- ゼロ設定（v0.9.0）：4 つのバッチのうち、3 つでは差が測れなかった
インストールするだけで作用し、同じセッションの中で一度だけ言葉を送り返します。4 つ目のバッチでは差が測れましたが、推論エンジンを替えると再現しませんでした。上のゲートとは矛盾しません。ゼロ設定は生成を握っていないからです。
- レシートは検証を通る
194 本のチェーン、9,841 件がすべて通過しました。嘘をついた鍵は 273／273 が名指しされました。
- 悪意ある参加者は仕事を得られない（メカニズムのシミュレーション）
捕まらなかった悪意ある参加者が得た仕事は、誠実な参加者の 0.57%～1.84% にとどまりました。
これらはまだできていないか、まだ測り終えていません。先にはっきり言っておきます。
05
まだできないこと
- 納品拒否ではファイルの流出を止められない
デフォルト設定では、391 セルのうち納品拒否になった 59 セルで、7 セルのファイルが外へコピーされました。
- 「毎回必ず通る」
そのためには、ほかの経路を取り除く必要があります。いまそれができるのは、隔離壁の中に閉じ込めた実行だけです。
- やり直しでは救えない
展示用の 54 セル：30 件を止め、やり直しで救えたのは 0 件です。
- 「人」はまだ測っていない
利用者を募集していないので、これによって人がより思い切って AI に仕事を任せるようになるかどうかは、まだわかりません。
次は、最初のあの問いに答えたいと思っています。
06
これから
- 受け入れの品質を変える
テストの出来が良いか悪いかで、ゲートの効果がどう変わるか。
- 記録漏れも隠せないようにする
レシートのチェーン先頭を外部に公開すれば、切り詰めや記録漏れもわかるようになります。
- 本当の利用者を見つける
測ってみたいこと：レシートがあれば、人はより思い切って、より根拠をもって AI に頼るようになるのか。
さらに深く
このページの役目は、理解してもらうことです。理解したあとは、下の三か所で調べることができます。
