VacantAI のアカウンタビリティ層GitHub

中心概念 · 概念 / 主力の仕組み · 成立 · 

受け入れゲート CONFORM

一字一句凍結されたルールです。候補を順に生成し、どの候補にも可視の受け入れ検査を実行し、最初に合格した候補を通します。最大五つで、すべて不合格なら納品を拒否します。納品拒否は失敗に数え、分母はすべての問題です——これがこのルールの最も重要な半分です。

このページが引用する判定 2 件:成立 2クリックするとその主張カードへ移動します

#ルール

ルールは一字一句凍結されており、調整できるパラメータはありません。

  1. 候補を順に生成する。
  2. どの候補にもサンドボックス内で可視の受け入れ検査を実行する。
  3. 最初に合格した候補をすぐに通し、生成を止める。
  4. 最大五つ。すべて不合格なら納品を拒否する。
  5. 納品拒否は失敗に数え、分母はすべての問題とする。

#評価委員会をどう置き換えたか

2026 年 8 月の利得実験では、委員会式の設計(評判ルーティング、三人の評価者、サンプリング監査、一回の修正)が、同じ呼び出し予算のもとで、同じ問題を五回生成して多数決を取る方式に負けました。

仕組みの分析で原因が見つかりました。

指標数値
評価者の票の正解率0.7552
「すべて合格と判定する」という知能ゼロのベースライン0.7522
差+0.29 ポイント
一回の修正で「直す機会がなかった」割合93 / 113
修正後の版を盲目的に採用した場合の非公開評価の合格率82.3% → 78.8%(−3.5 pp)
修正がもたらした本当の改善1 / 113

評価者が追っているのは問題の難しさであって、答えの正誤ではない

9 月 3 日の R440P は審判そのものを置き換えました:評価委員会を削除し、顧客の受け入れテストを実行する方式に改めました。 プロジェクト文書の言い方では——

意見の代わりに実行を、投票の代わりにレシートを。}}

#実測結果

三つの問題バンクで、五回の再現と四つの互いに重ならない問題セットにまたがっています。

問題バンクn差統計量1 問あたりの呼び出し
MBPP+(統合 371)371+4.58 pp95% CI [+0.57, +8.04]1.51
LCB v2(難問)120+19.17 ppb=31 c=8、p=0.00031.71
LCB v3189+7.94 ppb=25 c=10、p=0.01671.55

ゲートは一回だけ引くより多く納品する——問題バンクをまたいでも、再現をまたいでも成り立つ

問題が難しいほど、早期停止の価値は高い

#同予算での比較:ゲートが投票に勝つ

これは最もきれいな比較です:同じ 5 つの候補、同じ 5 回の呼び出しで、一方は最初に合格した候補を納品し、もう一方は五つの候補で投票して多数を取ります。

段階 / 問題バンクゲートの成功多数決の成功Δ補正前 p
r446 MBPP+280/371265/371+4.04.0135
r448 MBPP+(シード変更)286/371273/371+3.50.0241
r449b LCB v285/12075/120+8.33.0414
r449c LCB v3157/189149/189+4.23.0963 同符号・未解決

#なぜゲートは効き、評価者は効かないのか

選択ルール何ができるか上限
ゲート、多数決既存の候補から選ぶことしかできない「少なくとも一つの候補が正しい」割合
修正ループ候補そのものを変える原理的には上限を越えられる

保存済みの五候補データ二バッチでは、候補プールの上限はそれぞれ 82.68%(31 問で五つすべて不正解)と 85.03%(22 問ですべて不正解)でした。

この記事はゲートの系列全体の数字と反証の記録をまとめたものです

#このゲートは今も成り立つが、唯一の道ではない

2026 年 9 月末以降、製品にはゼロ設定(ゼロ設定の Vacant)というもう一つの主線が加わりました。これがすることは一つだけです:エージェントが「完了しました」と言ったその瞬間に、一度だけ言葉を送り返します。

四つのバッチのうち三つで差が測れませんでした。 四つ目では測れましたが、推論エンジンを替えると再現しませんでした。

バッチ分母差p
DABstep 有料(gemma-4-26b)77 問正解 50 → 44 問0.21
DABstep 有料(qwen3.8-27b)77 問正解 68 → 64 問0.29
Colab 920 問920 問81.3% → 82.4%0.387
u274 事前登録100 問正解 9 → 10 問1.0

これは本ページの数字を反証するものではありません。 理由は、二つに欠けているものが同じではないからです。

部品ゲート CONFORMゼロ設定
実行可能なシグナル顧客の受け入れテストで、実際に実行されるDABstep の答えには可視テストがない
やり直させる権限最大五つの候補同じセッション内で差し戻し、最大 2 回
納品を拒否する権限すべて不合格なら納品しない失敗しても一律に通す

原文の言い方では、ゼロ設定の C 群は三つの部品を一つも持っていません。

#サンドボックスと受け入れスイート

候補プログラムは独立したプロセスで実行されます:10 秒、128 MiB、作業ディレクトリは一時ディレクトリ、環境変数は継承しません。テストプログラムと候補プログラムは別々のプロセスにあり、ランダムなトークンを付けたリテラル値のみを許すリモート呼び出しで通信するため、候補プログラムは構造的にテストコードを見ることができません。

#受け入れスイートはデータであって、プログラムではない

2026 年 9 月 6 日の攻撃実験(R451)で分かったこと:受け入れスイートが「信頼されたコード」の一片である限り、攻撃者は状態を持つ変種を書いてゲージを無効化できます——ゲージは両方向とも満点なのに、納品率は −75.20 pp 落ち、それでもゲージは ok を返していました。

修正は SuiteSpec です:スイートには方言、エントリポイント名、「入力—期待値」のリテラル値リストだけが含まれます。実行器は自分自身の決定論的なレンダラーでこのデータからテストコードを生成するだけで、レンダリング結果のハッシュはマシンをまたいで照合できます。

効果:exec の密輸は 368/371 → 0/371 になりました。

受け入れスイートをプログラムからデータに変えたあと

#前提条件

私たちはこの文を、効果の数字を述べるすべての文書に一字一句書き込んでいます。そのブロックを削除することは、それらの数字が成り立つ条件を削除することに等しいのです。

関連する構造的な発見:私たちが使った問題バンクでは、非公開テストはいずれも可視テストの上位集合(V ⊆ GT)でした。そのため「非公開では通るが可視では通らない」は構造上起こりえません。これにより「可視テストによる選別は無損失である」という文は中身を失います。v-gt-is-not-lossless

#偽の納品:ゲートは確かに止めているが、半減ではない

R532 の比較的大きなモデルでの実験(836 問、43 ブロック、0 無効):

アーム受け入れ偽の納品率
CONFORM81112014.4%(受け入れに占める割合 14.8%)
OFF62521125.2%

ゲートは偽の納品をおおよそ四割減らしたのであって、半減ではありません。論文は当初「halved」と書いていましたが、ファクトチェックで ERROR E6 と判定されました——その二つの率は異なる分母を使っていたからです。

#次に読むもの

最終更新: · 約 8 分で読めます · このページは判定済みの主張を 2 件引用しています

世新大学世新大学 情報伝播学科Vacant

世新大学 情報伝播学科 2026 年度卒業研究・展示会