「非公開テストは無損失だ」という文は、構造上空っぽである
R440P の事前の判定基準の一つが九日後に反証されました。LCB の 91/91 の非公開テストはすべて可視テストの上位集合なので、「非公開では合格するが可視では不合格」は構造上起こりえません。この判定基準の検出力はゼロでした。
#元の判定基準
私たちのゲートは、可視テストだけで通すかどうかを決めます。したがって、一つのことを検証する必要がありました：
「非公開テストには合格するのに、可視の受け入れテストには不合格」という候補は現れない。
もし現れるなら、可視テストがある要求を取りこぼしており、ゲートは壊れたものを通してしまうことになります。
#六つのデータセットの結果
| データセット | 候補数 | 非公開は合格・可視は不合格 |
|---|---|---|
g_r441（MBPP+） | 895 | 0 |
g_r356（MBPP+ プール） | 735 | 0 |
g_r443（LCB v1 再生） | 455 | 0 |
g_r447（LCB v2 実走行） | 120 | 0 |
g_r461（LCB v3 実走行） | 189 | 0 |
| 合計 | 2,394 | 0 |
#しかし R440Q は、なぜ 0 なのかを見つけた
したがって「可視テストによる選別は無損失である」というこの判定基準は、この二つの問題バンクでは検出力がゼロです。 0/2394 は「無損失であることを私たちが検証した」ではなく、「この問題バンクの定義がそれを成り立たせている」ということです。
#より厳格な三つの見方
R440Q はこれを主要な結論に格上げしました：
要求が実行可能なテストにコンパイルできないなら、この仕組みには無償の審判がいません。「モデルに聞く」に退化します——そしてそれこそが、測定で効果が最も悪かったものです。
#これは文献で何と呼ばれているか
これは Barr ら（2015）がレビューしたテストオラクル問題（test oracle problem）の、本システムにおける具体的な形です：
テスト入力を生成してプログラムを実行することは、出力が正しいかどうかを知ることと同じではない。
大規模言語モデルは候補プログラムの生成を極めて安価にしましたが、オラクル問題を取り除いたわけではありません。さらに厄介なことに、モデルでモデルを検査しても、判定の根拠が自動的に補われるわけではありません。
#この結論の実際的な帰結
#誠実な限界
#次に
- この前提はどのようにゲートになったか：conformance-gate
- モデルに聞く道はなぜ負けたのか：committee-loses-to-majority
- 事前登録はどのように自分の次の実験に反証されたか：preregistration
