「隱藏測資是無損的」這句話在構造上就是空的
R440P 的一條事前判準在九天後被推翻:LCB 的 91/91 隱藏測資都是可見測資的超集,所以「隱藏會過但可見不過」在構造上不可能發生。這個判準的檢定力是零。
#原本的判準
我們的閘門只用可見測資決定放行。所以必須驗證一件事:
不會出現「隱藏測資會過、但可見驗收沒過」的候選。
如果會,那表示可見測資漏掉了某些要求,閘門會放行壞的東西。
#六個資料集的結果
| 資料集 | 候選數 | 隱藏過但可見不過 |
|---|---|---|
g_r441(MBPP+) | 895 | 0 |
g_r356(MBPP+ 池) | 735 | 0 |
g_r443(LCB v1 重放) | 455 | 0 |
g_r447(LCB v2 真跑) | 120 | 0 |
g_r461(LCB v3 真跑) | 189 | 0 |
| 合計 | 2,394 | 0 |
#但 R440Q 找到了為什麼是 0
所以「可見篩選是無損的」這條判準,在這兩個題庫上檢定力是零。 0/2394 不是「我們驗證了它無損」,是「這個題庫的定義保證它成立」。
#三個更嚴格的口徑
R440Q 把它升級成主結論:
如果需求不能被編譯成可執行的測試資,這個機制沒有免費的裁判。它會退化成「問一個模型」——而那正是量出來效果最差的東西。
#這在文獻裡叫什麼
這是 Barr 等人(2015)回顧的測試判定問題(test oracle problem)在本系統裡的具體形式:
產生測試輸入與執行程式,不等於知道輸出是否正確。
大型語言模型讓產生候選程式變得極其便宜,卻沒有消除判定問題。更麻煩的是,以模型檢查模型並不能自動補上判定依據。
#這條結論的實際後果
#誠實邊界
#接下來
- 這個前提怎麼變成閘門:conformance-gate
- 問模型那條路為什麼輸:committee-loses-to-majority
- 預註冊怎麼被自己的下一個實驗推翻:preregistration

