VacantAI 的可究責層GitHub

 · 增益軸 · 成立

「隱藏測資是無損的」這句話在構造上就是空的

R440P 的一條事前判準在九天後被推翻:LCB 的 91/91 隱藏測資都是可見測資的超集,所以「隱藏會過但可見不過」在構造上不可能發生。這個判準的檢定力是零。

V/GT測試判定問題預註冊

#原本的判準

我們的閘門只用可見測資決定放行。所以必須驗證一件事:

不會出現「隱藏測資會過、但可見驗收沒過」的候選。

如果會,那表示可見測資漏掉了某些要求,閘門會放行壞的東西。

#六個資料集的結果

資料集候選數隱藏過但可見不過
g_r441(MBPP+)8950
g_r356(MBPP+ 池)7350
g_r443(LCB v1 重放)4550
g_r447(LCB v2 真跑)1200
g_r461(LCB v3 真跑)1890
合計2,3940

#但 R440Q 找到了為什麼是 0

所以「可見篩選是無損的」這條判準,在這兩個題庫上檢定力是零。 0/2394 不是「我們驗證了它無損」,是「這個題庫的定義保證它成立」。

#三個更嚴格的口徑

R440Q 把它升級成主結論:

如果需求不能被編譯成可執行的測試資,這個機制沒有免費的裁判。它會退化成「問一個模型」——而那正是量出來效果最差的東西。

#這在文獻裡叫什麼

這是 Barr 等人(2015)回顧的測試判定問題(test oracle problem)在本系統裡的具體形式:

產生測試輸入與執行程式,不等於知道輸出是否正確。

大型語言模型讓產生候選程式變得極其便宜,卻沒有消除判定問題。更麻煩的是,以模型檢查模型並不能自動補上判定依據。

#這條結論的實際後果

#誠實邊界

#接下來

相關

閱讀約 5 分鐘 · 本頁引用 1 條已裁決宣稱

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽