VacantAI 的可究責層GitHub

 · 增益軸 · 成立

評審閘門的誕生:執行取代意見,收據取代投票

刪掉 AI 評審委員會,改成「跑客戶的驗收測資、交第一份通過的、全不通過就拒交」。三個題庫上多交付 4.58 到 19.17 個百分點,每題只花 1.5 通呼叫。

CONFORM驗收閘門可執行驗收

#規則(逐字凍結)

  1. 依序生成候選。
  2. 每份候選都在沙箱中執行可見驗收。
  3. 第一份通過者即放行,並停止生成。
  4. 最多五份。全部不通過則拒交。
  5. 拒交計為失敗,分母是全部題目。

#為什麼「第一份通過就停」有效

因為選擇規則的上限是候選池裡至少一份正確的比例。多數決也跳不出這個上限。

兩批已保存的五候選資料:

題庫集候選池上限五份全錯的題數
g_r44182.68%31 / 179
g_r35685.03%22 / 147

#三個題庫的收斂

題庫n差異(vs 單抽一次)統計量每題呼叫
MBPP+(併庫 371)371+4.58 pp95% CI [+0.57, +8.04]1.51
LCB v2(難題)120+19.17 ppb=31 c=8,p = 0.00031.71
LCB v3189+7.94 ppb=25 c=10,p = 0.01671.55

越難越值錢

#被拒交的題目不是運氣

事後審計每一個被閘門拒交的題目,看五個草稿是不是真的都錯:

批次被拒交題數五份全錯
r44777 / 7
r449b88 / 8
r449c1010 / 10
r4611515 / 15

#EQ5:最乾淨的一次比較

這是整個增益軸設計得最好的一個實驗——同一組 5 份候選、同樣 5 通呼叫,一個交第一份通過的,一個五份投票取多數。候選完全對齊,預算完全對齊。

階段 / 題庫閘門成功多數決成功Δ未校正 p
r446 MBPP+280 / 371265 / 371+4.04.0135
r448 MBPP+(換種子)286 / 371273 / 371+3.50.0241
r449b LCB v285 / 12075 / 120+8.33.0414
r449c LCB v3157 / 189149 / 189+4.23.0963 同號未解析

#候選池上限的直接驗證

R440P 用零 API 的離線重放驗了一次(把已保存的五候選重算):

g_r441g_r356
候選895735
早停通過率78.21%,1.34 呼叫82.99%,1.13 呼叫
OFF5 實際出貨73.74%,5.00 呼叫77.55%,5.00 呼叫
差+4.47 pp,p=0.0963+5.44 pp,p=0.0574
早停 vs 單抽+7.82 pp,b=14 c=0,p=0.0001+6.80 pp,b=10 c=0,p=0.0020

#這個閘門自己也被攻擊過

2026-09-06 的 R451/R452:只要驗收套件是一段「被信任的程式碼」,攻擊者就能讓量具失效。

階段結果
套件綁進 commit,平凡套件371 / 371 全拒(正常)
有狀態的量具變體交付率掉 75.20 pp,而量具回報 ok
修補:SuiteSpec(套件變成資料)exec 走私 368 / 371 → 0 / 371
殘餘:generic_gauged+2.72 pp
事後上界:weak_oracle+4.35 pp

SuiteSpec 怎麼修的

#這個閘門的前提

我們把這句話逐字放進每一份講成效數字的文件裡。刪掉那個區塊等於刪掉那些數字的成立條件。

相關的結構性發現:在我們用過的題庫裡,隱藏測資都是可見測資的超集(V ⊆ GT),所以「可見篩選是無損的」這句話在構造上是恆真的,沒有檢定力。v-gt-is-not-lossless

#誠實邊界

#接下來

相關

閱讀約 6 分鐘

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽