VacantAI 的可究責層GitHub

核心概念 · 概念 / 主力機制 · 成立 · 

驗收閘門 CONFORM

逐字凍結的規則:依序生成候選,每份都跑可見驗收,第一份通過者放行;最多五份,全不通過就拒交。拒交計為失敗,分母是全部題目——這是這條規則裡最重要的一半。

本頁引用 2 條裁決:成立 2點一條跳到那張宣稱卡

#規則

規則是逐字凍結的,沒有可調參數:

  1. 依序生成候選。
  2. 每份候選都在沙箱中執行可見驗收。
  3. 第一份通過者即放行,並停止生成。
  4. 最多五份。全部不通過則拒交。
  5. 拒交計為失敗,分母是全部題目。

#它是怎麼取代評審委員會的

2026 年 8 月的增益實驗顯示,委員會式設計(信譽路由、三位評審、抽樣稽核、一次修訂)在相同呼叫預算下輸給同題生成五次取多數決。

機制分析找到了原因:

指標數值
評審票準確率0.7552
「全部判通過」這條零智慧基線0.7522
差距+0.29 個百分點
單輪修訂「沒有機會修正」的比例93 / 113
盲目採用修訂後版本的隱藏通過率82.3% → 78.8%(−3.5 pp)
修訂帶來的真實改善1 / 113

評審追蹤的是題目難度,不是答案對錯

9 月 3 日的 R440P 換掉了整個裁判:刪除評審委員會,改成跑客戶的驗收測資。 專案文件的說法是——

執行取代意見,收據取代投票。}}

#實測結果

三個題庫,跨五次複製與四個互斥題目集:

題庫n差異統計量每題呼叫
MBPP+(併庫 371)371+4.58 pp95% CI [+0.57, +8.04]1.51
LCB v2(難題)120+19.17 ppb=31 c=8,p=0.00031.71
LCB v3189+7.94 ppb=25 c=10,p=0.01671.55

閘門比單抽一份多交付——跨題庫、跨複製都站得住

題目越難,早停越值錢

#同預算比較:閘門贏投票

這是最乾淨的一次比較:同一組 5 份候選、同樣 5 通呼叫,一個交第一份通過的,一個五份投票取多數。

階段 / 題庫閘門成功多數決成功Δ未校正 p
r446 MBPP+280/371265/371+4.04.0135
r448 MBPP+(換種子)286/371273/371+3.50.0241
r449b LCB v285/12075/120+8.33.0414
r449c LCB v3157/189149/189+4.23.0963 同號未解析

#為什麼閘門有效、評審無效

選取規則能做什麼上限
閘門、多數決只能從既有候選中挑選「至少一份候選正確」的比例
修訂迴圈改變候選本身原理上可以越過上限

兩批已保存的五候選資料,候選池上限分別是 82.68%(31 題五份全錯)與 85.03%(22 題全錯)。

這一篇把整條閘門線的數字與推翻紀錄整理在一起

#這條閘門還在,但不是唯一一條路

2026 年 9 月底之後,產品多了一條主線叫零設定(零設定 Vacant)。它只做一件事:agent 說「我完成了」的那一刻,把話送回去一次。

四個批次裡三個沒量到差別。 第四個量到了,換一個推論引擎就沒複製出來。

批次分母差異p
DABstep 付費(gemma-4-26b)77 題50 → 44 題對0.21
DABstep 付費(qwen3.8-27b)77 題68 → 64 題對0.29
Colab 920 題920 題81.3% → 82.4%0.387
u274 預註冊100 題9 → 10 題對1.0

這不推翻本頁的數字。 原因是兩者缺的不是同一樣東西:

零件閘門 CONFORM零設定
可執行的訊號客戶的驗收測資,會跑DABstep 的答案沒有可見測資
重來的權力最多五份候選同一個工作階段裡退回,最多 2 次
拒交的權力全不通過就不交失敗一律放行

原文的說法是:零設定 C 組三個零件一個都沒有。

#沙箱與驗收套件

候選程式在獨立行程中執行:10 秒、128 MiB、工作目錄是暫存目錄、不繼承環境變數。測試程式與候選程式分處兩個行程,以帶隨機標記、只允許字面值的遠端呼叫溝通,使候選程式在結構上看不到測試碼。

#驗收套件是資料,不是程式

2026 年 9 月 6 日的攻擊實驗(R451)顯示:只要驗收套件是一段「被信任的程式碼」,攻擊者就能寫出有狀態的變體讓量具失效——量具兩方向都滿分,交付率卻掉了 −75.20 pp,而量具仍然回報 ok。

修法是 SuiteSpec:套件只包含方言、進入點名稱、「輸入—期望值」的字面值清單。執行器只跑自己的確定性渲染器從這份資料產生測試碼,渲染結果的雜湊可以跨機器比對。

效果:exec 走私從 368/371 → 0/371。

把驗收套件從程式變成資料之後

#前提條件

我們把這句話逐字寫進每一份講成效數字的文件裡,刪掉那個區塊等於刪掉那些數字的成立條件。

相關的結構性發現:在我們用過的題庫裡,隱藏測資都是可見測資的超集(V ⊆ GT),所以「隱藏會過但可見不過」在構造上不可能發生。這讓「可見篩選是無損的」這句話失去內容。v-gt-is-not-lossless

#假交付:閘門確實有攔,但沒有對半

R532 較大模型實驗(836 題、43 個區塊、0 作廢):

臂接受假交付率
CONFORM81112014.4%(占接受 14.8%)
OFF62521125.2%

閘門把假交付大約砍掉四成,不是對半。論文原本寫「halved」,在事實查核中被判為 ERROR E6——因為那兩個率用了不同的分母。

#接下來

最後更新: · 閱讀約 7 分鐘 · 本頁引用 2 條已裁決宣稱

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽