驗收閘門 CONFORM
逐字凍結的規則:依序生成候選,每份都跑可見驗收,第一份通過者放行;最多五份,全不通過就拒交。拒交計為失敗,分母是全部題目——這是這條規則裡最重要的一半。
本頁引用 2 條裁決:成立 2點一條跳到那張宣稱卡
#規則
規則是逐字凍結的,沒有可調參數:
- 依序生成候選。
- 每份候選都在沙箱中執行可見驗收。
- 第一份通過者即放行,並停止生成。
- 最多五份。全部不通過則拒交。
- 拒交計為失敗,分母是全部題目。
#它是怎麼取代評審委員會的
2026 年 8 月的增益實驗顯示,委員會式設計(信譽路由、三位評審、抽樣稽核、一次修訂)在相同呼叫預算下輸給同題生成五次取多數決。
機制分析找到了原因:
| 指標 | 數值 |
|---|---|
| 評審票準確率 | 0.7552 |
| 「全部判通過」這條零智慧基線 | 0.7522 |
| 差距 | +0.29 個百分點 |
| 單輪修訂「沒有機會修正」的比例 | 93 / 113 |
| 盲目採用修訂後版本的隱藏通過率 | 82.3% → 78.8%(−3.5 pp) |
| 修訂帶來的真實改善 | 1 / 113 |
9 月 3 日的 R440P 換掉了整個裁判:刪除評審委員會,改成跑客戶的驗收測資。 專案文件的說法是——
執行取代意見,收據取代投票。}}
#實測結果
三個題庫,跨五次複製與四個互斥題目集:
| 題庫 | n | 差異 | 統計量 | 每題呼叫 |
|---|---|---|---|---|
| MBPP+(併庫 371) | 371 | +4.58 pp | 95% CI [+0.57, +8.04] | 1.51 |
| LCB v2(難題) | 120 | +19.17 pp | b=31 c=8,p=0.0003 | 1.71 |
| LCB v3 | 189 | +7.94 pp | b=25 c=10,p=0.0167 | 1.55 |
#同預算比較:閘門贏投票
這是最乾淨的一次比較:同一組 5 份候選、同樣 5 通呼叫,一個交第一份通過的,一個五份投票取多數。
| 階段 / 題庫 | 閘門成功 | 多數決成功 | Δ | 未校正 p |
|---|---|---|---|---|
| r446 MBPP+ | 280/371 | 265/371 | +4.04 | .0135 |
| r448 MBPP+(換種子) | 286/371 | 273/371 | +3.50 | .0241 |
| r449b LCB v2 | 85/120 | 75/120 | +8.33 | .0414 |
| r449c LCB v3 | 157/189 | 149/189 | +4.23 | .0963 同號未解析 |
#為什麼閘門有效、評審無效
| 選取規則 | 能做什麼 | 上限 |
|---|---|---|
| 閘門、多數決 | 只能從既有候選中挑選 | 「至少一份候選正確」的比例 |
| 修訂迴圈 | 改變候選本身 | 原理上可以越過上限 |
兩批已保存的五候選資料,候選池上限分別是 82.68%(31 題五份全錯)與 85.03%(22 題全錯)。
#這條閘門還在,但不是唯一一條路
2026 年 9 月底之後,產品多了一條主線叫零設定(零設定 Vacant)。它只做一件事:agent 說「我完成了」的那一刻,把話送回去一次。
四個批次裡三個沒量到差別。 第四個量到了,換一個推論引擎就沒複製出來。
| 批次 | 分母 | 差異 | p |
|---|---|---|---|
| DABstep 付費(gemma-4-26b) | 77 題 | 50 → 44 題對 | 0.21 |
| DABstep 付費(qwen3.8-27b) | 77 題 | 68 → 64 題對 | 0.29 |
| Colab 920 題 | 920 題 | 81.3% → 82.4% | 0.387 |
| u274 預註冊 | 100 題 | 9 → 10 題對 | 1.0 |
這不推翻本頁的數字。 原因是兩者缺的不是同一樣東西:
| 零件 | 閘門 CONFORM | 零設定 |
|---|---|---|
| 可執行的訊號 | 客戶的驗收測資,會跑 | DABstep 的答案沒有可見測資 |
| 重來的權力 | 最多五份候選 | 同一個工作階段裡退回,最多 2 次 |
| 拒交的權力 | 全不通過就不交 | 失敗一律放行 |
原文的說法是:零設定 C 組三個零件一個都沒有。
#沙箱與驗收套件
候選程式在獨立行程中執行:10 秒、128 MiB、工作目錄是暫存目錄、不繼承環境變數。測試程式與候選程式分處兩個行程,以帶隨機標記、只允許字面值的遠端呼叫溝通,使候選程式在結構上看不到測試碼。
#驗收套件是資料,不是程式
2026 年 9 月 6 日的攻擊實驗(R451)顯示:只要驗收套件是一段「被信任的程式碼」,攻擊者就能寫出有狀態的變體讓量具失效——量具兩方向都滿分,交付率卻掉了 −75.20 pp,而量具仍然回報 ok。
修法是 SuiteSpec:套件只包含方言、進入點名稱、「輸入—期望值」的字面值清單。執行器只跑自己的確定性渲染器從這份資料產生測試碼,渲染結果的雜湊可以跨機器比對。
效果:exec 走私從 368/371 → 0/371。
#前提條件
我們把這句話逐字寫進每一份講成效數字的文件裡,刪掉那個區塊等於刪掉那些數字的成立條件。
相關的結構性發現:在我們用過的題庫裡,隱藏測資都是可見測資的超集(V ⊆ GT),所以「隱藏會過但可見不過」在構造上不可能發生。這讓「可見篩選是無損的」這句話失去內容。v-gt-is-not-lossless
#假交付:閘門確實有攔,但沒有對半
R532 較大模型實驗(836 題、43 個區塊、0 作廢):
| 臂 | 接受 | 假交付 | 率 |
|---|---|---|---|
| CONFORM | 811 | 120 | 14.4%(占接受 14.8%) |
| OFF | 625 | 211 | 25.2% |
閘門把假交付大約砍掉四成,不是對半。論文原本寫「halved」,在事實查核中被判為 ERROR E6——因為那兩個率用了不同的分母。
#接下來
- 加修訂迴圈會怎樣:可執行驗收層
- 五次複製之後的裁決:頭條宣稱輸給了自己的穩定性規則
- token 帳:這是成功率提升,不是 token 效率提升

