核心概念 · 概念 / 追到步驟 / 2026-09-24 ·
可究責追緝
通用收件口回答「這份繳付物合不合格」,說不出哪裡不合格、哪一步弄錯、誰弄錯。追緝往下切到步驟:每一個結論分兩層,只有重跑翻轉得出的那一層能接信譽後果。
本頁引用 5 條裁決:成立 5點一條跳到那張宣稱卡
論文一句話的定位是「知道誰做了什麼,出錯時追得回去」。收據與通用收件口只做了後半的「出錯時」,而且缺三樣東西:
它說不出哪裡不合格(ClaimResult 沒有位置)、哪一步弄錯的(沒有步驟紀錄)、誰弄錯的(沒有行動者),而回饋是一段泛用文字。
2026-09-24 人類看完全用收件口之後的原話:
你現在的這個版本是讓本機多個可以去驗證的驗證器,並非是咎責且抓出錯誤點的東西。
追緝就是補上這三樣。同一輪確認了四件事:咎責對象要步驟與行動者都要;錯誤點是追到造成錯誤的那一步;後果是信譽+路由;使用情境是人直接用一個 agent。
#「錯」只有三個來源,只有前兩個能擋
| 來源 | 能不能擋 | 說明 |
|---|
| 契約 | 能 | 既有驗證器,這條不動 |
人標記 vacant flag <path>[:<行>-<行>] "<哪裡錯>" | 能 | 簽章、綁繳付物 sha256 與位置 |
| 主動確定性檢查 | 不能 | 只提示、不擋 |
主動檢查只有兩項:unsourced_number(沒有出處的數字)、unhandled_failed_command。
#兩層歸因
這是整條線的核心機制。
provable 的定義是三個條件同時成立:
- 在重建狀態上重跑
- 恰好在這一步由過轉不過
- 錯的值不在任何釘住的輸入或觀察到的讀取裡
五個等級各有不同的後果:
| 等級 | 後果 |
|---|
provable | 對那個行動者 record_review(0, weight=1.0);不 slash |
lineage_exact | 行動者不動,來源記一筆計數 |
lineage_internal | 往上追到產生它的那一步再分級 |
heuristic | 不動,只報告 |
gap | 不動任何人,記在「整合覆蓋率」 |
信譽鍵是四元組:(平台, agent 定義, 模型, 任務族)。每格 n 長期是個位數,所以永遠顯示次數與區間,不顯示裸分數;n < 5 不採取任何行動。人不進信譽表——只有一位使用者時替他打分是敵意。
#端到端證據
三張表全部是 L-fake:模型是照劇本回答的假上游,沒有真模型、沒有 API 金鑰。四個真 agent binary 與真掛鉤是真的。
| 批次 | 格數 | 歸因正確 | 有位置的回饋進到模型請求 | 回饋含行動者識別 |
|---|
| 原生掛鉤 × 八個埋錯情境 | 33 | 33/33 | — | 0/33 |
vacant do | 25 | 25/25 | 25/25(OpenCode 也是) | 0/25 |
| 真互動 TUI(tmux 偽終端機) | 16 | 16/16 | 16/16 | 0/16 |
每次掛鉤的額外時間 p95 是 6.3–13.3 ms(小工作區)。多回合那幾格前面的回合真的用完了輪數 4/4。
#回饋裡從來沒有行動者識別
這是設計上的界線,不是缺陷:
咎責對象是步驟與行動者,但回饋只給人看。原因是讀取覆蓋是下限:
掛鉤看得到工具輸出(Read 的檔案內容、指令 stdout、WebFetch 結果、子 agent 回覆),看不到模型上下文裡本來就有的東西、殼層指令執行中讀的檔、Codex 託管的 web_search 結果。
所以「沒找到來源」永遠不可以單獨推出「agent 的錯」。每份報告帶三態 read_coverage。
#什麼時候介入
| 設計夥伴的建議 | 實際採用 | 理由 |
|---|
| 偵測 | 每次寫入後跑便宜的驗證 | Stop 時在重建出來的每一步狀態上重跑 | 成本從每次工具呼叫(30 秒預算)移到 Stop(600 秒) |
| 回饋 | — | 一則、≤12 行、穩定的 finding id | |
工作區掃描不採用「只雜湊契約列出的繳付物」的建議,理由是量測:Claude 的 Bash 與 Codex 的 shell 寫檔在每一個平台通道裡都只剩指令字串。改成整個工作區、增量(大小與 mtime 沒變就沿用雜湊)。
#七條誠實邊界
三句明令不准說:
❌「Vacant 抓出所有錯」 ❌「追緝一定正確」 ❌「agent 繞不過」
可以說的是:「在有紀錄的步驟裡,這個檢查在第 k 步由過轉不過,而第 k 步是 X 做的;證據可重跑。」
#今天不能證明的
不能證明:真模型下產出會更接近需求。
要預註冊的實驗還沒跑:三個臂——RS(重抽三次、無回饋)、RF(泛用回饋)、RL(在地化回饋),一般任務與程式任務分開報告,主要結果 accepted ∧ hidden pass。
#接下來