重跑方式
招式逐條列在這裡:機制模擬、真模型套件、零 API 的離線重放、收據鏈驗證。大部分統計結論可以用零 API 的重算腳本重跑,不會用到任何模型。
#為什麼大部分結果可以零成本重跑
增益實驗的所有原始紀錄都以 rows.jsonl 逐題落盤,包含 arm / task_id / delivered / hidden_pass / calls_used 五個欄位。這代表統計結論不需要重打模型:
# 閘門收斂(CONFORM 三題庫)
ops/gain/replay/conform_settle.py
ops/gain/replay/paired_ci.py # 配對 McNemar + 固定種子 bootstrap
ops/gain/replay/pooled_paired_ci.py # 併庫
# 候選上限與早停
ops/gain/replay/verify_hidden.py
ops/gain/replay/rows_visible_audit.py # 可見/隱藏分離稽核
# k 曲線
ops/gain/replay/off5_k_curve.py
# 迴圈歸因(turn-1 離線重取碼,零模型呼叫)
ops/gain/analyze_r460.py --rescore-turn1
# 多方執行
ops/gain/replay/peer_exec_sim.py
ops/gain/replay/peer_exec_real.py
#機制模擬
python examples/pulse_suite.py --out <DIR> # E17–E24,脈衝攻擊
python examples/entrycost_suite.py --out <DIR> # E1–E16,入場成本
完全確定性:rng 種子 = f'{seed}:{config_digest}',同參數必得同結果。
#真模型套件
python examples/realmodel_suite.py --out <DIR> --tasks 60
| 題庫 | EvalPlus MBPP+ v0.2.0(378 題,sha256 釘死) |
| 品質判定 | 臂外的 compile_check(t.check)(answer) |
| 配對鍵 | task_id = sha256(prompt + tests),跨臂穩定 |
| 統計 | McNemar 精確檢定 + 固定種子 bootstrap 95% CI + 檢定力 |
| 續跑 | 以 (arm, i) 為鍵,中斷不用從頭 |
#收據鏈與離線檢視器
vacant audit <name> # 重驗某個 logbook 的簽章鏈(PASS/FAIL)
vacant verify-att att.json --answer "olleh" # 驗可攜的簽章憑證
我們把離線單檔檢視器也放在網站上,你可以直接下載下來用:
| 檔案 | 大小 | 內容 |
|---|---|---|
| receipt_viewer.html | 0.3 MB | 單方執行 |
| receipt_viewer_multiparty.html | 4.5 MB | 多方執行 |
兩者都是從 Vacant repo 的 examples/ 原樣複製過來的:
- 收據內嵌在檔案裡
- 零外部資源、零網路請求
- 存下來以
file://直接開也跑得完全鏈驗證
#迴歸判準
.venv/bin/python -m pytest tests/ -q
| 時點 | 結果 |
|---|---|
| 早期 | 179 passed |
| 2026-07-09(VM 重置後) | 189 / 189 |
| 獨立審查修補分支 | 361 passed / 1 skipped(基線 330) |
| 通道分離改版 | 428 passed / 1 skipped(新增 25 條判準) |
#資料索引本身可以驗
實驗記錄/_index/files.jsonl 是 3,322 行的清單,每行記錄路徑、型別、行數與 sha256。所以整份證據目錄(3,322 個檔案、1,550,582 行、325,111,980 位元組)可以獨立驗證有沒有被動過。
claims.json 的每一條都帶「重算方式」欄位,寫明要重跑哪個腳本、讀哪個欄位、用什麼分母。
#網站這一側
npm run build # content/**/*.md → docs/、blog/、sitemap.xml、搜尋索引
npm run check # 只驗內容完整性,不寫檔
python3 -m http.server 8899 # 本機預覽
網站的即時資料由 Vacant 主 repo 的腳本產生:
cd ~/Documents/GitHub/Vacant
python examples/publish_status.py \
--root ~/.vacant-mcp \
--out ../vacant-docs-web/data/status.json \
[--run-tests]
```}}
## 證據分級
論文的 121 筆參考文獻依證據分級歸檔:
| 等級 | 定義 | 筆數 |
|---|---|---|
| **A 全文在手** | PDF 在手,引文經逐字比對 | 81 |
| **A 網頁存檔** | 官方文件、規格或原始碼頁面已落盤並登錄雜湊 | 13 |
| **B 據摘要** | 只有摘要在手;據此的論斷於正文標示「據摘要」 | 5 |
| **C 僅書目** | 全文未入庫;書目經 DOI、Crossref 或出版社頁面核對 | 16 |
| **專案文件** | 本專案的未出版文件 | 6 |
## 接下來
- 資料索引的逐條內容:{{doc:evidence-ledger|證據帳本}}
- 這個專題的歷程:{{doc:journey|研究歷程}}

