VacantAI 的可究責層GitHub

證據與重現 · 重現 / 指令與雜湊 · 

重跑方式

招式逐條列在這裡:機制模擬、真模型套件、零 API 的離線重放、收據鏈驗證。大部分統計結論可以用零 API 的重算腳本重跑,不會用到任何模型。

#為什麼大部分結果可以零成本重跑

增益實驗的所有原始紀錄都以 rows.jsonl 逐題落盤,包含 arm / task_id / delivered / hidden_pass / calls_used 五個欄位。這代表統計結論不需要重打模型:

# 閘門收斂(CONFORM 三題庫)
ops/gain/replay/conform_settle.py
ops/gain/replay/paired_ci.py          # 配對 McNemar + 固定種子 bootstrap
ops/gain/replay/pooled_paired_ci.py   # 併庫

# 候選上限與早停
ops/gain/replay/verify_hidden.py
ops/gain/replay/rows_visible_audit.py  # 可見/隱藏分離稽核

# k 曲線
ops/gain/replay/off5_k_curve.py

# 迴圈歸因(turn-1 離線重取碼,零模型呼叫)
ops/gain/analyze_r460.py --rescore-turn1

# 多方執行
ops/gain/replay/peer_exec_sim.py
ops/gain/replay/peer_exec_real.py

#機制模擬

python examples/pulse_suite.py --out <DIR>   # E17–E24,脈衝攻擊
python examples/entrycost_suite.py --out <DIR>  # E1–E16,入場成本

完全確定性:rng 種子 = f'{seed}:{config_digest}',同參數必得同結果。

#真模型套件

python examples/realmodel_suite.py --out <DIR> --tasks 60
題庫EvalPlus MBPP+ v0.2.0(378 題,sha256 釘死)
品質判定臂外的 compile_check(t.check)(answer)
配對鍵task_id = sha256(prompt + tests),跨臂穩定
統計McNemar 精確檢定 + 固定種子 bootstrap 95% CI + 檢定力
續跑以 (arm, i) 為鍵,中斷不用從頭

#收據鏈與離線檢視器

vacant audit <name>                     # 重驗某個 logbook 的簽章鏈(PASS/FAIL)
vacant verify-att att.json --answer "olleh"   # 驗可攜的簽章憑證

我們把離線單檔檢視器也放在網站上,你可以直接下載下來用:

檔案大小內容
receipt_viewer.html0.3 MB單方執行
receipt_viewer_multiparty.html4.5 MB多方執行

兩者都是從 Vacant repo 的 examples/ 原樣複製過來的:

  • 收據內嵌在檔案裡
  • 零外部資源、零網路請求
  • 存下來以 file:// 直接開也跑得完全鏈驗證

#迴歸判準

.venv/bin/python -m pytest tests/ -q
時點結果
早期179 passed
2026-07-09(VM 重置後)189 / 189
獨立審查修補分支361 passed / 1 skipped(基線 330)
通道分離改版428 passed / 1 skipped(新增 25 條判準)

#資料索引本身可以驗

實驗記錄/_index/files.jsonl 是 3,322 行的清單,每行記錄路徑、型別、行數與 sha256。所以整份證據目錄(3,322 個檔案、1,550,582 行、325,111,980 位元組)可以獨立驗證有沒有被動過。

claims.json 的每一條都帶「重算方式」欄位,寫明要重跑哪個腳本、讀哪個欄位、用什麼分母。

#網站這一側

npm run build     # content/**/*.md → docs/、blog/、sitemap.xml、搜尋索引
npm run check     # 只驗內容完整性,不寫檔
python3 -m http.server 8899   # 本機預覽

網站的即時資料由 Vacant 主 repo 的腳本產生:

cd ~/Documents/GitHub/Vacant
python examples/publish_status.py \
  --root ~/.vacant-mcp \
  --out ../vacant-docs-web/data/status.json \
  [--run-tests]
```}}



## 證據分級

論文的 121 筆參考文獻依證據分級歸檔:

| 等級 | 定義 | 筆數 |
|---|---|---|
| **A 全文在手** | PDF 在手,引文經逐字比對 | 81 |
| **A 網頁存檔** | 官方文件、規格或原始碼頁面已落盤並登錄雜湊 | 13 |
| **B 據摘要** | 只有摘要在手;據此的論斷於正文標示「據摘要」 | 5 |
| **C 僅書目** | 全文未入庫;書目經 DOI、Crossref 或出版社頁面核對 | 16 |
| **專案文件** | 本專案的未出版文件 | 6 |



## 接下來

- 資料索引的逐條內容:{{doc:evidence-ledger|證據帳本}}
- 這個專題的歷程:{{doc:journey|研究歷程}}

最後更新: · 閱讀約 8 分鐘

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽