實驗檔案庫
全部的原始資料,包含被推翻的結論
三輪實驗的逐輪紀錄、模型呼叫的完整輸入輸出(含推理過程)、迴歸判準的執行結果,全部歸檔並建立機器可讀的索引。每一條對外說過的話都指得出它的原始依據——包括那些後來被獨立複驗推翻的。
對抗式複驗 每一條結論都被派人去推翻
脈衝攻擊那一輪的六條主要結論,各由一個獨立 agent 重跑資料、任務是「證明它是錯的」。結果:三條被推翻、三條被判定說得太滿,沒有一條完好。下面照實列出——被推翻的原文用刪除線保留,旁邊寫更正後的說法。
三輪實驗 每一支實驗問了什麼
模型呼叫 AI 當時看到什麼、回了什麼
真模型實驗的每一次呼叫都經過一個唯讀的記帳閘道,完整的輸入與輸出(含模型的推理段)都留了下來。只有「通過/沒通過」的結果不足以讓別人檢查——他們必須看得到我們餵了什麼進去。
方法 這些資料是怎麼被測出來的
包含「控制了什麼」與「沒控制什麼」,以及已經踩過的量測陷阱。後者比前者重要——它們是下一個人最容易重蹈的。
索引 給 agent 讀的,不是給人翻的
檔案庫本身也要能被檢查。索引讓一個 agent 不必掃描整個檔案系統就能定位資料、理解欄位、重算結論、並驗出檔案有沒有被動過。