VacantAI 的可究責層GitHub

 · 增益軸 · 未複驗

這是成功率提升,不是 token 效率提升

逐通重算 197 格零差異。H-MIX 對單抽一次是 2.23–2.78 倍 token,五次複印中有四次每個正確交付比閘門更貴。「同樣的上限」不等於「同樣的實際成本」。

成本token統計

#兩個容易搞混的定義

reasoningcompletion 的子集,不是另外加一次
失敗請求核心實驗的 116 次失敗請求沒有 usage,計為未知(不補 0)

#R460 的成本

臂交付率token / 題token / 正確交付
OFF58.33%2,9134,994
CONFORM70.83%5,8058,195
OFF565.00%15,00423,084
H-PI75.83%9,44812,459
H-OC80.00%7,4329,290
H-MIX84.17%5,6776,745

#三個比值

比較每題每個正確交付
H-MIX vs OFF2.23 – 2.78×1.65 – 2.11×
H-MIX vs CONFORM0.92 – 1.56×(R460R)/1.07 – 1.69×(R529)—
OFF5 vs CONFORM2.16 – 2.85×,而且每次交付率都更低—

#「不多花 token」不成立

我們原本的頭條宣稱寫的是「修訂迴圈比換人重抽多交付,且 token 不多花」。

r1r2r3r4r5
H-MIX vs CONFORM 每題0.92×———1.56×
每個正確交付————四次比 CONFORM 更貴

#為什麼「同樣的上限」不等於「同樣的成本」

#R529 分主機的發現

R529 用四個互斥題目集,橫跨兩台 LM Studio 主機:

主機HumanEval+ 結果H-MIX token/題CONFORM token/題差
開 reasoning(0.4.24)兩臂都 94 / 1004,3682,291+90.7%
關 reasoning(0.4.17)54 / 56 vs 53 / 569241,064−13.2%

reasoning 佔 completion 的 63.0% – 96.3%。

#一個更好的設計順序

R532 的修正案

所以我們的建議順序是:先做早停重抽,把修訂當成後續的加值。}}

#誠實邊界

#接下來

相關

閱讀約 5 分鐘

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽