這是成功率提升,不是 token 效率提升
逐通重算 197 格零差異。H-MIX 對單抽一次是 2.23–2.78 倍 token,五次複印中有四次每個正確交付比閘門更貴。「同樣的上限」不等於「同樣的實際成本」。
#兩個容易搞混的定義
reasoning | completion 的子集,不是另外加一次 |
| 失敗請求 | 核心實驗的 116 次失敗請求沒有 usage,計為未知(不補 0) |
#R460 的成本
| 臂 | 交付率 | token / 題 | token / 正確交付 |
|---|---|---|---|
| OFF | 58.33% | 2,913 | 4,994 |
| CONFORM | 70.83% | 5,805 | 8,195 |
| OFF5 | 65.00% | 15,004 | 23,084 |
| H-PI | 75.83% | 9,448 | 12,459 |
| H-OC | 80.00% | 7,432 | 9,290 |
| H-MIX | 84.17% | 5,677 | 6,745 |
#三個比值
| 比較 | 每題 | 每個正確交付 |
|---|---|---|
| H-MIX vs OFF | 2.23 – 2.78× | 1.65 – 2.11× |
| H-MIX vs CONFORM | 0.92 – 1.56×(R460R)/1.07 – 1.69×(R529) | — |
| OFF5 vs CONFORM | 2.16 – 2.85×,而且每次交付率都更低 | — |
#「不多花 token」不成立
我們原本的頭條宣稱寫的是「修訂迴圈比換人重抽多交付,且 token 不多花」。
| r1 | r2 | r3 | r4 | r5 | |
|---|---|---|---|---|---|
| H-MIX vs CONFORM 每題 | 0.92× | — | — | — | 1.56× |
| 每個正確交付 | — | — | — | — | 四次比 CONFORM 更貴 |
#為什麼「同樣的上限」不等於「同樣的成本」
#R529 分主機的發現
R529 用四個互斥題目集,橫跨兩台 LM Studio 主機:
| 主機 | HumanEval+ 結果 | H-MIX token/題 | CONFORM token/題 | 差 |
|---|---|---|---|---|
| 開 reasoning(0.4.24) | 兩臂都 94 / 100 | 4,368 | 2,291 | +90.7% |
| 關 reasoning(0.4.17) | 54 / 56 vs 53 / 56 | 924 | 1,064 | −13.2% |
reasoning 佔 completion 的 63.0% – 96.3%。
#一個更好的設計順序
所以我們的建議順序是:先做早停重抽,把修訂當成後續的加值。}}
#誠實邊界
#接下來
- 同一批資料上的交付率結果:loop-vs-single-shot
- 成本如何影響宣稱的判定:five-replications
- 完整的閘門規則:驗收閘門

