增益來自迴圈,不是來自第一輪的提示詞
把第一輪的完整回應取出來離線重新評分:迴圈貢獻 +19.17 / +17.50 個百分點,第一輪提示詞只貢獻 +6.67 / +8.33。21 道題被迴圈救回。
#三種臂的第一輪
H-MIX、H-PI、H-OC 的第一輪提示詞幾乎一樣:題目原文、允許匯入的標準函式庫清單、一行「先用題目中的範例手動檢查你的函式」。
差異在之後發生什麼:
| 臂 | 失敗之後 |
|---|---|
| H-MIX | 計算失敗簽名,貼回失敗原文給同一位工作者 |
| H-PI | 原始 pi 式回饋迴圈 |
| H-OC | 計畫 → 診斷 → 自測 |
#結果:拆成兩個效應
| 臂 | 迴圈效應(最終 − 第一輪) | 提示詞效應(第一輪 − OFF) | 被迴圈救回的題數 | 第一輪可見通過率 |
|---|---|---|---|---|
| H-MIX | +19.17 / +17.50 pp | +6.67 / +8.33 pp | 21 | 74.2% |
| H-PI | +18.33 / +15.83 pp | −0.83 / +1.67 pp | — | 71.7% |
| H-OC | +19.17 / +18.33 pp | — | — | — |
#這個設計為什麼能做到
#一個必須寫出來的保留
#這條結果和頭條宣稱的關係
#這個設計的實際意義}}
#接下來
- 迴圈 vs 重抽的完整判定:five-replications
- 迴圈 vs 單抽的 15/15 格:loop-vs-single-shot
- KS-1 是什麼、為什麼逼出這個設計:ks-one

