VacantAI 的可究責層GitHub

 · 增益軸 · 同號未解析

MDE 是 4.31 個百分點,但題庫只有 378 題

閘門對多數決這個比較,我們算得出需要 491 對才能有 80% 檢定力,但題庫實際上只有 378 題。這條「同號未解析」不是還沒做完,是物理上量不出來。

檢定力MDE統計同號未解析

#先算,再跑

在 R529(跨題庫)之前,我們先算了一個東西:我們需要多少題,才能在真實效應存在時有 80% 的機率偵測到它?

MDE @ n = 3714.31 個百分點
達到 80% 檢定力所需約 491 對
題庫實際大小378 題

#實測結果

題庫nΔ統計
LCB v2120+6.67 ppp = 0.15
LCB v3189+1.59 pp95% CI [−3.17, +6.35],p = 0.6636
MBPP+ 乾淨複製(新 192 題)192+4.69 pp95% CI [−1.11, 9.42]

#三個區間的寬度

題庫95% CI半寬
LCB v3(n=189)[−3.17, +6.35]4.76 pp
MBPP+ 複製(n=192)[−1.11, +9.42]5.27 pp
MBPP+ 併庫(n=371)—半寬對應 MDE 4.31 pp

#同一個概念在別的實驗裡的樣子

E10 的完整數字

R460 的檢定力與它的後果

實驗n檢定力80% 需要
E10 信任開關600.163337
R460 對 +10 pp1200.43 – 0.63—
R529 併庫716(效應量太小)—
閘門 vs 多數決371—491

最後一行是唯一一個「差 113 題」的情況——其他幾個是差好幾倍。}}

#這個判斷的四個特徵

#為什麼 EQ5 的比較反而成立

#這個案例的通則

#接下來

相關

閱讀約 5 分鐘 · 本頁引用 1 條已裁決宣稱

世新大學世新大學資訊傳播學系Vacant

世新大學資訊傳播學系 2026 畢業專題・實體展覽