#先算,再跑
在 R529(跨題庫)之前,我們先算了一個東西:我們需要多少題,才能在真實效應存在時有 80% 的機率偵測到它?
| |
|---|
| MDE @ n = 371 | 4.31 個百分點 |
| 達到 80% 檢定力所需 | 約 491 對 |
| 題庫實際大小 | 378 題 |
#實測結果
| 題庫 | n | Δ | 統計 |
|---|
| LCB v2 | 120 | +6.67 pp | p = 0.15 |
| LCB v3 | 189 | +1.59 pp | 95% CI [−3.17, +6.35],p = 0.6636 |
| MBPP+ 乾淨複製(新 192 題) | 192 | +4.69 pp | 95% CI [−1.11, 9.42] |
#三個區間的寬度
| 題庫 | 95% CI | 半寬 |
|---|
| LCB v3(n=189) | [−3.17, +6.35] | 4.76 pp |
| MBPP+ 複製(n=192) | [−1.11, +9.42] | 5.27 pp |
| MBPP+ 併庫(n=371) | — | 半寬對應 MDE 4.31 pp |
#同一個概念在別的實驗裡的樣子
E10 的完整數字
R460 的檢定力與它的後果
| 實驗 | n | 檢定力 | 80% 需要 |
|---|
| E10 信任開關 | 60 | 0.163 | 337 |
| R460 對 +10 pp | 120 | 0.43 – 0.63 | — |
| R529 併庫 | 716 | (效應量太小) | — |
| 閘門 vs 多數決 | 371 | — | 491 |
最後一行是唯一一個「差 113 題」的情況——其他幾個是差好幾倍。}}
#這個判斷的四個特徵
#為什麼 EQ5 的比較反而成立
#這個案例的通則
#接下來