MDE は 4.31 ポイント、しかし問題バンクは 378 問しかない

関連

• 六つの判定値：「差がない」と言わずに「測れなかった」と言う方法

  成立、反証、言い過ぎ、識別可能な差なし、同符号・未解決、未再検証——この六つの言葉にはそれぞれ厳密な定義があります。分けておくのは、「測れなかった」が「測ったが、なかった」と読まれないようにするためです。

• 五回の再現の後：看板の主張は自らの安定性ルールに負けた

  R460 では修正ループが再サンプリングより 13.33 ポイント多いと測定され、Holm p = .0112 でした。同一問題での再現を五回行うと五回とも有意でなく、補正を通過したのは 0/5、状態は「同符号・未解決」に下がりました。

• 実モデルでの信頼スイッチ実験：+8.3%、しかし統計的には何も起きていません

  60 の対応のあるタスクで、信頼層のオン・オフによって合格率は 51.67% から 60.00% に上がりました——しかし 95% 区間は 0 をまたぎ、McNemar p=0.332、検出力は 0.163 しかありません。同じデータには、もっと意味のある結果がもう一つあります。

• これは成功率の向上であり、token 効率の向上ではない

  一通ずつ再計算した 197 セルで差はゼロでした。H-MIX は一回だけの抽出の 2.23–2.78 倍の token を使い、五回の再現のうち四回で、正しい納品一件あたりのコストがゲートより高くつきました。「同じ上限」は「同じ実際のコスト」ではありません。