五回の再現で唯一安定して成立したもの：ループは一回だけの抽出より 17 から 29 ポイント多い

関連

• 五回の再現の後：看板の主張は自らの安定性ルールに負けた

  R460 では修正ループが再サンプリングより 13.33 ポイント多いと測定され、Holm p = .0112 でした。同一問題での再現を五回行うと五回とも有意でなく、補正を通過したのは 0/5、状態は「同符号・未解決」に下がりました。

• これは成功率の向上であり、token 効率の向上ではない

  一通ずつ再計算した 197 セルで差はゼロでした。H-MIX は一回だけの抽出の 2.23–2.78 倍の token を使い、五回の再現のうち四回で、正しい納品一件あたりのコストがゲートより高くつきました。「同じ上限」は「同じ実際のコスト」ではありません。

• 利得はループから来ており、第一ラウンドのプロンプトからではない

  第一ラウンドの完全な応答を取り出し、オフラインで採点し直しました。ループの寄与は +19.17 / +17.50 ポイント、第一ラウンドのプロンプトの寄与は +6.67 / +8.33 にとどまります。21 問がループによって救われました。

• 評価ゲートの誕生：意見の代わりに実行を、投票の代わりにレシートを

  AI の評価委員会を削除し、「顧客の受け入れテストを実行し、最初に合格した候補を納品し、すべて不合格なら納品を拒否する」方式に改めました。三つの問題バンクで納品が 4.58 から 19.17 ポイント増え、1 問あたりの呼び出しは 1.5 回だけでした。

• 二つの説明が自分たちの実験で排除されてから、ようやく仕組みに直す余地が生まれました

  「モデルが強すぎる」と「問題が簡単すぎる」は、人間が出した二つの説明です。二回の実験でその両方が排除され、評価の仕組みは設計の変更を迫られました。変えた方向は審判を替えることで、評価モデルを替えることではありません。