これは成功率の向上であり、token 効率の向上ではない

関連

• 五回の再現で唯一安定して成立したもの：ループは一回だけの抽出より 17 から 29 ポイント多い

  15 ブロックすべてがそれぞれの Holm 補正を通過し、差の範囲は +17.5 から +29.2 ポイント。同一問題での五回の再現と、互いに重ならない四つの問題セットにまたがります。これは本研究で最も堅い結果です。

• 五回の再現の後：看板の主張は自らの安定性ルールに負けた

  R460 では修正ループが再サンプリングより 13.33 ポイント多いと測定され、Holm p = .0112 でした。同一問題での再現を五回行うと五回とも有意でなく、補正を通過したのは 0/5、状態は「同符号・未解決」に下がりました。

• 評価ゲートの誕生：意見の代わりに実行を、投票の代わりにレシートを

  AI の評価委員会を削除し、「顧客の受け入れテストを実行し、最初に合格した候補を納品し、すべて不合格なら納品を拒否する」方式に改めました。三つの問題バンクで納品が 4.58 から 19.17 ポイント増え、1 問あたりの呼び出しは 1.5 回だけでした。

• 私たちが測り間違えた六つのこと

  フィールドの読み間違い、ネットワーク切断が評価結果として数えられたこと、極限に退化した rng シード、`defected <= BUDGET` を同一予算とみなしたこと、端点のきれいな数字、そしてデフォルトでオフになっていたルール——六つの実際の測定の落とし穴とその教訓です。