証拠台帳

パルス攻撃＝B 件連続して悪事を働いて放電 → R 件のクリーンな納品で蓄積 → 繰り返し。既存の 3 つの戦略はその特殊ケースです

元の記録：vacant/entrycost.py::_should_defect の pulse 分岐

ラウンド pulse-2026-08-03　·　定義　·　判定値：未複驗

攻撃の時間構造は攻撃成功の総数にほとんど影響しません：15 セルの (burst,recover) グリッドで 2.83–5.13（1.81 倍）に収まります

根拠となる数値

最小

2.8333

最小セル

(1,20)

最大

5.1333

最大セル

(8,20)

フィールド：cells[].accepted_bad.mean

元の記録：脈衝攻擊_2026-08-03/E24.json

ラウンド pulse-2026-08-03　·　測定　·　判定値：overstated

盲点の影響は攻撃者のパラメータ選択よりはるかに大きく、pulse で 8.9 倍、patient で 54 倍です（パラメータグリッドでは 1.81 倍）

根拠となる数値

pulse blind=0

2.3667

pulse blind=1

21

patient blind=0

1.4667

patient blind=1

79

フィールド：cells[].accepted_bad.mean

元の記録：脈衝攻擊_2026-08-03/E20.json

ラウンド pulse-2026-08-03　·　測定　·　判定値：overstated

盲点が約 0.5–0.75 を超えると、パルスはかえって単純な持続的悪事に劣ります（盲点を最大にすると 3.8 倍の差）

根拠となる数値

blind=0.75

{"patient":8.3333,"pulse":7.7667}

blind=1.0

{"patient":79,"pulse":21}

元の記録：脈衝攻擊_2026-08-03/E20.json

ラウンド pulse-2026-08-03　·　測定　·　判定値：refuted

監査率を上げれば盲点ゼロの状況は救えます（100% 監査＝完全封鎖）が、盲点のある状況は救えません（なお攻撃成功 0.97、完全阻止は 57% のみ）

根拠となる数値

blind=0 audit=1.0

{"accepted_bad":0,"shutout":1}

blind=0.5 audit=1.0

{"accepted_bad":0.9667,"shutout":0.5667}

元の記録：脈衝攻擊_2026-08-03/E21.json

ラウンド pulse-2026-08-03　·　測定　·　判定値：refuted

一度捕まれば＝永久除名。捕まったことのある 16 個の seed のうち、16 個がその後一度もルーティングされませんでした

根拠となる数値

捕まった seed の数

16

その後再びルーティングされた seed の数

0

最後にルーティングされたラウンドの中央値

171

総ラウンド数

600

元の記録：脈衝攻擊_2026-08-03/E17/logs/burst3__p*.jsonl

ラウンド pulse-2026-08-03　·　測定（ラウンドごとの記録から。集計値ではない）　·　判定値：overstated

盲点ゼロでも、1 波あたり 2.53 件を漏らし、反応までに平均 28 ラウンドかかります

根拠となる数値

hits_per_burst

2.5333

react_lag_rounds

27.95

フィールド：cells[label=blind=0.0].hits_per_burst.mean / react_lag_mean.mean

元の記録：脈衝攻擊_2026-08-03/E22.json

ラウンド pulse-2026-08-03　·　測定　·　判定値：未複驗

等予算（各 12 件）＋盲点 0.5 のもとでは、whitewash 8.17 がかえってパルス 4.23 に勝ちます

根拠となる数値

whitewash

8.1667

sybil

6.1333

pulse(5,20)

4.3

pulse(3,10)

4.2333

patient

3.7333

元の記録：脈衝攻擊_2026-08-03/E19.json

ラウンド pulse-2026-08-03　·　測定　·　判定値：refuted

入場料を低く設定しすぎると、かえって攻撃者が見習い期間を乗り切る助けになります：stake=0 では完全阻止、stake=2 では攻撃成功 5.00、ROI 2.35

フィールド：cells[].accepted_bad.mean / roi.mean

元の記録：入場成本_2026-07-26/E4.json

ラウンド entrycost-2026-07-26　·　測定　·　判定値：未複驗

本当の制約は評価者の正確度です：acc=0 のとき攻撃成功 16.65、ROI 1.04（悪事が割に合い始めます）

元の記録：入場成本_2026-07-26/E12.json

ラウンド entrycost-2026-07-26　·　測定　·　判定値：未複驗

E10 信頼スイッチ N=60 の対応のある比較：on 36/60 vs off 31/60、差 +8.3%、95% CI [-5.0%, 21.7%] は 0 をまたぎ、McNemar p=0.332 で有意ではありません

元の記録：真模型_2026-07-26/E10/{on,off}/rows.jsonl

ラウンド realmodel-2026-07-26　·　測定　·　判定値：未複驗

最初の測定は誤りでした：audit.passed を品質の判定基準として読みましたが、off アームは設計上監査しないため、0/11 vs 5/10 という偽の結果になりました

元の記録：examples/realmodel_suite.py のコメント（その箇所に誤りの完全な説明が残されています）

ラウンド realmodel-2026-07-26　·　自己訂正　·　判定値：未複驗

ゲージにはシグナルがあります：信頼層なし（OFF）の失敗率は 26.44% で、事前に決めた 20–60% の窓に収まります

根拠となる数値

OFF processed

179

OFF infra_void

5

measured

174

失敗率

0.2644

Wilson CI95

[0.204,0.334]

元の記録：增益實驗_2026-08-30/DECISION_20260901_R437_DECISIVE_RUN_COMPLETE_FINAL.md

ラウンド gain-2026-08-30　·　測定（事前の判定基準 1）　·　判定値：held

3 アーム（OFF／ON／OFF5）の納品品質には識別可能な差があります

根拠となる数値

raw ON vs OFF5

{"n":101,"ON":0.7525,"OFF5":0.7723,"b":6,"c":8,"p":0.7905}

typing 修正版

{"n":101,"ON":0.8416,"OFF5":0.8119,"b":5,"c":2,"p":0.4531}

元の記録：增益實驗_2026-08-30/DECISION_20260901_R437_DECISIVE_RUN_COMPLETE_FINAL.md

ラウンド gain-2026-08-30　·　測定（事前の判定基準 2、対応のある McNemar）　·　判定値：no_effect

等予算のもとで、Vacant（ON）は同じ問題を 5 回走らせて多数決をとる方式（OFF5）に勝てます

根拠となる数値

全体の対応比較

{"n":101,"p":0.4531}

難問サブセット（OFF の失敗集合）

{"n":21,"ON":0.2857,"OFF5":0.2857,"b":1,"c":1,"p":1}

元の記録：增益實驗_2026-08-30/DECISION_20260901_R438_HARD_SUBSET_AND_REVISE_MECHANISM.md

ラウンド gain-2026-08-30　·　測定（事前の判定基準 3）　·　判定値：refuted

勝てない仕組み：評価者の票はほぼ定数関数であり、修正はほとんど純改善を生みません

根拠となる数値

有効な評価者票の正確度

0.7552

almost-PASS ベースライン

0.7522

差

0.0029

revise 反実仮想 no_opportunity

93/113

revised を盲目的に採用したときの hidden 通過率

82.3%→78.8%

discarded_win

0/113

revision_transition=improved

1/113

元の記録：增益實驗_2026-08-30/DECISION_20260901_R438_HARD_SUBSET_AND_REVISE_MECHANISM.md

ラウンド gain-2026-08-30　·　仕組みの分析（179 問の完全なデータで再計算）　·　判定値：held

35b worker が強すぎて天井効果が起きており、12b の単一モデルに替えれば Vacant の利得が現れます

根拠となる数値

OFF 失敗率

0.318

ON vs OFF5

{"n":167,"b":11,"c":12,"p":1}

評価者 grounded −ベースライン

+4.19pp（95% [0, 8.58]）

ON void

12/179

元の記録：增益實驗_2026-08-30/DECISION_20260903_R440N_E1_INDEPENDENT_AUDIT_CONCUR.md

ラウンド gain-2026-08-30　·　測定（人間が 2026-09-01 に提起した仮説 H-A。E1 gemma-4-12b 単一モデルプール 179 問）　·　判定値：refuted

MBPP+ は現代のモデルには簡単すぎるので、日付スタンプ付きのコンテスト難問（LiveCodeBench）に替えれば利得が現れます

根拠となる数値

OFF 失敗率

0.484

Wilson CI95

[0.384,0.585]

ON vs OFF5

{"n":87,"b":15,"c":10,"p":0.4244}

問題バンクは確かに難しい

MBPP+ の 31.8% より 16.6pp 高い

元の記録：增益實驗_2026-08-30/DECISION_20260904_R440T_E3_WRAPUP.md

ラウンド gain-2026-08-30　·　測定（人間が 2026-09-01 に提起した仮説 H-B。E3 LCB 91 問 medium+hard × gemma-only）　·　判定値：refuted

評価者が追っているのは問題の難度という全体的な性質であり、個々の答えの正誤ではありません

根拠となる数値

MBPP+

{"元の FAIL 主張":"少数（ほぼ一律 PASS）","初稿の誤り率":0.305,"元の層−定数ベースライン":"-2.99pp"}

LCB 難問

{"元の FAIL 主張":"234/261 = 89.7%（ほぼ一律 FAIL）","初稿の誤り率":0.46,"元の層−定数ベースライン":"+0.77pp"}

解釈

問題バンクを替えても、どちらの定数に偏るかが変わるだけです

元の記録：增益實驗_2026-08-30/DECISION_20260904_R440T_E3_WRAPUP.md

ラウンド gain-2026-08-30　·　仕組みの分析（2 つの問題バンクの対照）　·　判定値：held

決定的 run は初めてのクリーンな完全データセットです：既知のバグによる汚染がなく、void 率も窓内に収まっています

根拠となる数値

ON infra_void

66/179

OFF5 infra_void

30/179

OFF infra_void

5/179

R437 の自己記録

void 率 ON=36.2% OFF5=16.9% ⚠VOID-GATE-WARNING

equal_budget_comparison_valid（summary の欄）

false

元の記録：增益實驗_2026-08-30/g_r356_3arm_summary.json

ラウンド gain-2026-08-30　·　データ品質の主張　·　判定値：overstated

「顧客自身の受け入れテストを実行し、最初に合格したものを納品し、すべて不合格なら納品を拒否する」（CONFORM 早期停止ゲート）は、「1 回だけ生成してそのまま受け取る」（OFF）より多く納品します

根拠となる数値

MBPP+ 統合 371 問

+4.58pp（CI [+0.57, +8.04]）

LCB v2 120 問

{"delta_pp":19.17,"b":31,"c":8,"p":0.0003}

LCB v3 189 問

{"delta_pp":7.94,"b":25,"c":10,"p":0.0167}

呼び出し／問

1.51／1.71／1.55 対 1.00

フィールド：rows.jsonl の arm／task_id／delivered／hidden_pass／calls_used

元の記録：runs/g_r444_conform_mbpp/rows.jsonl、runs/g_r445_conform_mbpp_ext/rows.jsonl（MBPP+ 統合 371 問）；runs/g_r447_conform_lcb2/rows.jsonl（LCB v2 120 問）；runs/g_r461_lcb3_three_arm/rows.jsonl（LCB v3 189 問）

再計算の方法：ops/gain/replay/conform_settle.py、ops/gain/replay/paired_ci.py、ops/gain/replay/pooled_paired_ci.py（API 呼び出しゼロ、rows.jsonl を読むだけ）

ラウンド gain-2026-08-30　·　測定（3 つの問題バンク、対応あり）　·　判定値：held

同じ 5 件の候補、同じ 5 回の呼び出しのもとで、ゲートの規則（最初に合格したものを納品し、すべて不合格なら納品しない）は 5 件の投票による多数決より多く納品します

根拠となる数値

r446

{"gate":75.47,"vote":71.43,"b":24,"c":9,"delta_pp":4.04,"ci95":[0.796,6.529],"p":0.0135}

r448

{"gate":77.09,"vote":73.58,"b":21,"c":8,"delta_pp":3.5,"ci95":[0.81,6.47],"p":0.0241}

r449b

{"gate":70.83,"vote":62.5,"b":15,"c":5,"delta_pp":8.33,"ci95":[0.3,13.78],"p":0.0414}

r449c（UNRESOLVED）

{"gate":83.07,"vote":78.84,"b":13,"c":5,"delta_pp":4.23,"ci95":[-0.66,7.68],"p":0.0963}

元の記録：runs/g_r446_eq5_mbpp/rows.jsonl（MBPP+ 371 問）、runs/g_r448_eq5_mbpp_seed2/rows.jsonl（MBPP+ 371 問、シード変更）、runs/g_r449_eq5_lcb2/rows.jsonl（LCB v2 難問 120 問）、runs/g_r449c_eq5_lcb3/rows.jsonl（LCB v3 189 問、UNRESOLVED と判定）

再計算の方法：ops/gain/analyze_eq5.py（API 呼び出しゼロ、rows.jsonl を読むだけ。自身が出力する prereg ブロックは仲裁者**ではない**。R449B §三 の末尾を参照）

ラウンド gain-2026-08-30　·　測定（EQ5 等予算アーム、4 本の run）　·　判定値：held

ゲート（CONFORM）は納品正解率で、同じ問題を 5 回走らせて多数決をとる方式（OFF5）に勝てます

根拠となる数値

LCB v2

{"delta_pp":6.67,"p":0.15}

LCB v3

{"delta_pp":1.59,"ci95":[-3.17,6.35],"p":0.6636}

MBPP+ クリーンな再現（新規 192 問）

{"delta_pp":4.69,"ci95":[-1.11,9.42]}

MDE@371

4.31

80%_power に必要な対応ペア数

491

問題バンクの上限

378

元の記録：runs/g_r447_conform_lcb2/rows.jsonl（LCB v2 120 問）、runs/g_r461_off_gate_lcb3/rows.jsonl と runs/g_r461_lcb3_three_arm/rows.jsonl（LCB v3 189 問）；MBPP+ 側 runs/g_r445_conform_mbpp_ext/rows.jsonl

再計算の方法：ops/gain/replay/paired_ci.py、ops/gain/replay/off5_k_curve.py

ラウンド gain-2026-08-30　·　測定（独立サンプリング、LCB の run 2 本）　·　判定値：unresolved

可視フィルタは無損失です——「非公開テストなら通るが、可視の受け入れでは落ちる」候補は一つも現れませんでした

根拠となる数値

MBPP+ 合計

0／1630

LCB v1 リプレイ

0／455

LCB v2 実走行

0／120

LCB v3 実走行

0／189

重複（独立サンプルではない）

LCB v1 リプレイと LCB v2 実走行は 91 問を共有

フィールド：rows.jsonl の visible_pass と hidden_pass；違反＝hidden_pass ∧ ¬visible_pass

元の記録：runs/g_r441_gemma_only_mbpp_b/rows.jsonl（0／895）、runs/g_r356_3arm_20260830/rows.jsonl（0／735）、runs/g_r443_gemma_lcb/rows.jsonl（LCB v1 リプレイ 0／455）、runs/g_r447_conform_lcb2/rows.jsonl（LCB v2 実走行 0／120）、runs/g_r461_off_gate_lcb3/rows.jsonl（LCB v3 実走行 0／189）

再計算の方法：ops/gain/replay/rows_visible_audit.py、ops/gain/replay/verify_hidden.py、ops/gain/replay/check_lcb_visible_subset.py

ラウンド gain-2026-08-30　·　測定（6 つのデータセット）　·　判定値：held

5 倍予算の self-consistency（OFF5 対 OFF）は、難問でしか成果を買えません

根拠となる数値

MBPP+

{"delta_pp":0.81,"ci95":[-2.78,4.28],"セル":"RULED_OUT"}

LCB v2

{"delta_pp":12.5,"b":22,"c":7,"p":0.0081}

LCB v3

{"delta_pp":6.35,"b":22,"c":10,"p":0.0501}

対照（予算を足すより使い方を変えるほうが有効）

+19.2pp @1.71 回 vs +12.5pp @5 回

r461 は難問の再現に数えない

lcb3 の OFF 失敗率 27.5% は、すでに MBPP+ の水準 31.8% に戻っている

元の記録：runs/g_r441_gemma_only_mbpp_b/rows.jsonl と runs/g_r356_3arm_20260830/rows.jsonl（MBPP+）、runs/g_r447_conform_lcb2/rows.jsonl（LCB v2 120 問）、runs/g_r461_lcb3_three_arm/rows.jsonl（LCB v3 189 問）

再計算の方法：ops/gain/replay/off5_k_curve.py、ops/gain/replay/paired_ci.py

ラウンド gain-2026-08-30　·　測定（OFF5 vs OFF、問題バンク間の対照）　·　判定値：held

多数の閾値以下（腐敗した実行器の数 ≤ ⌊(k−1)/2⌋）では、相互に実行し相互に審査しない方式の納品は腐敗なしのベースラインとビット単位で同一で、嘘をついた者は指名され、誠実な参加者は誤って告発されません

根拠となる数値

シミュレーション 閾値以下

{"腐敗なしのベースラインとビット単位で同一":"100 セル","嘘をついた者が指名された":1,"誠実な参加者が誤って告発された":0,"腐敗 1 個 k=1":"−7.8pp、検知 0","腐敗 1 個 k=3":"検知 1.000"}

実走行 R453（k=2）

{"マシン間で可視ラベルが一致":"1840／1840","出荷 sha":"340／340","納品拒否":"26／26","誠実な実行器が指名された":0,"各マシンのチェーン検証が真":"2／2","spec/render sha がマシン間で同一":"368／368"}

実走行 R454（k=3、1 本の鍵が嘘をつく）

{"嘘のセルの dissenters がちょうど {K3}":"273／273","誠実な鍵が指名欄に現れた回数":"0（分母 1840）","自己矛盾のあるセルでも判定は正しい":"58／58","3 本のチェーン検証が真":"3／3（チェーン長 1840／1840／1899）","証言 1 件ごとの署名検証の失敗":"0（計 5519 件）"}

元の記録：【シミュレーション】ops/gain/replay/peer_exec_sweep.json（200 セル：r446 371 問×5 候補、r443 91 問×5、k∈{1,3,5,7}、腐敗率 0–70%、5 種類の攻撃）、ops/gain/replay/peer_exec_flake.json（揺らぎ×腐敗）；【実走行】ops/gain/replay/r453/r453_result.json と r453_independent_audit.json（k=2、Mac＋vacant-dev）、ops/gain/replay/r454/r454_result.json と r454_naming_table.tsv（k=3、1 本の鍵が嘘をつく）

再計算の方法：ops/gain/replay/peer_exec_sim.py（シミュレーション）、ops/gain/replay/peer_exec_real.py（実走行）、ops/gain/replay/receipt_chain_audit.py（チェーン検証）；コードは vacant/peerexec.py

ラウンド peerexec-2026-09-05　·　シミュレーションのスイープ＋実走行（どちらがどちらかは「限界」を参照）　·　判定値：held

相互に実行し相互に審査しない方式は「受け入れスイート自体の腐敗」にまったく防御がありません——これは仕組みの不動点であり、R451→R452 でそれを一つの残余にまで縮めましたが、消し去ってはいません

根拠となる数値

trivial スイート

{"納品率":"−6.47pp／−18.68pp","偽の納品":"31%／49%","4 つの k の係争率":"すべて 0.0%"}

R451 ゲージを commit に結び付ける

trivial スイートは 371／371 が commit の時点で拒否された（サンドボックスを一度も使わずに）

R451 stateful 変種

{"納品率":"−75.20pp","納品":"0.00%","gauge_status":"ok（ゲージは部分解として無効）"}

R452 スイートをデータに変える

{"exec の密輸がチェーンに載る":"368／371 → 0／371","巨大な十六進整数がゲートを通過":"11／11 → 0／11","無損失":"1840（MBPP+）＋455（LCB）個の候補がセルごとに同一、不一致 0"}

残余（常に 2 つの数字を併記する。分母はチェーンに載った 366／371 問）

{"実現可能な generic_gauged":"17.93% → 20.65%＝+2.72pp","後知恵の上限 weak_oracle":"+4.35pp"}

元の記録：ops/gain/replay/peer_exec_trivial_suite.json（「読み込めれば合格」のスイート）、ops/gain/replay/r451_stateful_gate.json（ゲージが両方向とも満点の stateful 変種）、ops/gain/replay/peer_exec_suitespec_gate.json と r452b_smuggle_gate.json（exec の密輸）、ops/gain/replay/r452c_generic_gate.json と r452c_channel_hunt.json（残余：generic_gauged／weak_oracle）、ops/gain/replay/r453/r453_gauge.json

再計算の方法：ops/gain/replay/r452_suitespec.py、ops/gain/replay/r452c_generic_gate.py、ops/gain/replay/r452b_smuggle_gate.py；コードは vacant/suitegauge.py

ラウンド peerexec-2026-09-05　·　限界の主張（held＝この「買えない」こと自体が測定された）　·　判定値：held

指名には数学的な上限があります：多数決が許容できる腐敗した実行器は最大 ⌊(k−1)/2⌋ 個で、過半数を超えると反転します

根拠となる数値

許容上限

⌊(k−1)/2⌋

過半数を超えた後の誤告発率

0.175／0.374（2 回のスイープ：r446 371 問×5、r443 91 問×5）

腐敗率を固定したときの k=1..7 の納品率

一字も変わらない（共謀 67.39%、破壊 0%）

k=3／quorum=2 で 1 票欠ける

1-1 の同数 ⇒ 未決、指名しない

元の記録：ops/gain/replay/peer_exec_sweep.json（付随する測定：腐敗率を固定すると、k を 1 から 7 にしても納品率は一字も変わらない）、ops/gain/replay/r454/r454_naming_table.tsv（実走行の指名欄）

ラウンド peerexec-2026-09-05　·　限界の主張（仕組みの数学的な上限であり、測定結果ではない）　·　判定値：held

5 回の呼び出しを「顧客の受け入れテストを実行し、失敗の原文を貼り戻し、同じ worker に直させる」（H-MIX）に使うと、再サンプリング（CONFORM）に使うより多く納品し、しかも token は余分にかかりません

根拠となる数値

R460

{"OFF":{"deliv":58.33,"false_delivery_n":50,"tokens_per_task":2913},"CONFORM":{"deliv":70.83,"false_delivery_n":29,"tokens_per_task":5805},"OFF5":{"deliv":65,"false_delivery_n":42,"tokens_per_task":15004},"HPI":{"deliv":75.83,"false_delivery_n":17,"tokens_per_task":9448},"HOC":{"deliv":80,"false_delivery_n":18,"tokens_per_task":7432},"HMIX":{"deliv":84.17,"false_delivery_n":14,"tokens_per_task":5677},"HMIX_vs_CONFORM":{"b":22,"c":6,"delta_pp":13.33,"ci95":[4.22,19.46],"p":0.0037,"holm_p_adj":0.0112,"verdict":"EFFECTIVE"},"HMIX_vs_OFF":{"b":34,"c":3,"delta_pp":25.83,"ci95":[17.32,29.78]}}

R460R_HMIX_vs_CONFORM_by_rep

[{"rep":1,"num":93,"den":120,"conform_num":86,"delta_pp":5.83,"b":15,"c":8,"ci95":[-2.79,12.89],"holm_p_adj":0.63,"four_state":"INCONCLUSIVE"},{"rep":2,"num":92,"den":120,"conform_num":87,"delta_pp":4.17,"b":17,"c":12,"ci95":[-5.35,12.8],"holm_p_adj":0.917,"four_state":"INCONCLUSIVE"},{"rep":3,"num":91,"den":120,"conform_num":90,"delta_pp":0.83,"b":12,"c":11,"ci95":[-7.44,8.89],"holm_p_adj":1,"four_state":"RULED_OUT","ci95_upper":8.89,"四状態の意味":"RULED_OUT ＝ ≥+10pp を排除したという意味であり、あらゆる効果を排除したのではない"},{"rep":4,"num":88,"den":120,"conform_num":85,"delta_pp":2.5,"b":13,"c":10,"ci95":[-5.94,10.28],"holm_p_adj":0.678,"four_state":"INCONCLUSIVE","注":"上限 10.28 は RULED_OUT まであと 0.28pp ⇒ 四状態の集計は区間の算出方法に極めて敏感"},{"rep":5,"num":87,"den":116,"conform_num":82,"delta_pp":4.31,"b":14,"c":9,"ci95":[-4.54,12.01],"holm_p_adj":0.922,"four_state":"INCONCLUSIVE","分母":"complete-case 116（infra_void の 7 行は無効）","無効分を含めた最悪境界":[0.83,7.5]}]

R460R_rep5_per_arm_den

{"OFF":119,"CONFORM":117,"OFF5":118,"HPI":120,"HOC":120,"HMIX":119}

R460R_rep5_infra_void

{"n":7,"by_arm":{"OFF":1,"CONFORM":3,"OFF5":2,"HMIX":1},"発生源":"2026-09-13 01:44Z にバックエンドのモデルがクラッシュした後の JIT 再読み込み（TTL 1h、毎時 :07 にアンロード）；notes.jsonl に 1 件ずつ HTTP 400 Failed to load model gemma-4-12b-it-qat（5）／HTTP 500（2）と記録"}

R460R_reps_run

5

R460R_reps_prereg

5

R460R_statement_rule

5/5 同符号は成立、≥4/5 Holm 有意は不成立（0/5）⇒ 1 回ずつありのままに列挙する。「再現は安定」「多数が支持」と書いてはならず、「再現失敗」「効果消失」「同等」とも書いてはならない

R460R_holm_significant_n

0

R460R_ci_all_intersect_R460

5 つの未調整区間はすべて R460 の [4.22, 19.46] と交わる

R460R_ci_uppers

[12.89,12.8,8.89,10.28,12.01]

R460R_ci_uppers_all_below_13.33

true

R460R_power_expectation

n=120 で +10pp に対する検出力は 0.43–0.63 ⇒ 5 回中 2–3 回の通過が期待される。真値が +10pp なら、0/5 となる確率は約 0.007–0.06（下側の裾）

R460R_co_tenancy_pct

[8.5,71.3,2.1,0,0]

R529_HMIX_vs_CONFORM_by_set

[{"set":"lcb3_medium","num":126,"den":135,"conform_num":125,"delta_pp":0.74,"b":6,"c":5},{"set":"lcb3_hard","num":43,"den":54,"conform_num":41,"delta_pp":3.7,"b":5,"c":3},{"set":"humanevalplus","num":148,"den":156,"conform_num":147,"delta_pp":0.64,"b":5,"c":4},{"set":"mbppplus","num":299,"den":371,"conform_num":295,"delta_pp":1.08,"b":15,"c":11}]

R529_HMIX_vs_CONFORM_pooled

{"num":616,"den":716,"conform_num":608,"delta_pp":1.12,"b":31,"c":23,"holm_p_adj":0.341}

R529_four_state

INCONCLUSIVE

方向

9/9 同符号（5 回の再現＋4 セット）、大きさは未確立

元の記録：runs/g_r460_harness_lcb2_{a1,a2,a3,b1,b2,b3}/rows.jsonl と calls.jsonl（6 ブロック各 20 問、合計 120 問）；runs/g_r460r{1,2,3,4,5}_harness_lcb2_{a1,a2,a3,b1,b2,b3}/rows.jsonl（5 回の再現、各 120 問；r5 は 713 行、infra_void の 7 行は notes.jsonl に記録）；runs/g_r529_{lcb3m_a1..a7,lcb3h_a1..a3,hep_a1..a8,mbpp_a1..a19}/rows.jsonl（4 セット、716 問）

再計算の方法：ops/gain/analyze_r460.py --run <6 ブロック> --bank lcb2 --rescore-turn1（API ゼロ、サンドボックスのみ実行）；ops/gain/analyze_r460r.py --reps 1 2 3 4 5 --bank lcb2；書き出し先 ops/gain/replay/r460/r460_analyze.json、**ops/gain/replay/r460r/r460r_analyze_5reps.json**（`_norescore.json` の仲裁ブロックとビット単位で同一）、ops/gain/replay/r529/r529_analyze.json。この主張の R460R の数字は rows.jsonl から独立に再計算したもので（accepted∧meets_demand）、analyzer とセルごとに一致しています。

ラウンド harness-2026-09-08　·　測定（R460 の 6 アーム LCB v2 120 問 ＋ R460R の**5 回**の同一問題での再現 ＋ R529 の問題バンク横断 4 セット）　·　判定値：unresolved

5 回の呼び出しをフィードバックループ（H-MIX／H-PI／H-OC）に使うと、1 回だけ生成してそのまま受け取る方式（OFF）より多く納品します——この主張は問題バンクをまたいでも、再現をまたいでも成り立ちます

根拠となる数値

R460R_vs_OFF_by_rep

{"HMIX":[{"rep":1,"num":93,"off_num":69,"den":120,"delta_pp":20,"b":29,"c":5},{"rep":2,"num":92,"off_num":65,"den":120,"delta_pp":22.5,"b":34,"c":7},{"rep":3,"num":91,"off_num":69,"den":120,"delta_pp":18.33,"b":28,"c":6},{"rep":4,"num":88,"off_num":62,"den":120,"delta_pp":21.67,"b":33,"c":7},{"rep":5,"num":88,"off_num":61,"den":118,"delta_pp":22.88,"b":34,"c":7,"分母":"complete-case 118"}],"HPI":[{"rep":1,"delta_pp":19.17,"b":26,"c":3,"den":120},{"rep":2,"delta_pp":25,"b":35,"c":5,"den":120},{"rep":3,"delta_pp":18.33,"b":29,"c":7,"den":120},{"rep":4,"delta_pp":29.17,"b":39,"c":4,"den":120},{"rep":5,"delta_pp":19.33,"b":31,"c":8,"den":119}],"HOC":[{"rep":1,"delta_pp":19.17,"b":28,"c":5,"den":120},{"rep":2,"delta_pp":19.17,"b":30,"c":7,"den":120},{"rep":3,"delta_pp":17.5,"b":28,"c":7,"den":120},{"rep":4,"delta_pp":26.67,"b":38,"c":6,"den":120},{"rep":5,"delta_pp":24.37,"b":31,"c":2,"den":119}],"holm":"15 セルすべて有意（各再現内の 6 つの検定を一つの家族とする）"}

R529_HMIX_vs_OFF_by_set

[{"set":"lcb3_medium","num":126,"off_num":115,"den":135,"delta_pp":8.15,"b":17,"c":6},{"set":"lcb3_hard","num":43,"off_num":38,"den":54,"delta_pp":9.26,"b":7,"c":2},{"set":"humanevalplus","num":148,"off_num":129,"den":156,"delta_pp":12.18,"b":24,"c":5},{"set":"mbppplus","num":299,"off_num":277,"den":371,"delta_pp":5.93,"b":31,"c":9}]

R529_HMIX_vs_OFF_pooled

{"num":616,"off_num":559,"den":716,"delta_pp":7.96,"b":79,"c":22,"holm_p_adj":2.02e-8}

真の出所の数

3

分母についての注意

HumanEval+ は 156/164（8 問はサンドボックスのエンベロープの都合で除外）；R460R r5 の 3 つの対照の分母はそれぞれ異なり（118／119／119、infra_void 7 行）、一律に 120 で埋め戻してはならない

バックエンド負荷の不均質

5 回分と R529 のバックエンド共用率は 8.5／71.3／2.1／0／0%。この主張の効果量は共用では説明できないほど大きい（規模の上限 ≤1.7pp／アーム）が、それでも明記しなければならない

元の記録：runs/g_r460r{1,2,3,4,5}_harness_lcb2_*/rows.jsonl（5 回 × 120 問；r5 は 713 行）；runs/g_r529_*/rows.jsonl（4 セット 716 問）

再計算の方法：ops/gain/replay/r529/r529_analyze.json；ops/gain/replay/r460r/r460r_analyze_5reps.json；R460R の 5 回分は rows.jsonl から独立に再計算（r5 は complete-case の分母を使用）

ラウンド harness-2026-09-08　·　測定（**5 回**の同一問題での再現 × harness アーム 3 本 ＋ 互いに重ならない問題セット 4 つ）　·　判定値：held

利得の本体は「実行可能な受け入れゲート＋再サンプリング」であり、フィードバックループはその上に重なる小さな上乗せにすぎません

根拠となる数値

R460R_CONFORM_vs_OFF_by_rep

[{"rep":1,"conform_num":86,"off_num":69,"den":120,"delta_pp":14.17,"b":22,"c":5,"p_uncorrected":0.0015},{"rep":2,"conform_num":87,"off_num":65,"den":120,"delta_pp":18.33,"b":28,"c":6,"p_uncorrected":0.0002},{"rep":3,"conform_num":90,"off_num":69,"den":120,"delta_pp":17.5,"b":26,"c":5,"p_uncorrected":0.00019},{"rep":4,"conform_num":85,"off_num":62,"den":120,"delta_pp":19.17,"b":30,"c":7,"p_uncorrected":0.00019},{"rep":5,"conform_num":82,"off_num":60,"den":116,"delta_pp":18.97,"b":28,"c":6,"p_uncorrected":0.0002,"分母":"complete-case 116（infra_void の 7 行は無効）"}]

R529_CONFORM_vs_OFF_by_set

[{"set":"lcb3_medium","conform_num":125,"off_num":115,"den":135,"delta_pp":7.41,"b":14,"c":4,"p_uncorrected":0.031},{"set":"lcb3_hard","conform_num":41,"off_num":38,"den":54,"delta_pp":5.56,"b":3,"c":0,"p_uncorrected":0.25},{"set":"humanevalplus","conform_num":147,"off_num":129,"den":156,"delta_pp":11.54,"b":21,"c":3,"p_uncorrected":0.00028},{"set":"mbppplus","conform_num":295,"off_num":277,"den":371,"delta_pp":4.85,"b":26,"c":8,"p_uncorrected":0.0029}]

R529_CONFORM_vs_OFF_pooled

{"conform_num":608,"off_num":559,"den":716,"delta_pp":6.84,"b":64,"c":15,"p_uncorrected":2.3e-8}

ループがさらに上乗せする量

{"R460R":[5.83,4.17,0.83,2.5,4.31],"R529":[0.74,3.7,0.64,1.08]}

p はすべて補正前

5 回分の CONFORM−OFF の p_raw はすべて < 0.002 だが、CONFORM−OFF はどの事前登録の Holm 家族にも入っていない ⇒「ゲートの効果は有意だ」と読んではならない

事後に追加した 4 セットの Holm（記述としてのみ）

{"humanevalplus":0.0011,"mbppplus":0.0088,"lcb3_medium":0.062,"lcb3_hard":0.25}

因果ではない

CONFORM と H-MIX は別々に走らせた 2 本のアームであり、2 段階ではない。「ゲート +14pp、ループ +6pp」は引き算で得た叙述であって、分離された成分ではない

元の記録：runs/g_r460r{1,2,3,4,5}_harness_lcb2_*/rows.jsonl；runs/g_r529_*/rows.jsonl

再計算の方法：分子と分母は rows.jsonl から独立に再計算（納品の判定基準＝accepted ∧ meets_demand）；ops/gain/replay/r460r/r460r_analyze_5reps.json

ラウンド harness-2026-09-08　·　帰属（**監査上の判断**であり、事前登録の主要指標ではない。CONFORM−OFF は家族外の探索的な量）　·　判定値：held

同じ 5 回の呼び出しで、5 件の投票による多数決（OFF5）は「受け入れテストを実行し、最初に合格したものを納品する」（CONFORM）に**負け**、しかもコストは 2 倍以上かかります

根拠となる数値

OFF5_vs_CONFORM_by_rep

[{"rep":1,"off5_num":73,"conform_num":86,"den":120,"delta_pp":-10.83,"b":7,"c":20,"p_uncorrected":0.019},{"rep":2,"off5_num":74,"conform_num":87,"den":120,"delta_pp":-10.83,"b":9,"c":22,"p_uncorrected":0.029},{"rep":3,"off5_num":71,"conform_num":90,"den":120,"delta_pp":-15.83,"b":4,"c":23,"p_uncorrected":0.00031},{"rep":4,"off5_num":80,"conform_num":85,"den":120,"delta_pp":-4.17,"b":12,"c":17,"p_uncorrected":0.458,"バックエンド共用":"ゼロ（1004 が 3 ストリームを専有）"},{"rep":5,"off5_num":80,"conform_num":82,"den":115,"delta_pp":-1.74,"b":11,"c":13,"p_uncorrected":0.839,"分母":"complete-case 115","バックエンド共用":"ゼロ（1004 が 3 ストリームを専有）"}]

同符号 5/5

true

補正前 p < 0.05 の回数

3

クリーンな 2 回は有意ではない

バックエンド共用ゼロの r4／r5 が、ちょうど −4.17／−1.74 の 2 回にあたる。同時期に OFF は 51.67／51.26% に下がり、OFF5 は 66.67／68.64% に上がり、CONFORM はほとんど動いていない（70.83／70.94%）⇒ 回ごとの差には、サンプリングによらない部分がある

ただし共用ではこの形を説明できない

OFF5 ＝ OFF 5 件の多数決。OFF が悪くなると同時に OFF5 は 7–9pp 良くなっており、向きが逆 ⇒「クリーンな 2 回は有意ではない」は今のところ記述としてしか使えず、「共用のせいで最初の 3 回が大げさに見えた」と言うのは、まだ証拠のない因果の話

tokens_per_task

{"OFF5":[15565,14877,14954,15226,14163],"CONFORM":[6497,6880,5246,5770,6416],"ratio":[2.4,2.16,2.85,2.64,2.21]}

calls_per_task

{"OFF5":[5.04,5.03,5.03,5.03,5.12],"CONFORM":[1.78,1.71,1.53,1.69,1.79]}

OFF5_vs_OFF_by_rep

[{"rep":1,"delta_pp":3.33,"p_uncorrected":0.58},{"rep":2,"delta_pp":7.5,"p_uncorrected":0.16},{"rep":3,"delta_pp":1.67,"p_uncorrected":0.85},{"rep":4,"delta_pp":15,"p_uncorrected":0.0021},{"rep":5,"delta_pp":16.24,"p_uncorrected":0.00088}]

集計基準の違い

Fable の要約は token 2.4–2.9 倍と書いている。今回 calls.jsonl から再計算すると rep2 は 2.16 倍（analyzer は wire_probe を含み、rows の harness_tokens_total は含まない）。r5 の 2.21 は無効な問題の呼び出しを除いた値で、無効な問題の 47,102 token を含めると（tpc_incl_void）2.25——2 つの数字を混用してはならない

元の記録：runs/g_r460r{1,2,3,4,5}_harness_lcb2_*/rows.jsonl と calls.jsonl

再計算の方法：納品は rows.jsonl から再計算。token／呼び出しは calls.jsonl の usage を 1 回ずつ合計（preflight は別計上で含めない。r5 は無効な問題の呼び出しを除外）

ラウンド harness-2026-09-08　·　測定（**探索的な量**：OFF5 − CONFORM はどの事前登録の Holm 家族にも入っていない）　·　判定値：unresolved

pi 式の素のフィードバックループ（H-PI）と、計画＋診断＋自己テスト（H-OC）も、再サンプリングに勝ちます

根拠となる数値

R460

{"HPI_vs_CONFORM":{"delta_pp":5,"ci95":[-4.4,13.3],"holm_p_adj":0.345},"HOC_vs_CONFORM":{"delta_pp":9.17,"ci95":[-1,17.62],"holm_p_adj":0.16}}

R460R_vs_CONFORM_by_rep

{"HPI":[{"rep":1,"num":92,"conform_num":86,"den":120,"delta_pp":5,"b":16,"c":10,"holm_p_adj":0.654},{"rep":2,"num":95,"conform_num":87,"den":120,"delta_pp":6.67,"b":19,"c":11,"holm_p_adj":0.602},{"rep":3,"num":91,"conform_num":90,"den":120,"delta_pp":0.83,"b":16,"c":15,"holm_p_adj":1},{"rep":4,"num":97,"conform_num":85,"den":120,"delta_pp":10,"b":20,"c":8,"holm_p_adj":0.107,"ci95":[0.62,17.16],"注":"5 回・30 セルのうち、未調整の下限が > 0 となった唯一のセル。Holm 補正後は有意ではなく、しかも H-PI はアブレーションのアームである ⇒ 主張の根拠に代えてはならない"},{"rep":5,"num":83,"conform_num":83,"den":117,"delta_pp":0,"b":14,"c":14,"holm_p_adj":1,"ci95":[-9.26,9.26],"four_state":"RULED_OUT","分母":"complete-case 117","無効分を含めた最悪境界":[-2.5,2.5],"注":"最悪境界では符号が変わる ⇒ RULED_OUT は規則どおり残すが、感度も必ず併記する"}],"HOC":[{"rep":1,"num":92,"conform_num":86,"den":120,"delta_pp":5,"b":16,"c":10,"holm_p_adj":0.654},{"rep":2,"num":88,"conform_num":87,"den":120,"delta_pp":0.83,"b":13,"c":12,"holm_p_adj":1},{"rep":3,"num":90,"conform_num":90,"den":120,"delta_pp":0,"b":12,"c":12,"holm_p_adj":1},{"rep":4,"num":94,"conform_num":85,"den":120,"delta_pp":7.5,"b":17,"c":8,"holm_p_adj":0.216},{"rep":5,"num":89,"conform_num":83,"den":117,"delta_pp":5.13,"b":15,"c":9,"holm_p_adj":0.922,"分母":"complete-case 117"}]}

10 回すべて Holm を通過せず

true

rep3_HOC と rep5_HPI はちょうど同数

12/12 と 14/14 で、向きは負に反転していない。「効果がないと確かめられた」と読むことは許されない

単発に対しては 5 回とも有意

{"HPI":[19.17,25,18.33,29.17,19.33],"HOC":[19.17,19.17,17.5,26.67,24.37]}

元の記録：runs/g_r460_harness_lcb2_*/rows.jsonl；runs/g_r460r{1,2,3,4,5}_harness_lcb2_*/rows.jsonl

再計算の方法：ops/gain/replay/r460/r460_analyze.json · decision.HPI / decision.HOC；ops/gain/replay/r460r/r460r_analyze_5reps.json；R460R の 5 回分は rows.jsonl から独立に再計算（r5 は complete-case の分母 117 を使用）

ラウンド harness-2026-09-08　·　測定（R460 の残り 2 本の harness アーム ＋ R460R の**5 回**の同一問題での再現）　·　判定値：unresolved

H-MIX の利得はほぼすべて「失敗の原文を貼り戻して直させる」ループから来ており、第 1 ラウンドの prompt の言い回しからではありません

根拠となる数値

HMIX

{"loop_effect_pp_replays":[19.17,17.5],"prompt_effect_pp_replays":[6.67,8.33],"loop_gain_n":21,"turn1_visible_pass_pp":74.2}

元の記録：runs/g_r460_harness_lcb2_*/calls.jsonl（turn-1 の全文応答）＋ rows.jsonl

再計算の方法：ops/gain/analyze_r460.py --rescore-turn1；ops/gain/replay/r460/r460_analyze.json · attribution.*

ラウンド harness-2026-09-08　·　帰属（D5：turn-1 のコードをオフラインで取り直して再採点、モデル呼び出しゼロ）　·　判定値：held

DABstep の有料本番バッチでは、ゼロ設定の Vacant を導入したエージェントの正解率が、導入していないものより高いとは測れませんでした：gemma-4-26b 50/77 対 44/77（p=0.21）、qwen3.8-27b 68/77 対 64/77（p=0.29）。

根拠となる数値

gemma 未導入

50 / 77 問正解（64.9%）

gemma 導入済み

44 / 77 問正解（57.1%）

gemma p

McNemar 正確両側 p=0.21

qwen 未導入

68 / 77 問正解（88.3%）

qwen 導入済み

64 / 77 問正解（83.1%）

qwen p

p=0.29

分母

重複のない DABstep 77 問、各問題・各群 1 回実行

元の記録：Vacant repo：docs/ZERO_CONFIG_EVAL_REPORT_2026-09-26.md:150-153

再計算の方法：その repo の ops/eval/evidence_20260925/ の索引を読む。元のリクエストとレスポンスの本文もすべてそこにあります

ラウンド zero-2026-09-25　·　実験結果　·　判定値：no_effect

ゼロ設定が DABstep 有料バッチで引き起こした 8 回の差し戻しは、修正後にはすべて起きなくなります——158 回の実行で一度も差し戻されず、つまり修正後は C が A と同じになり、助けも害もしません。

根拠となる数値

差し戻し回数

8 回（分母は 158 回の実行：gemma 79＋qwen 79）

実際の誤報率

gemma 6/37（16%）、qwen 1/64（2%）。分母は、初めて提出前チェックに到達し、その時点で答えが正しかった実行の数

害

0 回（正しい答えを誤りに変えたことは一度もない）

元の記録：Vacant repo：docs/ZERO_CONFIG_EVAL_REPORT_2026-09-26.md:157、219-220

ラウンド zero-2026-09-25　·　仕組みの欠陥　·　判定値：refuted

ゼロ設定 v3 のローカル 711 セルのバッチで、未導入に対する事前登録の主要検定は p=0.0207 でしたが、著者自身が有意性は薄いと明記しています：6 問をすべて除くと平均差 0.009、p=0.80。2 回の実行の結果が反転すれば p は 0.05 を超えます。

根拠となる数値

主要検定

Wilcoxon 正確 p=0.0207（報告値 0.021）

平均差

+0.074（約 +7.4 pp）、bootstrap 95% CI 0.017–0.139

方向

15 問で良化、7 問で悪化、55 問で同じ；符号検定 p=0.13

感度

大きな差のある 6 問のうち任意の 2 問を除く ⇒ p≥0.05；6 問をすべて除く ⇒ 平均差 0.009、p=0.80

分母

77 問 × 3 回（当初の設計の 711 セル＝79 問 × 3 群 × 3 回）

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20260926_ZERO_CONFIG_V3_LOCAL.md:10-15、38-39

再計算の方法：その repo の分析スクリプト。ゲージ自体も修正済み（浮動小数点の同点の誤判定、0.0189 を 0.0207 に修正）

ラウンド zero-2026-09-26　·　実験結果　·　判定値：overstated

v3-3 という仕組みは、ローカルで提出前チェックに到達した 150 回の中で一度も発動せず、観察可能な寄与はありません。

根拠となる数値

分母

C2 で提出前チェックに到達した全 150 回

発動回数

0 回

原因

第 14 ターン以降に提出前チェックが起きたことがない

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20260926_ZERO_CONFIG_V3_LOCAL.md:55

ラウンド zero-2026-09-26　·　仕組みの欠陥　·　判定値：refuted

Colab の 5 つのプログラミング問題バンク 920 問で、v3.6.1 を導入したエージェントの正解率が導入していないものより高いとは測れませんでした：748/920（81.3%）対 758/920（82.4%）、p=0.387。

根拠となる数値

未導入

748 / 920（81.3%）

導入済み

758 / 920（82.4%）

p

McNemar 正確両側 p=0.387

分母

920 問 × 2 群＝1,840 セル、3 問を名指しで除外

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20260928_COLAB_C5_PI_VACANT361.md:8、37-39

ラウンド zero-2026-09-27　·　実験結果　·　判定値：no_effect

v3.6.1 のプログラミング問題での差し戻しの 96% は誤った差し戻しでした：472 回の差し戻しのうち 455 回は、pytest と python -m unittest しか認めず、エージェントが実際に実行した sh run_tests.sh を認めなかったためです。

根拠となる数値

差し戻し回数

472 回（分母は回数であり、実行数ではない）

誤った差し戻し

test_claim/none 455 回

その他

failed_step 21、unsourced 1、missing_output 0 回

分母（もう一つ）

C 群の 920 セルのうち 858 セルが提出前チェックに到達し、309 セルが差し戻された

代償

誤った差し戻しによる目に見える害はないが、モデル呼び出しが約 12% 増える

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20260928_COLAB_C5_PI_VACANT361.md:57、61-64

ラウンド zero-2026-09-27　·　仕組みの欠陥　·　判定値：refuted

274 問をシード順に並べた最初の 100 問（すべて hard、未使用）で、未導入は 9/100 正解、v3.6.1 導入済みは 10/100 正解、McNemar 正確両側 p=1.0 で、差は測れませんでした。

根拠となる数値

未導入

9 / 100 問正解

導入済み

10 / 100 問正解

対応

A正∩C正=6、A正∩C誤=3、A誤∩C正=4、A誤∩C誤=87

p

McNemar 正確両側 p=1.0

時間制限

200 回の実行のうち 116 回が 1800 秒の時間制限に達した

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20260928_NOCAP_UNSEEN_U274.md:13-15、19-22

再計算の方法：その repo の記録では、三者による独立の再計算が一致

ラウンド zero-2026-09-28　·　実験結果　·　判定値：no_effect

u274 バッチでは欠落ファイルの差し戻しが 31 回の実行（計 37 回）で発動し、この 31 回の実行は最終的に一つも正解しませんでした——17 回は誤り、14 回は依然として未提出。C が余分に提出した答えファイルはすべて誤りで、時間制限にも 18 回多くぶつかりました。

根拠となる数値

差し戻された実行

31 回の実行（計 37 回；6 回の実行は 2 度差し戻し）

その後の結果

正解 0、誤り 17、依然としてファイルなし 14

発動の原因

15 回の実行は、エージェントが完了と言ったのにファイルがなかった；16 回の実行は、モデル側のエラーでターンが終わり呼び戻された（15 回は failed to decode、1 回は Stream ended without finish_reason）

時間制限

1800 秒の時間制限に A は 49 回、C は 67 回達した（C が 18 回多い）

害

0 回

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20260928_NOCAP_UNSEEN_U274.md:37-42

ラウンド zero-2026-09-28　·　仕組みの欠陥　·　判定値：refuted

v3.7 は 3 つの欠陥を修正しました：任意のテストスクリプトを認める（pytest だけでなく）、利用者がエージェントに従わせる説明ファイルからも納品物を認める、モデルのエラーで終わったターンは一律に差し戻さない。Colab 920 問バッチでは、初回で差し戻された実行の数が 309 から 29 に減りました。

根拠となる数値

Colab（チェックのあった 858 回の実行）

v3.6.1 で初回に差し戻されたのは 309 回の実行 → v3.7 では 29 回

u274（51 回の実行）

36 回 → 20 回

S36-nocap（65 回の実行）

12 回 → 12 回（変化なし）

R530 SOLO（59 セル）

35 セル → 32 セル（全問正解の 6 セル → 4 セル）；差し戻しのうち本当に問題があった割合 0.83 → 0.875

敵対的レビュー

20 件すべて再現し、日常の使用で誤った差し戻しを起こすものはすべて修正；回帰テスト 31 件

オフライン忠実度

v3.6.1 の再計算で Colab 1327/1327、u274 81/81、S36-nocap 80/80 回のチェックがすべて一致

元の記録：Vacant repo：decisions/DECISION_20260926_ZERO_CONFIG_V3.md:151-178

ラウンド zero-2026-09-28　·　仕組みの修正　·　判定値：held

v3.7 は Colab の DABstep 711 セルのバッチで、未導入より高い値が測定されました：A 97/231（42.0%）、C37 123/231（53.2%）、C37R 139/231（60.2%）。主要検定 C37−A の平均差は +11.3 pp、p=0.0028。

根拠となる数値

A 未導入

97 / 231（42.0%）

C37 導入済み

123 / 231（53.2%）

C37R

139 / 231（60.2%）

C37−A

+11.3 pp（C37 が良かったのは 26 問、A が良かったのは 12 問）、p=0.0028

C37R−A

+18.2 pp（34 対 7）、p=3.1e-5、Holm 6.3e-5

害

0 回

分母

231 セル／群；79 問 × 3 回

答えファイルが正しい割合

A 81.5%、C37 76.4%、C37R 65.9%（提出は増えたが、そのうち正しい割合は下がった）

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20261002_COLAB_DABSTEP_V37.md:9、15-20

ラウンド zero-2026-10-02　·　実験結果　·　判定値：held

vacant-dev での再現（LM Studio GGUF、gemma-4-12b、15 ターン上限）では、同じ v3.7 の主要検定は有意ではありませんでした：C37−A −0.4 pp、p=0.84。Colab の p=0.0028 は再現されませんでした。

根拠となる数値

A 未導入

122 / 231（52.8%）

C37

121 / 231（52.4%）

C37R

146 / 231（63.2%）

C37−A

−0.4 pp（C37 が良かったのは 11 問、A が良かったのは 13 問）、正確 p=0.84

C37R−A

+10.4 pp（21 対 7）、p=0.0051

分母

231 セル／群；79 問 × 3 回

元の記録：Vacant repo（docs/gguf-replication-results ブランチ、2026-10-03 時点で main には未マージ）：decisions/conclusions/CONCLUSION_20261003_VACANTDEV_DABSTEP_V37.md:9-21、28-34

ラウンド zero-2026-10-03　·　実験結果　·　判定値：refuted

タスク指向の 3 問題バンク 94 問、Colab、ターン上限なしの条件で、v3.7 では差が測れませんでした：A 136/188（72.3%）対 C37 141/188（75.0%）、Wilcoxon p=0.36。

根拠となる数値

A

136 / 188（72.3%）

C37

141 / 188（75.0%）

p

Wilcoxon p=0.36

問題バンク別

DABench 85.0%→88.3%、DataBench 80.0%→86.7%、Polyglot Python 54.4%→52.9%

害

0 回

分母

188 セル＝94 問 × 2 回

元の記録：Vacant repo：decisions/conclusions/CONCLUSION_20261002_COLAB_TASK3_V37.md:20-24

ラウンド zero-2026-10-02　·　実験結果　·　判定値：no_effect

v3.6 以降、ターン予算リマインダーは既定でオフになり、必要な人は自分で --budget-reminder を付けます。理由は、リマインダーで正解率は 51.9% から 59.3% に上がったものの、余分に提出された答えは正解より誤りが多かったからです。

根拠となる数値

正解率

A 51.9% → C2 59.3%（ローカル 09-26 本番バッチ、各群 77 問 × 3 回）

答えファイルが正しい割合

約 82% → 65%（同じバッチ；決定文書 §十 の原文、分母の記載なし）

同じ向きがもう一度現れた

Colab 10-02 v3.7 バッチ：A 97／119＝81.5%、C37 123／161＝76.4%、C37R（リマインダーあり）139／211＝65.9%。分母はそのバッチの各群で答えファイルがあったセル数であり、上の行のバッチのものではない

元の記録：Vacant repo：decisions/DECISION_20260926_ZERO_CONFIG_V3.md:139-146；decisions/conclusions/CONCLUSION_20261002_COLAB_DABSTEP_V37.md:43

ラウンド zero-2026-09-27　·　設計上の決定　·　判定値：held

ゼロ設定の 3 つのバッチの否定的結果は、過去に測定された利得と矛盾しません。過去にまったく同じ設定を測ったことがないからです。過去に利得があったのはすべて、Vacant 自身が生成を握る仕組みでした。

根拠となる数値

ゼロ設定の C 群に欠けている部品

実行できるテストがない（DABstep の答えには可視テストがない）、再サンプリングしない、納品拒否しない——3 つの部品がひとつもない

過去に利得があった仕組み

実行可能な受け入れ＋再サンプリング＋納品拒否、すべて Vacant 自身が生成を握る

元の記録：Vacant repo：docs/ZERO_CONFIG_EVAL_REPORT_2026-09-26.md:25、273-276、279-281、384

ラウンド zero-2026-09-26　·　言明の範囲　·　判定値：held

トレースの結論はすべて 2 層に分かれます：事実層（再実行での反転、成功を自称したがコマンドは失敗、禁止事項の違反）だけが評判上の帰結につながり、推論層（「第 k ステップが引き起こした」「悪い入力を読んだ」）はレポートにのみ入ります。

根拠となる数値

層の数

2 層（事実層／推論層）

5 つの等級

provable → record_review(0, weight=1.0) かつ slash しない；lineage_exact → 出所に 1 件カウント；lineage_internal → それを生んだステップまでさかのぼる；heuristic → レポートのみ；gap → 誰にも手を付けない

provable の 3 つの必要条件

再構築された状態で再実行する、ちょうどこのステップで合格から不合格に転じる、誤った値がどの固定された入力にも観測された読み取りにも含まれない

元の記録：Vacant repo：decisions/DECISION_20260924_ACCOUNTABLE_TRACE.md:141-145

ラウンド trace-2026-09-24　·　設計　·　判定値：held

4 つの実エージェントで 8 つの誤り埋め込みシナリオをエンドツーエンドで走らせ、帰属（状態／種別／等級／指したステップ／出所のすべて）が正しかったのは 33/33。同じシナリオを vacant do で走らせると 25/25、実際の対話型 TUI では 16/16 でした。

根拠となる数値

ネイティブフック

33/33（4 エージェント × 8 シナリオ、G は Claude Code のみ 1/1）

vacant do

25/25（D、H は実行せず）

実際の対話型 TUI

16/16（複数ターンの M 4/4 は実際にターン数を使い切った）

フック 1 回あたりの追加時間

p95 6.3–13.3 ms（小さなワークスペース）／6.7–12.6 ms（TUI バッチ）

カルテの署名チェーンが検証を通過

33/33、25/25、16/16

元の記録：Vacant repo：ops/accountability/evidence_20260924/README.md:3-87

ラウンド trace-2026-09-24　·　仕組みの証拠　·　判定値：held

3 つのエンドツーエンド表のいずれでも、エージェントへのフィードバックに行為者の識別情報は現れませんでした：ネイティブ 0/33、vacant do 0/25、TUI 0/16。咎める対象はステップと行為者ですが、そのフィードバックは人にだけ見せます。

根拠となる数値

行為者の識別情報を含むフィードバック

ネイティブ 0/33、vacant do 0/25、TUI 0/16

位置付きのフィードバックがモデルへのリクエストに現れた

vacant do 25/25（TUI バッチ 16/16、OpenCode の対話型 TUI にもある）

元の記録：Vacant repo：ops/accountability/evidence_20260924/README.md:8-87

ラウンド trace-2026-09-24　·　誠実な限界　·　判定値：held

トレース線では 5 つの観点から 47 件の敵対的レビューを行い、46 件が成立、1 件は既存の誠実な限界と判定されたもののやはり引き締めました。また 7 つの誠実な限界を挙げ、そのうち 3 つの文は言うことを明確に禁じています。

根拠となる数値

レビュー

47 件、46 件が成立、1 件は既存の誠実な限界と判定されたが引き締め；うち 6 件は設計を変えた

言ってはならない 3 つの文

「Vacant はすべての誤りを捕まえる」「トレースは必ず正しい」「エージェントは回避できない」

使える言い方

記録のあるステップの中で、このチェックは第 k ステップで合格から不合格に転じ、第 k ステップは X が行った；証拠は再実行できる

同じ層のレビュー

スケールのレビュー 8 件、Web ページ取得指示のレビュー 12 件、ターン数／TUI のレビュー 15 件中 12 件が成立

元の記録：Vacant repo：decisions/DECISION_20260924_ACCOUNTABLE_TRACE.md:180-205

ラウンド trace-2026-09-24　·　レビュー　·　判定値：held

トレースがワークスペース全体を（増分で）スキャンしても、4 コアのローカルマシンでフックの 30 秒上限に収まります：4 万ファイルの初回スキャンは 5.7 秒、以後のフック 1 回あたり p50 557 ms、p95 597 ms、Stop のエンドツーエンドは 1.9 秒。

根拠となる数値

100 ファイル

初回 0.17 s、以後 136/166 ms、Stop 0.17 s

1,000 ファイル

初回 0.29 s、以後 144/194 ms、Stop 0.26 s

10,000 ファイル

初回 3.1 s、以後 230/325 ms、Stop 0.56 s

40,000 ファイル

初回 5.7 s、以後 557/597 ms、Stop 1.9 s

60,000 ファイル

初回 8.3 s（バックグラウンドに移行；バックグラウンドで見終わらない ⇒ オフ）、以後 135/227 ms、Stop 2.1 s

差分インデックス

1 ステップあたり 0.9 KB（以前は 4 万ファイルで 4.9 MB）

元の記録：Vacant repo：decisions/DECISION_20260924_ACCOUNTABLE_TRACE.md:236-244

ラウンド trace-2026-09-24　·　性能測定　·　判定値：held

対話型 TUI の A/B harness には 7 つの測定誤りがあり、どれも実際の pi 0.87.1 上で見つかり、しかもどれも数字を実際より良く見せる向きでした。

根拠となる数値

1 arm A が別のモデルで走っていた

models.json をコピーするだけでは pi はその provider を選ばず、実測では openrouter／moonshotai/kimi-k2.6 に落ち、しかもこの実行の proxy を 1 byte も通らなかった——arm A は「モデルの失敗」を「エージェントの失敗」として記録していた

2 settle が誤ったシグナルを拾う

arm C は第 1 ラウンドのバナーが出た瞬間に settled と報告して session を殺し、スナップショットは第 2 ラウンドがまだ考えている最中を捉えた（token は ↑5.9k ↓79 で凍結）

3 可視の高さしか読まない

約 50 行 vs 完全な scrollback 4000 行で、以前の判定はちょうど画面外にスクロールしていた

4 前置きを判定と取り違える

ゲートが先に出す『受け入れ元…スナップショット sha256』は判定と同じ書き出しだが判定を含まず、そのため各セルが gate_accepted: null で返ってきた

5 infra_void が納品拒否として記録される

bool(None) が『ゲートに判定がない』を『判定は拒否』として記録した

6 同じ記録の 2 つの欄が互いに矛盾

最終ラウンドが 2/2 のセルを 1/2 と報告

7 停滞がエージェントの失敗として数えられる

モデルが存在しないツール ls_r を呼び、shell に戻ると出力しなくなったが、backend 自体は健全だった

追加の 2 件

arm A の 8 セルはすべてラウンド全体が 0.0% で止まり、プロンプトは一度も送られていないのに settled＋hidden_pass: false と記録されていた——8 件の捏造された結果。Enter が 6 セルで落ちた

元の記録：Vacant repo：ab_harness/tui_ab.py:104-427、ab_harness/tui.sh:37-60

ラウンド tui-2026-09-30　·　測定ツールの欠陥　·　判定値：held

pi の対話モードの extension には 3 つの欠陥があり、うち 2 つで完全に使えなくなっていました：インストールは成功と報告されるのに毎回 sink になる、モデル id が実際に送られるものと一致しない。

根拠となる数値

欠陥 1

install() が upstreams／models／python を渡さず、KEY_FROM="" と UPSTREAM="" がレンダリングされた——proxy は起動したが毎回 502 unspecified_upstream_sink になり、原因を示すエラーメッセージは一つもない

欠陥 2

wire_pi がモデルの設定を default_model に焼き込まず、DEFAULT_MODEL が常に gemma-4-12b-it-qat。上流が別のモデルのとき毎回 404 になり、画面上のモデル名と実際に送られるものが一致しない

欠陥 3

install 時の起動プローブがその時点の os.environ をそのまま使うため、非ログイン shell から実行すると node が 18 に解決され、pi が起動できないと判定される

元の記録：Vacant repo：commit ad1282fe（2026-09-29）

ラウンド possess-2026-09-29　·　製品の欠陥　·　判定値：refuted

opencode の plugin は stop イベントを登録しておらず、ターン終了時のチェックに到達できません：あるセルの実測では 37 ステップの完全な署名付きカルテが記録されましたが、判定はゼロで、delivery.md もありませんでした。チェーンが正しく見えるため、何もしないより危険だと著者は述べています。

根拠となる数値

イベント集計

trace_genesis 1、prompt 3、session_seen 2、step 37、session_closed 3、unrecorded_change 1

stop／finding／feedback イベント

0

delivery.md／delivery.json

存在しない

分母

37 ステップ、3 session

元の記録：Vacant repo：decisions/conclusions/FINDINGS_20260929_NATIVE_PLATFORM_WAVE1.md:54-74

ラウンド loop-2026-09-29　·　製品の欠陥　·　判定値：refuted

ネイティブプラットフォーム wave 1（20 問 × 3 アーム）では、対応のある McNemar の discordant はわずか 2 ペアで p=0.50、著者は unresolved と記録しました——負の結果でも正の結果でもありません。

根拠となる数値

A plain

非公開チェック全問合格 19/20（95.0%）、納品 20/20、納品拒否 0

B zero-cfg

17/20（85.0%）、納品 19/20、納品拒否 1

C bridge

17/20（85.0%）、納品 17/20、納品拒否 3

A 対 B

discordant 2 ペア、p=0.50 → unresolved

分母

20 問

元の記録：Vacant repo：decisions/conclusions/FINDINGS_20260929_NATIVE_PLATFORM_WAVE1.md:18-24

ラウンド loop-2026-09-29　·　実験結果　·　判定値：unresolved

汎用受付口のエンドツーエンドで 5 件の欠陥が測定され、うち 2 件は単体テストでは捕まえられないものでした：Codex が起動を拒否する、OpenCode の加算レイヤーによって利用者のグローバルなルールが黙ってプロンプトから消える。

根拠となる数値

1

フックが先に台帳を書いたとき verifier 鍵を作ったのに信頼の登録をしておらず、受付側は正しく通すのを拒否した

2

vacant do の隔離ワークスペースが $VACANT_HOME の下に置かれ、pi のグローバル extension が書き込みを正しくブロックした

3

Codex の常駐インストールが profile = "vacant" を使い、0.156.1 はそれをレガシーキーとみなして起動を拒否——エージェントを起動できなくするインストールは、入れないより悪い

4

OpenCode が OPENCODE_CONFIG_DIR を実行ごとの加算レイヤーとして使い、同時にグローバル AGENTS.md の読み込み位置を変えてしまうため、利用者のグローバルなルールが黙ってプロンプトから消える

5

常駐インストールが残っているときに vacant do がもう一度注入し、同じイベントが 2 回走る

単体テスト

177 件すべてオフライン・モデル呼び出しゼロ

敵対的レビュー

60 件のうち、不合格版を宛先に入れてしまうものや記録が誤ったことを言うものはすべて修正；ほかに 7 件は修正しないと明言

元の記録：Vacant repo：decisions/DECISION_20260924_UNIVERSAL_INTAKE.md:74-89

ラウンド intake-2026-09-24　·　製品の欠陥　·　判定値：refuted