検証　計画と記録

検証ページの各検証の、合格ラインを結果より前に決めた記録です。手を加えずにそのまま載せています。各章の見出しにある「実行前に記入」「結果を見た後」の区別で、どの基準が事前に決めたもので、どれが後から変えたものかが分かります。作業用の文書なので、専門的な書き方のままです。

検証計画書（日文）

1. 目的

サイトの数字は「統計的にこう計算したから正しいはず」という前提で出している。この計画は、その前提をデータと模擬実験で客観的に確かめるためのもの。確かめたいのは次の4点。

結果の扱い: 合否の基準は、結果を見る前にこの文書で決めておく（後から基準を動かさない）。不合格なら、その結果もそのまま計算方法ページに載せ、直せるものは直す。

公開の制約（実装計画書 2.2 と同じ）: 使うのは牌譜と、牌譜から計算した表だけ。Mortal は使わない。乱数の種は固定し、同じデータからは同じ結果が出るようにする。

2. 参考文献と採用する部分

論文を読み、それぞれから何を採り、何を採らないかを決めた。

2.1 Talts, Betancourt, Simpson, Vehtari, Gelman (2018) “Validating Bayesian Inference Algorithms with Simulation-Based Calibration” (arXiv:1804.06788)

• 論文の要点: 事前分布から真の値を引き、そこからデータを作り、推定をやり直す。これを N 回繰り返すと、真の値が推定の分布のどこに来たか（順位）が一様分布になるはず。偏りは順位ヒストグラムの形（傾き＝偏り、∪字＝区間が狭すぎ、∩字＝広すぎ）で分かる。ヒストグラムには Binomial(N, 1/B) の 0.5%〜99.5% の帯を重ね、帯の外に出るビンを見る。ビン数は N/B ≈ 20 が目安。
• 採用:
  • 「正解を決めて模擬データを作り、実際の推定コードに通す」という枠組み（V1）。
  • 順位ヒストグラムと 99% の帯。この推定は事後分布が正規分布なので、サンプルの順位の代わりに PIT 値 Φ((真値 − 推定) / 標準誤差) を使う（サンプル数 L → ∞ の極限と同じ）。
  • 1 回の模擬につき 1 人だけをヒストグラムに入れる（同じ回の選手どうしは k の推定を共有していて独立でないため）。N = 1000、B = 20 ビン（N/B = 50）。
• 採用しない: MCMC の自己相関への対処（間引き）。この推定は解析的に計算していてサンプリングをしないので不要。
• 補足: SBC は本来、真の値を「事前分布から」引く。ここでは実力のばらつき τ を固定した数通りの値で試す（τ ごとに見る方が、どの条件で崩れるかが分かる）。

2.2 Brown (2008) “In-season prediction of batting averages: A field test of empirical Bayes and Bayes methodologies” (Annals of Applied Statistics 2(1))

• 論文の要点: シーズン前半の成績から後半を予測し、予測法を比べる。後半の成績自体にも偶然の誤差があるので、単純な二乗誤差の合計（SSPE）から「真の値を知っていても避けられない誤差」Σ 1/(4N₂ᵢ) を引いた TSE^ を使う。前半の成績そのまま（素朴な予測）の TSE^ で割って正規化する。打率には分散安定化変換 arcsin√((H+1/4)/(N+1/2)) を使う。
• 採用:
  • 前半 → 後半の予測という検証設計（V2）。各シーズンのレギュラーシーズンを選手ごとに日付順で前後半に分ける。
  • TSE^ = Σ(X₂ − 予測)² − Σ σ²/n₂ と、素朴な予測で割った正規化（相対 TSE）。
  • 比べる予測法も論文と同じ並び: 素朴（前半の値）、全体平均、縮小推定（経験ベイズ）。
• 採用しない: arcsin 変換。打率（二項）用のもので、ポイントや着順は数十試合の平均でほぼ正規分布になり、分散も n でほぼ決まるため不要。
• 追加: 運を除いたポイントで縮小した予測も比べる（サイト独自の主張の検証）。予測の対象は、どの予測法でも後半の生のポイントとする。

2.3 Dimitriadis, Gneiting, Jordan (2021) “Stable reliability diagrams for probabilistic classifiers” (PNAS 118(8)。arXiv 版の題は “Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited”、arXiv:2008.03033)

• 論文の要点: 従来の信頼性図（確率を10区間に分けて実際の頻度と比べる）は区間の切り方で見た目が変わる。代わりに等調回帰（PAV アルゴリズム）で「予測確率 → 実際の頻度」の単調な曲線を引く（CORP）。これを使うと Brier スコアが S = MCB − DSC + UNC に分解できる。MCB は再較正で減らせる分（ずれ）、DSC は識別力、UNC は事象自体の不確かさ。不確かさは「予測が正しかったら」という仮定の下で結果をシミュレーションした一致帯（consistency band）で示す。
• 採用:
  • PAV による信頼性曲線と、MCB / DSC / UNC の分解（V4）。いまの10区間の表はこれに置き換える。
  • 一致帯。予測が正しいと仮定して結果を 1000 回作り直し、PAV 曲線の 5〜95% の範囲を描く。同じシミュレーションで MCB の帰無分布も作り、較正の検定の p 値を出す（2.6 の式）。
• 変更して採用: 論文の一致帯は各観測が独立であることを前提にしている。ここでは同じ試合の局どうしが同じ結果を共有するため、その前提が成り立たない（2.4）。そこで一致帯と検定は「1試合から局を1つだけ無作為に選んだ標本」で行う。この標本では試合どうしは独立で、同じ局の4人は「トップは1人だけ」になるよう、4人の確率を合計1に直した多項分布からトップを引く。

2.4 Brill, Yurko, Wyner (2025) “Exploring the difficulty of estimating win probability: a simulation study” (arXiv:2406.16171)

• 論文の要点: 勝率モデルの学習・評価データは、同じ試合の全プレーが同じ勝敗を共有する。そのため実質のサンプル数（有効サンプルサイズ）は見た目よりずっと小さく、独立を仮定した信頼区間は狭すぎる。
• 採用: 不確かさは試合単位のブートストラップで出す（V4 のすべての区間）。局単位で独立に再標本した場合と区間の幅を比べ、その比から有効サンプルサイズを報告する。
• 採用しない: 論文の模擬実験そのもの（アメフトの試合を再現する生成モデル）。こちらのトップ確率は、すでに一つ抜きのシーズン交差検証（予測するシーズンを学習に使わない）で作っている。

2.5 Burch, Schmid, Moravčík, Bowling (2018) “AIVAT: A New Variance Reduction Technique for Agent Evaluation in Imperfect Information Games” (AAAI, arXiv:1612.06915)

• 論文の要点: 結果から「運で説明できる部分（期待値0の補正項）」を引くと、平均は変わらずに分散だけ減る。前提は補正項の期待値が、誰がプレーしても0であること。
• 採用: この前提そのものを検証の対象にする（V3）。運の指標に実力が混ざっていれば、選手ごとの平均が0からずれ、しかもそのずれが選手の間で持続する。そこで「運の指標に、偶然では説明できない選手差があるか」を並べ替え検定で調べる。
• 採用しない: AIVAT の「プレーヤーの戦略が分かっている場合」の補正（Mortal を使うことになり公開の制約に反する）。

2.6 Phipson, Smyth (2010) “Permutation P-values Should Never Be Zero” (Stat. Appl. Genet. Mol. Biol. 9(1), arXiv:1603.05766)

• 論文の要点: 無作為に選んだ m 回の並べ替え・シミュレーションのうち、観測値以上に極端だったのが b 回なら、p = (b + 1)/(m + 1) とする。b/m は p 値を小さく見積もりすぎで、0 にもなってしまう。
• 採用: V3 と V4 のすべてのモンテカルロ p 値をこの式で出す。m = 999（最小の p は 0.001）。

2.7 補足（要旨のみ参照）

• Field, Welsh (2007) “Bootstrapping clustered data”（JRSS B）: クラスタのあるデータでは、クラスタ単位で再標本するのが基本。V1 の k の区間（選手単位）と V4（試合単位）の方針の裏づけとして引く。
• 多重比較: V3 では指標ごとに検定するので、Holm 法で補正した p 値も併記する。

3. 検証の内容

V1 模擬データでの推定の再現（SBC 型）

問い: 実力のばらつきが分かっている世界で、k の推定、縮小推定、90% 区間は正しく働くか。

生成モデル（実際の日程と点数分布をそのまま使う）:

1. 2018-19〜2025-26 のレギュラーシーズンの実際の対戦表（誰と誰が同卓したか）を使う。
2. 各選手・シーズンに実力 θ ~ N(0, s²) を割り当てる。
3. 各試合の点数は、実際の試合の最終点数ベクトル（4人分、順位順）を1つ無作為に選ぶ。4人のうち誰が何位になるかは、強さ exp(θ) の Plackett–Luce モデル（強い人ほど上位を引きやすい抽選）で決める。これで「4人の点数の合計は0」「1位は1人」という実際の制約が保たれる。
4. 正解: 選手・シーズンごとの期待着順・期待ポイント（24通りの順位の確率から正確に計算）の、その選手の試合での平均。
5. s は、正解の平均着順の標準偏差が τ = 0、0.5τ̂、τ̂、2τ̂（τ̂ = 実データの推定値 0.050）になるよう事前に調整する。

推定: 生成したデータに、実際のmetrics.pyと同じ計算（10試合以上の選手・シーズンで k を推定し、縮小推定と 90% 区間を出す）を適用する。対象の指標は平均着順と1半荘あたりポイント。

繰り返し: τ ごとに N = 1000 回。k のブートストラップ区間は計算が重いため、τ ごとに 200 回で見る（各回 300 回の再標本）。

報告する値と合格基準:

真の k の定義は「1試合あたりの偶然の分散 ÷ 正解の分散」で、1試合あたりの分散は生成データから計算する。

V2 シーズン前半 → 後半の予測（Brown 型）

データ: 2018-19〜2025-26 のレギュラーシーズン。各選手・シーズンの試合を日付順に並べて前後半に分け、両方とも 10 試合以上ある選手・シーズンを使う。

予測法（後半の1試合あたりの平均を予測する）:

• 素朴: 前半の平均そのもの
• 全体平均: リーグ平均（着順 2.5、ポイント 0）
• 縮小: (n₁x₁ + k·平均)/(n₁ + k)。k はそのシーズンを除いた選手・シーズンから推定する（予測する期間の結果を使わない）。
• 運を除いて縮小（ポイントのみ）: 前半の「運を除いたポイント」を、その k で縮小したもの

評価: TSE^ = Σ(X₂ − 予測)² − Σ σ²/n₂。σ² はそのシーズンを除いた試合単位の分散。素朴な予測の TSE^ で割った相対 TSE を報告する。区間は選手単位のブートストラップ（2000 回、全シーズンまとめて再標本）。

合格基準:

• 縮小は素朴より良い（相対 TSE の 90% 区間の上限 < 1）。
• 縮小は全体平均より悪くない（差の 90% 区間が 0 を含むか、縮小が良い）。
• 運を除いた縮小は参考値とする（生の縮小より良ければ、サイトの主張の裏づけになる）。

注: 実力差が小さいので、全体平均と縮小はほぼ同じ成績になると予想する。予想どおりなら、それ自体が「推定を大きく平均に引き戻す」ことの正しさを示している。

V3 運の指標の検証（並べ替え検定）

V3a: 運の指標に選手差が持続していないか（AIVAT の前提の検証）

• 対象: 配牌の向聴数、配牌のドラ・赤、ツモの良さ、裏ドラ運、一発率、運による獲得ポイント（/半荘）。
• 陽性対照（選手差がはっきりあるはずの指標）: 放銃率、副露率、立直率。
• 統計量: レギュラーシーズンの選手・シーズン平均の「真のばらつき」の積率推定（metrics.momentsと同じ）。
• 帰無分布: 同じシーズンの中で、単位（局・ツモ・試合）ごとの値と選手の対応を無作為に入れ替える（m = 999）。選手ごとの単位数は変えない。
• p = (b + 1)/(m + 1)、b は入れ替え後の統計量が観測値以上だった回数。Holm 補正の p も併記する。
• 合格基準: 運の指標はすべて Holm 補正後の p > 0.05（選手差の証拠がない）。陽性対照はすべて p = 0.001（999 回すべてを上回る）。陽性対照が通らなければ、検定の検出力が足りないので結論を保留する。

V3b: 運の補正は偶然以上に分散を減らしているか

• 統計量: 運を除いたポイントの、1試合あたりの分散の減少率（luck.pyと同じく、一つ抜きのシーズン交差検証で当てはめる）。
• 帰無分布: 運の特徴量の行を、同じシーズンの中で（局 × 席）の間で無作為に入れ替えてから当てはめ直す（m = 199。1回の当てはめが重いため。最小の p は 0.005）。
• 合格基準: p = 0.005（すべての入れ替えを上回る）。あわせて入れ替え後の減少率が 0 付近（±1% 以内）であることを確認する。当てはめ直しが減少を「作り出して」いないことの確認になる。

V4 トップ確率の較正（CORP ＋試合単位の不確かさ）

データ: kyoku_wp.parquet の各局開始時点のトップ確率（一つ抜きのシーズン交差検証で作ったもの）と、実際の最終順位。

手順:

1. 全データで PAV 曲線を引き、Brier スコアを MCB / DSC / UNC に分解する。
2. 試合単位のブートストラップ（1000 回）で、曲線の 90% 信頼帯と、MCB・DSC・Brier スキルスコアの 90% 区間を出す。局単位で独立に再標本した場合の区間幅と比べ、有効サンプルサイズ ≈ 局数 × (局単位の分散 / 試合単位の分散) を報告する。
3. 較正の検定: 1試合につき1局を無作為に選んだ標本で MCB を計算する。「予測が正しい」と仮定して各局のトップを4人の確率から引き直し、MCB の帰無分布と一致帯を作る（m = 999）。p = (b + 1)/(m + 1)。合否に使うのは、種を固定した1通りの選び方の p だけとする。複数の p の中央値は正しい p 値にならないためである。選び方による揺れは、別の 20 通りの p の範囲を参考として示す。
4. 局面別（東場、南1〜3局、オーラス）の MCB も出す。
5. ラス確率（4着）についても同じことをする（WPA と順位確率はトップだけでなく全順位を使っているため）。

合格基準:

• 較正の検定で p > 0.05（トップ・ラスとも）。
• MCB が Brier スコアの 2% 未満（ずれが実用上小さい）。
• 参考: DSC と Brier スキルスコアの 90% 区間を報告する（識別力の目安。合否には使わない）。

対象外（今回はやらない）

• 順位確率（オッズ）の過去シーズンでの較正: 過去シーズンのチーム編成の設定ファイルが必要で、1シーズン＝1回の結果しかないため、8シーズンでは検定の力がほとんどない。将来の課題として記録するだけにする。
• Mortal との比較: 公開の制約により対象外（内部の bench/ で扱う）。

4. 実装

• pipeline/validate.py（新規）: V1〜V4 を実行し、data/metrics/validation.jsonに結果を書く。--only v1などで一部だけ実行できるようにする。
• 実データの計算は既存の関数（metrics.moments、metrics.draw_expectation、luck.kyoku_features、luck.fit、odds.chrono_key）を再利用する。重い繰り返しの部分だけ numpy で書き直し、元の関数と同じ値になることをテストで確かめる。
• PAV は自前で実装する（依存を増やさない）。トップ確率は 2000 回のシミュレーションの割合なので、取りうる値は 2001 通りしかない。値ごとにまとめてから PAV をかけるので速い。
• テスト（tests/test_validation.py）:
  • PAV が単調で、既知の小さな例と一致すること。
  • 分解 S = MCB − DSC + UNC が数値的に成り立つこと。
  • p 値の式。
  • 高速版の積率推定がmetrics.momentsと一致すること。
  • Plackett–Luce の24通りの確率の合計が1になり、強さが同じなら一様になること。
• 公開: export.py がresearch/validation.jsonを書き、計算方法ページに「検証」の節を加える。基準・結果・合否を表にして、不合格があればそのまま載せる。
• 実行のタイミング: 毎日の更新（run.py）のmetrics.pyの後に入れる。数分で終わる見込み。長くかかる場合は週1回にする。

5. 推敲メモ（読み直して直した点）

• V1 の生成モデルは、最初は「実際の点数に θ を足すだけ」だった。これでは着順が扱えず、4人の合計が0という制約も壊れる。そこで Plackett–Luce の抽選に変えた。
• V4 の一致帯は、最初は全局をそのまま独立とみなしていた。Brill らの指摘どおり、それでは帯が狭すぎて不合格が出すぎる。そこで「1試合1局」の標本に変えた。
• V2 で k を全シーズンから推定すると、予測する期間の結果を使うことになる。そのシーズンを除いた推定に改めた。
• V4 の検定で、最初は 20 通りの標本の p の中央値を使う案だった。中央値は p 値の性質（帰無仮説の下で一様）を持たないので、種を固定した1通りに改めた。
• V3a には陽性対照を加えた。検出力のない検定で「差がない」と言わないためである。
• V1 の τ の範囲は、以前の案（0、0.05、0.1）を実データの推定値 τ̂ の倍数で書き直した。2τ̂ ≈ 0.1 なので、実質的には以前の案を含んでいる。

6. 結果（2018-19〜2025-26）

合否は 3 章の基準どおりに判定した。基準は結果を見た後に変えていない。基準の作り方に問題があったものは「所見」に書き、次回の改訂案として分けておく。数値はdata/metrics/validation.json（サイトではresearch/validation.json）にある。

所見

• V1 の区間は、実力差が小さいほど広すぎ、大きいほど狭すぎる。被覆率は τ = 0 で 1.00、0.5τ̂ で 0.98、τ̂ で 0.93、2τ̂ で 0.86 だった。原因は二つある。
  1. k が推定できない場合の扱い。模擬の 31〜50% で真の分散の推定が 0 以下になり、k = ∞ になる。このとき点推定はリーグ平均にしているのに、区間は縮小なし（√(分散/n)）で計算しているため、非常に広くなる。実データでは k が有限（着順 499）なので、今のサイトの表示には影響しない。
  2. k の不確かさを区間に含めていない。 2τ̂ で狭すぎるのはこのためで、計算方法ページ 2.3 の注記どおりの弱点である。
• 試した改善案はどちらも良くならなかった（各 τ で 200 回）。
  • Laird & Louis (1987) のブートストラップ経験ベイズ区間（k のブートストラップ分布で混合）: 被覆率 0.78〜0.83 で狭すぎた。k = ∞ の再標本が「全員リーグ平均」という幅0の成分になるため。
  • τ に一様事前分布を置いた階層ベイズ（格子で積分）: 0.99、0.90、0.85 で、今の方法と大差なかった。
  • 結論として、今の方法を変える根拠は得られなかった。
• V1 の PIT の基準は、計画の段階で厳しすぎた。 SBC で順位が一様になると保証されるのは、真の値を事前分布から引き、それと同じ事前分布を使う完全なベイズ推定の場合である。τ を固定した上でのプラグイン経験ベイズでは、τ ごとに一様になることは原理的に期待できない。次回は「τ を事前分布から引く SBC」と「τ ごとの被覆率」に分けて基準を作り直す。
• V3a の陽性対照の基準も厳しすぎた。放銃率は p = 0.003 で、999 回中 2 回だけ並べ替えが観測値以上になった。検出力の確認という目的は果たせているが、基準は「全並べ替えを上回る」だったので判定は不合格のままにする。次回は「p < 0.01」とする。
• 配牌の良さは、補正前の p が 0.059 で境界に近い。向聴数は親のときに1枚多く配られるので、親の回数の偏りが残っている可能性がある。値は小さい（真のばらつきの推定は標準偏差 0.028 向聴で、並べ替えの 95% 点 0.028 と同じ程度）。経過を見る。
• V4 のトップの検定は、選んだ標本に強く左右された。固定した種の標本では p = 0.018 だったが、別の 20 通りの選び方ではすべて p > 0.05（中央値 0.51）だった。全データの PAV 曲線は予測 0.3〜0.4 付近で実際がやや低い（0.40 の予測で 0.373、90% 帯 0.359〜0.395）。ずれの大きさは MCB で Brier の 0.2% と実用上小さい。判定は不合格のままにし、サイトにもそう書く。再較正（PAV を一つ抜きのシーズン交差検証で当てはめる）は、効果が小さいので保留する。
• 有効サンプルサイズは局面数の約 1/5 だった（Brill らの指摘どおり）。局単位で独立とみなすと、区間の幅を約 2.2 倍（√5）過小に見積もることになる。
• V2 で TSE^ が負になる（縮小と全体平均で −0.06〜−0.09）のは、Brown の推定量の性質である。後半の偶然の誤差を差し引いた結果、真の値からの誤差がほぼ 0 と推定されたことを意味する。分かりにくいので、サイトでは RMSE を示す。
• 運を除いた縮小は、生の縮小とほぼ同じ成績だった（差の 90% 区間 −0.006〜+0.006）。1シーズンの半分（約 15 試合）では、どちらの推定もほぼリーグ平均になるためである。運を除く効果は、もっと長い期間で効いてくる。

7. 改訂: 90% 区間を頑健な経験ベイズ区間に変更

7.1 試したこと

6章の所見（V1 で区間が τ によって広すぎたり狭すぎたりする）を受けて、区間の作り方を4通り比べた。条件は V1 と同じ模擬データで、τ = 0〜3τ̂ の各条件を 200〜300 回ずつ繰り返した。

C だけが、すべての τ で被覆率がほぼ 0.90 以上になった。τ̂ での幅も A より狭い。A の平均の幅が広いのは、k = ∞ になった回の非常に広い区間が平均を押し上げているためで、k が有限のときは A の方が狭い。

7.2 採用した方法

Armstrong, Kolesár, Plagborg-Møller (2022) “Robust Empirical Bayes Confidence Intervals”（Econometrica 90(6), arXiv:2004.03448）。

• 論文の要点: 縮小推定は、真の値が平均から遠いほど平均寄りに偏る。偏りの大きさは真の値の分布の形で変わる。この論文は、偏りの二乗平均だけを条件にして、最悪の分布でも非被覆率が α 以下になる臨界値 cva を求める。付録 B の命題 B.1 は、二次モーメントだけを条件にした場合の閉じた形を与える。
• この区間は「選手全体で平均した被覆率」を真の値の分布によらず保証する。これは V1 で測っている量そのものである。
• 採用:
  • 区間 = 縮小推定 ± cva(k/n) × n/(n+k) × √(1件あたりの分散 / n)。
  • cva は命題 B.1 の ρ(t, χ) = sup_λ (1−λ) r(0, χ) + λ r(√(t/λ), χ) を二分法で逆に解いて求める。
  • 真の分散の推定値に、論文の手順 1 の下限 2Σσ⁴/(N Σσ²) を設ける（重みは均等）。k の推定が ∞ になった指標でも、区間はこの下限から計算するので有限になる。
• 採用しない:
  • 四次モーメント（尖度）の条件。区間はもっと狭くなるが、選手・シーズン約 250 件では尖度の推定が不安定になる。
  • 点推定の変更。縮小推定と信頼度は従来のまま。k が ∞ の指標でも、点推定はリーグ平均のままにする。
• 実装はmetrics.robust_interval。scipy に依存しないよう、正規分布の累積分布関数は Abramowitz–Stegun の近似（誤差 1.5×10⁻⁷ 未満）で計算する。

7.3 V1 の基準の見直し（結果を見た後の変更）

以下の変更は、結果を見た後で行ったものである。 6章の判定（従来の区間で一部不合格）は記録として残す。

• PIT ヒストグラムの基準を削除した。 6章の所見のとおり、τ を固定したプラグイン推定には当てはまらない基準だった。また、頑健な区間は事後分布ではないので PIT 自体が定義できない。
• τ = 0.5τ̂、2τ̂ の「0.85〜0.95（参考）」を「τ = 0.5〜3τ̂ で被覆率の最小が 0.87 以上」に変えた。頑健な区間は最悪の場合に合わせて作るので、実力差が小さいときに広め（被覆率が高め）になるのは設計どおりである。そこで上限を外し、下限だけを見る。条件には 1.5τ̂ と 3τ̂ を加えた。
• τ = τ̂ での「0.87〜0.93」、τ = 0 での「0.90 以上」、真の分散の偏り、k の区間の被覆は変えていない。

7.4 結果（1000 回ずつ）

見直した基準では V1 はすべて合格した。

実データへの影響:

• 着順・ポイントの区間は広くなる。1シーズンの半幅の中央値は、平均着順で 0.080 から 0.130、ポイントで 3.6 から 5.6 になる。実データでは k が有限なので、従来は「k が有限で区間が狭すぎる」場合に当たっていたことになる。
• 副露率など k の小さい指標はほぼ変わらない（半幅 3.6% のまま）。

8. 追加: V3c 運の指標の検定の検出力（実行前に記入）

外部のレビューで「V3a で差が見つからなかったことは、差がないことの証明ではない。どの程度の実力の混入なら見つけられるのかを示すべきだ」と指摘された。陽性対照（放銃率など）で検定が差を見つけられることは示しているが、運の指標そのものについて、どれだけの混入なら見つかるかは示していない。そこで、運の指標にわざと実力を混ぜた架空データで、V3a の検定の検出力を測る。

• 混ぜ方: 運の6指標それぞれについて、実データの単位（局・ツモ・試合）の値に、選手・シーズンごとの一定の値 d を足す。d は選手・シーズンごとに N(0, τ²) から引く。
• 混ぜる量: 「1シーズンの値のうち実力で決まる割合」r（サイトの「実績の重み」と同じ尺度）で決める。r = τ² / (τ² + σ²/n)、σ²/n は V3a で使う選手・シーズンの単位数での偶然のばらつき（momentsの within ÷ 単位数の平均）。r = 0.1、0.2、0.3 の3段階。参考: 陽性対照の放銃率の1シーズンの実績の重みは 0.23（90%区間 0.08〜0.33、luck-vs-skill.json）で、V3a はこれを p = 0.003 で見つけている。
• 手順: 各段階で 100 回、混ぜたデータを作り、V3a と同じ統計量を計算する。帰無分布は段階ごとに、混ぜたデータ1つを同じシーズン内で並べ替えて作る（m = 199）。並べ替えの帰無分布は混入の有無でほとんど変わらないため、100 回で共有する。
• 判定の水準: 運の6指標を Holm 補正するので、最も厳しい場合の 0.05/6 ≈ 0.0083 で「見つかった」とする（m = 199 では p ≤ 0.005）。
• 合格基準: 放銃率並みの r = 0.2 で、6指標すべての検出力が 0.8 以上。r = 0.1 と 0.3 は参考値として載せる。
• 読み方: 合格なら「1シーズンの値の2割が実力で決まる（放銃率の選手差と同じくらいの）混入があれば、8割以上の確率で見つかったはずで、実際には見つかっていない」と書ける。不合格の指標については「見つからなかった」の根拠が弱いと書く。

8.1 実行して分かったことと、変更（結果を見た後）

• 並べ替えの回数が足りなかった。 m = 199 で1回目を実行したあと、乱数の流れだけを変えて再実行すると、同じ条件の検出力が大きく変わった（例: ツモの良さの r = 0.2 で 0.19 → 0.56）。判定の水準 0.0083 は帰無分布の上位 0.8% で、199 回の並べ替えでは一番端の1〜2点で合否が決まるためである。帰無分布は試行の間で共有するので、並べ替えを m = 1999、試行を 200 回に増やして測り直す。この変更は結果を見た後だが、方向は結果に依存しない（どちらの結果が有利になるかを見て決めたのではない）。
• 補足の分析を加えた（事前の計画にはない）。事前の方法は実データに実力を足すので、実データの偶然の選手差がどこにあるかで検出力が変わる。配牌の向聴数は実データの時点で p = 0.035（Holm 補正後 0.21）と境目に近く、足すと見つかりやすい。配牌のドラ・赤は実データの選手差がほぼ0で、見つかりにくい。そこで、単位の値を同じシーズンの中で一度シャッフルして運だけの世界を作り、そこに足した場合の検出力（power_pure）も出す。合否の判定は事前に決めた方法（power）のままにする。

8.2 結果（2018-19〜2025-26、m = 1999、200 回）

• 6指標中5つが不合格。V3a の「選手差が見つからない」が強く言えるのは、1シーズンの値の3割ほどが実力で決まる大きな混入についてで、放銃率並みの2割の混入は見逃しうる。
• 配牌の良さが高いのは、実データに偶然の範囲の選手差（V3a の補正前 p = 0.035）があり、足すと見つかりやすくなるため。運だけの世界に混ぜた場合は、どの指標も 0.48〜0.64 とほぼ同じ。
• 検証ページ（4.2）には、不合格を含めてこのまま載せる。

9. 追加: V3d 通算での持続性の検定と、V3e 混入量の上限（実行前に記入）

V3c で、V3a の検定は放銃率並み（1シーズンの値の2割が実力）の混入を見逃しうると分かった。V3a は選手・シーズンを別々の単位として扱い、「実力なら毎シーズン同じ向きに出る」という手がかりを使っていない。そこで次の2つを加える。

V3d: 選手のずれがシーズンをまたいで続くか

• 統計量: 各シーズンで、選手の平均からそのシーズンの選手平均を引いた値 c を作る（対象は V3a と同じ選手・シーズン）。同じ選手の異なる2シーズンの組すべてについて c × c’ を平均する（シーズン間の共分散）。偶然のずれはシーズンごとに独立なので、持続する選手差がなければ期待値は0。
• 帰無分布と p 値: V3a と同じく、同じシーズンの中で単位と選手の対応を入れ替える（m = 1999、p = (b+1)/(m+1)、片側）。
• 対象: 運の6指標（Holm 補正）と、陽性対照の放銃率・副露率・立直率。
• 検出力: V3c と同じ尺度 r（1シーズンの値のうち実力で決まる割合）で、選手ごとに一定の d（全シーズン共通、N(0, τ²)）を足す。V3c の教訓から、d は単位をシーズン内で一度シャッフルした「運だけの世界」に足す（実データの偶然の位置に左右されないように）。r = 0.05、0.1、0.2、各 200 回、帰無分布は各段階で m = 1999 を共有、水準は 0.05/6。
• 合格基準: (1) 運の6指標はすべて Holm 補正後 p > 0.05。(2) 陽性対照はすべて p < 0.01（V3a の反省から「全並べ替えを上回る」にはしない）。(3) r = 0.1（放銃率の半分ほど）の持続する混入を、6指標すべてで 0.8 以上の確率で見つけられる。

V3e: 混入量の上限

• 合否ではなく、「混ざっているとしても多くてこの程度」を示す。
• 1シーズンの値について: V3a の真のばらつきの推定 τ̂² と偶然のばらつき σ²/n から r̂ = max(τ̂², 0) / (max(τ̂², 0) + σ²/n)。
• 持続する分について: V3d のシーズン間共分散を τ̂² の代わりに使った r̂。
• 上限: 選手を単位にしたブートストラップ（選手を復元抽出し、その選手の全シーズンを使う、1000 回）で r̂ の 95 パーセンタイル（90% 区間の上端）。
• 読み方の基準（事前に決めておく）: 上限が陽性対照の放銃率の推定値（0.23）より小さければ「放銃率ほどの混入はない」と書く。

9.1 実行して見つかったこと: 親の配牌の記録の揺れ

• V3d で、配牌の良さ（向聴数）にシーズンをまたぐ選手差が出た（Holm 補正後 p = 0.012）。配牌は打ち方と関係なく配られるので、実力の混入ではなく測り方の問題を疑った。
• 親の局だけで V3d をかけると差が出て（p = 0.005）、子の局だけでは出なかった（p = 0.186）。親の局が多い選手ほど配牌が良い、という相関もあった（38人で −0.39）。
• 牌譜を調べると、親の最初の打牌がツモ切りになる割合が、子（7〜8%）より高いシーズンがあった: 2019-20 で 21.6%、2020-21 で 26.0%、2021-22 で 16.3%、2022-23〜2025-26 で 10〜12%。2018-19 と 2026-27 は子と同じ。これらのシーズンの牌譜の一部は、親の配牌14枚のうち最初に切った牌を「最初のツモ」とし、残りの13枚を配牌として記録しているとみられる。その13枚は親が選んで残した手なので、実際より良く見える。連荘の多い選手ほど親の局が多く、「配牌が良い」ことになっていた。
• 直し方（pipeline/deal.py、parse の後に実行）: 親の配牌は、配牌13枚と最初のツモを合わせた14枚の向聴数で評価する。どの牌が「ツモ」と記録されていても14枚は同じなので、記録のしかたに左右されない。比べる相手は親の配牌（is_oyaごとの平均）。親の最初のツモは配牌の一部として、ツモの良さからは外す。直したあと、親と子の配牌の差はどのシーズンでもほぼ同じ（−0.38〜−0.47）になった（直す前は +0.05〜−0.09 でシーズンごとにばらばら）。
• 直したデータで、指標・運の補正・V3a〜V3e をすべて計算し直す。V3d・V3e の判定は、直したデータでの結果を使う（直す前の結果は、この節の記録として残す）。

10. 追加: V3f 試合単位のスコア検定（実行前に記入）

V3d は「違うシーズンどうし」の組しか使わず、選手・シーズンを同じ重みで扱っていた。そこで、分散成分のスコア検定（Lin 1997, “Variance component testing in generalised linear models with random effects”, Biometrika 84(2)）の形に直す。選手の変量効果が0かどうかのスコア検定は、正規でも二項（一発・裏ドラの有無など）でも、単位の残差 r（値 − そのシーズンの平均）を使って次の形になる。

• 統計量: T = Σ_選手 [ (Σ_試合 S)² − Σ_試合 S² ]。S は、その選手のその試合の単位の残差の和。同じ選手の「違う試合どうし」の残差の積の和で、シーズンをまたぐ組もシーズン内の組も入る。同じ試合の中の組は、試合の流れでつながるので入れない。単位の多い選手ほど重く効く（精度で重み付けした形）。
• 対象の単位: V3a と同じ選手・シーズン（規定の試合数・単位数を満たすもの）のレギュラーシーズン。
• 帰無分布と p 値: V3a と同じく、同じシーズンの中で単位と選手の対応を入れ替える（m = 1999、片側）。
• 対象: 運の6指標（Holm 補正）と陽性対照の放銃率・副露率・立直率。
• 検出力: V3d と同じ「運だけの世界」（単位をシーズン内で一度シャッフル）に、(a) 選手ごとに一定の d（全シーズン共通）、(b) 選手・シーズンごとの d（V3c と同じ）を足す。r = 0.05、0.1、0.2、各 200 回、帰無分布は段階ごとに m = 1999 を共有、水準は 0.05/6。
• 合格基準: (1) 運の6指標はすべて Holm 補正後 p > 0.05。(2) 陽性対照はすべて p < 0.01。(3) (a) の r = 0.1 を6指標すべてで 0.8 以上の確率で見つけられる（V3d と同じ目標）。(b) は参考値。
• 比較: V3d の検出力（r = 0.1 で 0.37〜0.51）からどれだけ上がるかも載せる。

10.1 結果（配牌の修正後のデータ、m = 1999、200 回）

• 運の6指標はすべて Holm 補正後 p > 0.05、陽性対照はすべて p < 0.01。(1)(2) は合格。
• 持続する r = 0.1 の混入を見つける確率は 0.50〜0.59（V3d は 0.37〜0.51）。上がったが約10ポイントで、(3) は6指標とも不合格。r = 0.2 では 0.93〜0.98。
• 選手・シーズンごとの混入 (b) には弱い（r = 0.2 でも 0.10〜0.19）。組の大半が違うシーズンどうしなので、シーズン内だけの差は薄まる。シーズン単位の混入は V3a・V3c の担当として、V3f は持続する混入の検査と位置づける。
• 手法を替えても伸びが小さいので、検出力の天井は主にデータの量（選手約50人、1人あたり数シーズン）で決まっているとみる。

11. 検証ページの見せ方の変更（結果を見た後）

• 検証ページの冒頭のまとめで、運の指標とトップ確率が「△ 一部不合格」と表示され、サイトの数字そのものが不合格のように読めていた。運の指標の未達18項目は、すべて検出力の目標（V3c・V3d・V3f の「見つける確率」）で、数字の正しさではなく検査の感度を表すものだった。
• そこで、まとめの判定は「数字が正しく働いているか」の基準（V3a・V3d・V3f の選手差の検定、V3e の上限、V3b）だけで行い、検出力の目標は本文とページ末尾の別の一覧（「検査の感度の目標に届いていない項目」）に分けて載せる。
• 基準と結果は変えていない。検出力の目標は事前に決めた値と結果のまま、すべて載せ続ける。トップ確率の較正（p = 0.037）は数字の正しさの基準なので、引き続き「△」（小さなずれの疑い）として表示する。

12. 追加: 過去だけでの予測（V2b）、局面別のトップ確率（V4b・V4c）、運の値の条件別の偏り（V3g）（実行前に記入）

次の3点を足す。どれも既存のデータで、結果を見る前に基準をここに書く。

12.1 V2b 過去のシーズンだけで設定を決める

V2 は「対象シーズン以外」で k とリーグ平均を決めるので、過去のシーズンの予測に、その後のシーズンの情報が入る。V2b では、対象シーズンより前の完了シーズンだけを使う（前に2シーズン以上あるシーズンが対象）。

• 予測の方法: V2 と同じ naive・league・shrunk（k と平均は前のシーズンだけから）に、history を加える。history は、その選手の前のシーズンのレギュラーの全試合と対象シーズン前半を1つにまとめた平均を、同じ k で全体平均へ寄せたもの。選手の違いが過去の実績から見分けられるかを見る。
• 評価: V2 と同じ（後半の平均への二乗誤差から偶然の分を引いた TSE、選手単位のブートストラップ 2000 回、90%区間）。
• 合格基準: (1) rank・point とも、shrunk の相対 TSE の90%区間の上限が1未満（V2 と同じ）。
• 参考（合否なし）: history − league と history − shrunk の相対 TSE の差の90%区間。上限が0未満なら「過去の実績で選手を見分けられる」と書く。

12.2 V4b トップ確率・ラス確率を局面別に

全体の較正が合っていても、局面ごとのずれが打ち消し合っている可能性がある。

• 局面の分類（9個、重なりあり）: 場（東場・南1〜3局・オーラス）、局の開始時点の順位（1〜4位、同点は席順）、親か子か。
• 各分類で、予測の平均と実際の頻度の差（ずれ）を出す。区間は試合単位のブートストラップ（1000回）。
• 検定: 9個のずれを標準誤差で割った値の絶対値の最大を統計量とし、ブートストラップの分布（各回のずれから元のずれを引いたもの）と比べる（片側）。トップとラスで別々。
• 合格基準: (1) トップ・ラスとも p > 0.05。(2) 9分類すべてでずれが ±2ポイント以内。
• 参考: 場 × 順位の12マスのずれも表で載せる（合否なし）。

12.3 V4c 簡単な予測式との比べ

「補正して直せるずれが小さい」ことは、「これ以上良い予測がない」ことを意味しない。点差などの少ない情報だけの予測式と比べ、今のシミュレーションに価値があるかを見る。

• 簡単な予測式: ロジスティック回帰。説明変数は、トップ確率なら自分と他家最高点の差、ラス確率なら自分と他家最低点の差（どちらも万点単位）、残り局数 r（南4局で1、東1局で8）、差 ÷ √r、親か子か、供託本数。1試合の4人の和が1になるよう割り直す。
• 当てはめはシミュレーションと同じく「対象シーズン以外」で行う。
• 評価: Brier スコアの差（シミュレーション − 予測式）。区間は試合単位のブートストラップ（1000回）。
• 合格基準: トップ・ラスとも、差の90%区間の上限が0未満（シミュレーションの方がはっきり良い）。不合格なら、ページに「点差だけの予測式と同じくらい」と書く。

12.4 V3g 運の値が、条件によって偏っていないか

運の値は、選手全体の平均では0になるように作ってある。しかし、特定の条件（巡目や副露の有無など）で平均からずれ、その条件に入りやすい打ち方の選手の運が、打ち方の分だけずれる可能性がある。

• 対象と条件:
  • ツモの良さ（luck_draw）: 副露しているか、立直しているか、巡目（その局の自分の何回目のツモか: 1〜6、7〜12、13以上）の組み合わせ（12個）。
  • 裏ドラ運（luck_ura）: 親か子か、先制か追っかけか、立直の巡目（6以下、7〜9、10以上）の組み合わせ（12個）。
  • 一発率（luck_ippatsu）: 同じ12個。
• 方法: 各選手について、その選手を除いた全員で求めた「条件ごとの運の平均」を、その選手の単位の条件の割合で平均する（打ち方から予想される運）。レギュラーシーズン全体、単位が一定数以上（ツモ 3000、リーチ和了 50、リーチ 150）の選手。
• 検定: 実際の運と、打ち方から予想される運の相関（単位数で重み付け）。帰無分布は選手の間で予想値を入れ替える（m = 1999、片側：正の相関）。3指標で Holm 補正。
• 合格基準: (1) 3指標とも Holm 補正後 p > 0.05。
• 参考: 条件ごとの平均のずれと、打ち方から予想される運の選手間のばらつき（標準偏差）を、選手ページの90%区間の半分の幅と並べて載せる。

12.5 結果（2018-19〜2025-26）

• V2b（対象は 2020-21〜2025-26、のべ180人）: 過去だけで決めた縮小の相対TSEの上限は rank 0.04、point 0.07 で合格。history は league より悪い（rank の差の90%区間 +0.07〜+0.73、point +0.02〜+0.24）。前のシーズンの成績を同じ重みで足すと、予測は悪くなる。過去だけで決めると、rank では league が shrunk をわずかに上回る（shrunk − league +0.003〜+0.071）。
• V4b: トップは p = 0.15、ずれの最大 1.1ポイントで合格。ラスは p = 0.024 で (1) 不合格、ずれの最大は 1.4ポイントで (2) は合格。ずれは「開始時4位」（予測より実際のラスが少ない、−1.4）と「開始時3位」（多い、+1.2）に出ている。12マスでは南1〜3局とオーラスの3位・4位（±1.6〜2.2）、トップのオーラス1位（−2.4）・2位（+2.0）が大きい。今のシミュレーションは点差や順位に関係なく局の結果を引くので、終盤の逆転を少なく見積もっているとみる。
• V4c: トップは Brier の差 −0.00022（90%区間 −0.00041〜−0.00001）、ラスは −0.00088（−0.00115〜−0.00058）で、どちらもシミュレーションの方が良く、合格。ただしトップのオーラスだけは、点差の予測式の方が良い。
• V3g: 運の値には条件による差がある（ツモの良さは 13巡目以降が1回あたり約 −1.7ポイント、一発率は追っかけ立直で高い）。しかし、選手ごとの条件の割合の違いは小さく、打ち方から予想される運のばらつき（標準偏差）は、選手ページの90%区間の半分の幅の4〜5%にとどまる（ツモ 0.0002 対 0.0051、裏ドラ 0.0024 対 0.090、一発 0.0011 対 0.025）。3指標とも Holm 補正後 p = 1.0 で合格。
• 計画からの変更（V3g の帰無分布、結果を見た後）: 計画では予想値を選手の間で入れ替えることにしていたが、「その選手を除いた平均」を使うと、それだけで相関が負に傾く（実際に −0.17〜−0.45）。この偏りを再現しない帰無分布では p が大きく出すぎるので、「同じ条件の中で運の値を入れ替える」帰無分布に替えた（各単位の選手と条件はそのまま）。計画どおりの p（0.87〜0.999）も validation.json に残す。どちらでも判定は同じ。
• 計画の不備と修正（V4b、結果を見た後）:
  • 最終持ち点の同点（12試合）は順位を分け合って記録されている（1位が2人、または3位が2人で4位なし）。そのままだと1局の4人の結果の和が1にならないので、同点の2人を半分ずつ数えることにした。
  • 場（東場・南1〜3局・オーラス）だけの分類は、同じ局の4人の確率の和も結果の和も1なので、ずれは計算誤差の分しかなく、標準誤差も0に近い。その比は意味のない値になり、最初の計算では最大値の検定を左右していた（ラス p = 0.010）。この3分類は検定から外し、残る6分類で検定した（ページの表からも省いた）。
  • 上の数字は、この2つを直した後のもの。直す前のラスの p は 0.010、トップは 0.14。判定は変わらない。
  • 既存の V4（全体の較正）も同点の扱いは同じだが、影響は 1,940試合中12試合なので、登録済みの手順のまま変えない。

13. 探索: ボット対戦で運の補正が実力差を残すか（実行前に記入）

運の補正（luck.py）が、ばらつきを減らしながら実力差を削っていないかを、実力を固定した打ち手どうしの対戦で直接確かめる。AIVAT（Burch ほか 2018）が示す「期待値を変えずに分散を減らす」性質の確認にあたる。結果は内部の記録にとどめ、サイトには載せない（載せる場合は改めて決める）。その後、この計画書とともに公開することにした。→ その後、この計画書とともに公開することにした。

• 卓: 自作の4人打ち（Mリーグのルール: 25,000点持ち30,000点返し、ウマ 50/10/−10/−30（オカ込み）、赤3枚、南4局で終了（親の連荘は続く）、西入・飛びなし、頭ハネ）。簡単のため鳴き・カンはなし（門前のみ）。点数計算は mahjong ライブラリ。
• 打ち手（どちらも決まった規則で打つ）:
  • S: 向聴数を最小にし、その中で受け入れ最大の牌を切る。聴牌で即リーチ。他家のリーチを受け、自分が1向聴以上なら降りる（現物 → 3枚見えの字牌 → 筋 → 字牌 → 端牌の順に安全とみなす）。
  • W: S と同じだが、25%の打牌は手の中から無作為に選ぶ。降りない。
• 1試合は S 2人・W 2人、席は無作為。
• 運の特徴量と補正は luck.py と同じ手順（配牌の向聴数・ドラ、向聴数別のツモの進み、裏ドラ、一発、他家の合計）。WPA の元になる局の結果の抽選は、この対戦の局から作る。係数は試合を5つに分けた、分けた先を除いた当てはめ。
• 単位: 1試合ごとの差 D =（S 2人の平均）−（W 2人の平均）。素点のポイントと、運を除いたポイントのそれぞれで作る。
• 合格基準（1,000試合で判定。(1) が不合格、または (2) の区間が広すぎて判定できないときだけ 3,000試合まで増やす）:
  • (1) 素のポイントで S が W より強い（D の平均の90%区間の下限が0より大）。前提の確認。
  • (2) 実力差が保たれる: 運の値の差（S − W）の平均の90%区間が、素のポイントの D の平均の ±20% 以内。
  • (3) ばらつきが減る: 運を除いた D の分散が、素の D の分散より小さい（試合単位のブートストラップで、分散比の90%区間の上限が1未満）。
• 参考: 同じ差を見つけるのに必要な試合数が、運を除くとどれだけ減るか（分散比）。

13.1 結果（1,000試合、tools/selfplay）

• 打ち手の違い: 和了率 S 23.4%・W 10.4%、放銃率 S 3.1%・W 18.3%、リーチ率 S 39.1%・W 22.2%。1試合あたりのポイント差 D は +56.5（90%区間 +54.4〜+58.6）。(1) 合格。
• 運の値の差（S − W）は +1.37（−0.01〜+2.72）で、許容幅 ±11.3 に収まる。(2) 合格。
• 運を除いた D の分散は素の D の 0.68 倍（0.64〜0.73）。(3) 合格。同じ差を見つけるのに要る試合数が約3割減る。個人の1試合の標準偏差は 48.0 → 41.8。
• 注意: 運の値の差 +1.37 の大半は一発（+1.44）から来ている。W が S のリーチに放銃しやすいので、S の一発が多く出る。一発は相手の打ち方でも変わるので、純粋な運ではない（検証ページ・計算方法で「一発率には打ち方の影響が残りやすい」としている点と同じ方向）。区間の下限がほぼ0で、有意かどうかの境目。
• 限界: 鳴きなし、打ち手は2種類だけ、実力差は Mリーグの選手間の差よりずっと大きい（放銃率の差 15ポイント）。一発を通じた偏りは放銃率の差に比例するとみると、Mリーグの選手間の差（放銃率で数ポイント）では1試合あたり 0.1〜0.3 程度と見込まれるが、これは推測で、確かめていない。

14. 指標の定義を雀魂牌譜屋に合わせた変更（検証の手順は変えていない）

同じ名前でWeb麻雀（雀魂牌譜屋・天鳳）と定義が違う指標があったので、牌譜屋の定義に合わせた。

• 一発率（luck_ippatsu、運の6指標の1つ）: リーチ1回あたり → リーチ和了1回あたり（一発 ÷ リーチ和了）。V3a〜V3f はこの指標の単位（リーチ和了）で計算し直す。V3g の一発率も同じ単位にし、最低単位数を 150（リーチ）から 50（リーチ和了、裏ドラ運と同じ）に変えた。合格基準は変えない。
• 痛い親かぶり率（luck_oya_kaburi、検証の対象外）: 親番1回あたり → ツモ和了された回数あたり。
• ダマ率（dama_rate、検証の対象外）: 鳴かずに聴牌した局のうち最後までリーチしなかった割合 → 和了のうち、鳴かずリーチもせずに和了った割合。
• 立直率・立直和了率・立直放銃率・立直流局率・立直収支・先制リーチ率・平均リーチ巡目（検証の対象外）: リーチを「宣言したもの」で数え、宣言牌で放銃した局（全体で703局）も含める。運の指標と運を除いたポイント（luck.py）は、成立したリーチで数えたまま。

14.1 やり直した結果

• 運の6指標の判定（V3a・V3d・V3f の選手差の検定、V3e の上限、V3b、V3g）は、一発率をリーチ和了あたりにしても、すべて合格のまま。検出力の目標（V3c・V3d・V3f）は、これまでどおり未達。
• 陽性対照の放銃率（V3a）が p = 0.003 で、基準「0.001（999回の並べ替えすべてを上回る）」に届かなかった。放銃率のデータは変わっておらず、一発率の単位が変わって乱数の消費がずれ、並べ替えの組が変わったためとみる。基準は変えず、不合格として記録する。
• V3g の一発率も、先制立直より追っかけ立直で高い傾向はリーチ和了あたりでも同じ。

15. 監査: 運の指標の検定の点検（結果を見た後の確認）

運の指標の検定について、論理を点検し、改善案のうち計算の軽いものから確かめた。どれも結果を見た後の確認で、事前登録ではない。

• V3b の読み方: シャッフルで分散の減りが消えることが示すのは「特徴量と成績の対応に情報がある」ことまでで、その情報が運か実力かは区別できない。検証ページの 4.5 の「運を捉えているから」を弱めた。
• 一発を除いた運補正: 実データでは、分散の減り方が 34.5% → 31.0%、選手ごとの運を除いたポイントの変化は標準偏差 0.8pt/半荘（最大 ±2pt 前後）、2つの版の相関 0.98。ボット対戦（13章）では、運の値の差（S − W）が +1.37（−0.01〜+2.72）→ −0.63（−1.93〜+0.64）になった。この２種類のボットと今回の対戦条件では、一発に関する補正が、方策間の補正量の差の主な要因だった。一発を除くと差の点推定は小さくなったが、小さな偏りが残っていないことまでは確認できていない（16.10 に従い表現を修正）。分散比は 0.68 → 0.72。一発を補正から外すかは未決定。
• 運による獲得ポイントだけに絞った検定（V3f の形、水準 5%）: 持続する混入を見つける確率は r = 0.05 で 0.38、r = 0.1 で 0.78、r = 0.2 で 0.98（水準 0.05/6 では 0.10・0.55・0.93）。混入がないときの棄却率は 0.07（200回、名目 0.05）。
• V3e の上限の被覆率（模擬データに持続する混入 r = 0.05・0.1・0.2 を埋め込み、今と同じ選手単位ブートストラップの95パーセンタイルが真値以上になった割合。200回 × 400回、ツモの良さだけ 60回 × 200回）: 持続する割合の上限は全指標で 0.82〜0.89、1シーズンの割合の上限は配牌 0.96〜0.99、配牌のドラ・赤 0.93〜0.95、ツモ 0.92〜0.98、裏ドラ 0.81〜0.87、一発 0.87〜0.89、運による獲得ポイント 0.82〜0.88。名目の 0.95 に届かず、上限は低めに出る。検証ページ 4.3 に注記した。出し方の見直し（検定の反転など）は未着手。
• ツモの確率: 本人から見えない牌をすべて山にあるとみなす今の確率（向聴数ごとに尺度を合わせたもの）では、残差が巡目で偏る（1〜6巡 +0.55、13巡以降 −1.45 ポイント）。他家3人の手牌も除いて確率を出すと、どの巡目・副露・リーチの有無でも残差はほぼ 0（|0.04| ポイント以内）で、尺度合わせも不要（予測の平均 25.3%、実際 25.4%）。4試合に1試合（約29万ツモ）で確認。V3g の「13巡以降で低い」はこの近似による。確率の差し替えは未着手。
• 「手が進んだか」は、ツモ後の14枚の向聴数（最善の打牌をしたとき）で判定しており、本人が実際に切った牌には依存しない。

16. 運補正の改訂と検証方法の再設計（実行前に記入）

15章の監査を受けて、次の実験を事前登録する。

16.1 目的と、今回の事前登録の位置付け

本検証の目的は、運補正による分散減少を維持しつつ、選手の打ち方に由来するポイント差を取り除いてしまう危険を減らすことである。

15章の監査結果は探索的な結果として扱う。既存のMリーグ牌譜と既存ボット対戦は、改訂方針の選択に使用済みであり、今回の事前登録によって未使用データになるわけではない。

確認的な評価には、新しい乱数で生成した模擬データとボット対戦を使う。既存牌譜での比較は、手順を固定した再解析として報告する。

次の３点は区別する。

1. 補正量に選手ごとの系統的な差が検出されるか。
2. その差の上限が、実用上許容する範囲に収まるか。
3. 補正によって成績のばらつきが減るか。

非有意であることだけを理由に「偏りがない」「合格」とは判定しない。

16.2 改訂内容と比較する４つの版

次の４版を作る。主要な改訂候補はDに固定し、結果を見て最もよい版を選ばない。

４版で対象試合、除外条件、回帰モデルの形、学習・評価の分割をそろえる。特徴量の変更に伴う係数は、それぞれ学習データだけで推定し直す。

一発率は成績・打ち方に関係する記述指標として残すが、Dでは運補正に使用しない。

待ち枚数などから一発の条件付き期待値を推定する方式は、今回の候補には含めない。相手の打牌や鳴きの影響を十分にモデル化できるかという別の問題が生じるためである。

15章の結果は、一発除外によって偏りが小さくなる可能性を示すが、混入の消失を証明していない。一発除外後の区間 −1.93〜+0.64pt/半荘も、後述する±1ptの同等性基準には達していない。

16.3 先に行うツモ確率と補正式の実装監査

他家の手牌を使う目的は、選手の判断の優劣を評価することではなく、実際のツモに対応する偶然の確率を測定することである。

各ツモの直前状態を牌譜から再現し、その時点の全員の現手牌、河、副露、既に公開された表示牌を重複なく数える。未来のツモ、未来の打牌、後で公開される裏表示牌などは使わない。

未公開の王牌は、内容を知らないまま残余牌の集合に含める。通常のツモ位置と未公開の王牌位置の交換可能性が成り立つ条件で確率を計算する。「実際の王牌の内容」を事後に取り出して除く処理は行わない。

以下を個別に確認する。

• 赤牌を含む全牌の枚数保存、二重計上、負の残枚数。
• 河から副露へ移った牌の扱い。
• 暗槓・明槓・加槓、嶺上牌、表示牌の公開時点。
• 槓に伴う牌山と王牌の処理。
• 親の最初の14枚と、牌譜上の擬似的な最初のツモ。
• 「手が進んだ」の判定が、ツモ後の実際の打牌に依存しないこと。
• ツモ確率が0以上1以下であること。
• 同じ直前状態のまま未来の牌順だけを変えても、その時点の予測確率が変わらないこと。

小さな人工的な牌集合では、可能な抽選を全列挙し、計算した進展確率と一致することを確かめる。浮動小数点誤差を除く不一致は０件を要求する。

実牌譜で不正な状態が見つかった場合は、原因と件数を記録する。除外はデータ不備の規則に従い、選手や結果に応じて判断しない。稀な槓の状態を確かめられない場合は、その範囲を未検証と明記する。

補正式についても、次を監査する。

• 評価対象試合の結果が回帰係数の学習に入っていないこと。
• 運補正に、根拠なく非ゼロの切片や通常の状況効果を加えていないこと。
• 状況による重み付けが、原則として当該の偶然より前の情報で決まること。
• 平均ゼロの残差を二乗するなど、平均ゼロを保たない変換を無条件に使用していないこと。