自己対局計画

このページは実装状況と次の候補だけをまとめます。論文要約は 関連論文、初期失敗の分析は 自己対局の停滞、優先度は 改善計画 を参照してください。

状況

項目	状態	備考
value_weight 実験	完了・不採用	2 倍にしても劣化は止まらなかった
Gumbel AlphaZero 探索	実装済み	逐次 + バッチ探索
自己対局記録生成	実装済み	dl-manaka-selfplay
Playout Cap Randomization	実装済み	一部着手だけ完全探索
リプレイ窓 / 昇格判定	実装済み	gen11 系列で使用
RGSC による開始局面選択	候補	未実装
不確実性による分岐	候補	未実装
RMCTS への置換	保留	Gumbel と併用する追加機能ではない

現在の流れ

親の重み
  → Gumbel MCTS 自己対局
  → 疎な方策 + z/q 教師信号
  → リプレイ / シャード
  → 子モデルを学習
  → 親との 昇格判定
  → 外部基準で測定
  → 昇格または棄却

探索は着手選択器であると同時に教師です。最初の停滞から、ネットワークに余力があっても探索が弱ければ学習信号も弱くなることが分かりました。

探索量

バッチ探索により深い教師を現実的に生成できるようになりました。その後の測定では 512シミュレーションまでは大きく伸び、1024 では追加効果が小さくなっています。現在は 512シミュレーションを主要な教師深さとして比較します。

Playout Cap Randomization は、一部の着手だけ完全探索し、その着手だけを方策教師として記録します。軽量探索の着手は対局を進めるために使いますが、同品質の教師とは扱いません。

候補: 後悔値による開始局面選択

RGSC は、過去のネットワーク評価と最終結果が大きく食い違った局面から対局を始めます。既に理解している序盤を繰り返すより、実際に判断を外した局面へ自己対局計算を集中させる狙いです。

導入する場合は単独で比較します。最初は専用の後悔値推定ネットワークを作らず、実測した予測誤差を優先度に使う簡易版でも検証できます。

候補: 不確実性による分岐

UGE 系は不確実な局面から複数の続きを指し、結果を平均して価値ラベルの分散を下げます。z のノイズと価値ヘッド劣化仮説に直接関係します。

z/q 混合比の変更より高コストなので、安い実験を先に行います。

組み合わせのルール

• RGSC と不確実性分岐を同じ実行に入れない。
• 意味のある学習変更後は固定外部基準を測る。
• 探索・データ選択・価値教師の変更は可能な限り別々に測る。
• 教師生成の高速化は 1時間あたりの対局数だけでなく教師品質も確認する。

次に試すこと

1. value_q_ratio の比較実験。
2. 512シミュレーション教師と 仮想損失の品質比較。
3. 価値側が引き続き弱ければ 後悔値を使った開始局面を試す。
4. Gumbel 自体が実測上のボトルネックになった場合だけ別探索を再検討する。