関連論文

DLManaka を蒸留から自己対局へ移行する際に参照した論文です。実装状況は 自己対局計画 に分け、このページでは各研究から何を得るかだけまとめます。

採用候補

Regret-Guided Search Control for Efficient Learning in AlphaZero

Yun-Jui Tsai et al., ICLR 2026 — https://arxiv.org/abs/2602.20809

ネットワークの過去評価と最終結果が大きく食い違った 後悔値が大きい局面 から自己対局を再開する手法です。候補局面は対局軌跡と MCTS 木から集め、優先度を付けて再利用します。

DLManaka では、同じ分布の対局を増やすだけでは効果が小さいことを既に測定しています。そのため、失敗した局面へ計算を集中する方法として候補にしています。

Uncertainty-Guided Exploration for Efficient AlphaZero Training

Scott Cheng et al., NeurIPS 2025 — NeurIPS 論文集。

ラベル変化率から不確実な局面を見つけ、MCTS の複数候補へ分岐し、結果を平均して価値ラベルの分散を下げます。

DLManaka の z ノイズと価値ヘッド劣化仮説に直接関係します。ただし z/q 混合比の変更より高コストなので後段の候補です。

現行設計の前提

Targeted Search Control in AlphaZero for Effective Policy Improvement (Go-Exploit)

Alexandre Trudeau — https://arxiv.org/abs/2302.12359

過去記録から疑わしい局面を選び、そこから自己対局を再開する先行研究です。RGSC に近い発想ですが、RGSC は局面の優先順位付けをより直接扱います。

Policy Improvement by Planning with Gumbel

Ivo Danihelka et al., ICLR 2022 — OpenReview。

現在の DLManaka 探索の基礎です。Gumbel-Top-k と Sequential Halving により、少ないシミュレーション数でも改善方策を作ります。実装仕様は 探索設計 を参照してください。

保留

Search-contempt: a hybrid MCTS algorithm for training AlphaZero-like engines

arXiv: https://arxiv.org/abs/2504.07757

チェスで学習時探索の計算量削減を狙う研究です。DLManaka には既に Gumbel を使った基準実装があるため、現時点では保留しています。

Accelerating Monte-Carlo Tree Search with Optimized Posterior Policies (RMCTS)

Keith Frankston, Benjamin Howard — https://arxiv.org/abs/2601.01301

通常の MCTS 選択を正則化した事後方策の計算に置き換え、幅優先のバッチ化を行います。Gumbel に追加する機能ではなく探索自体の置換候補です。

参考

ReSCALE — Gumbel and Sequential Halving for LLM reasoning

Leonid Ugadiarov et al. — https://arxiv.org/abs/2603.21162

ゲーム向け研究ではありませんが、Gumbel 系で Sequential Halving が重要だという補助的な根拠として参照しています。

PDF

docs/papers/ に一部 PDF がありますが、正本は出版社・arXiv 側です。再配布条件が論文ごとに異なるため、PDF がリポジトリにないことを問題とはしません。