価値ヘッドの劣化
15b256 の教師あり学習で起きた過去の問題です。価値ヘッドは序盤に改善した後、方策指標が正常なまま学習側の精度だけ低下しました。
観測
100kステップの間、train/value_sign は 20k–30k 付近で最大になり、その後 0.7 台後半まで低下しました。通常の過学習とは見えませんでした。
- 全コーパスの約 35% しか消費していない。
- 方策の学習・検証は最後まで近い。
- 悪化したのは学習側の価値指標そのもの。
つまり、学習途中から価値目的と共有表現が同じ方向へ進まなくなった、と見るのが妥当です。
value_weight = 2.0
価値損失の重みを 2 倍にした実験を行いました。ただし同時に BatchNorm のモメンタムも 0.1 → 0.01 へ変えてしまったため、1 変数だけを変えた実験ではありません。
最終検証値:
| 指標 | 基準 | value_weight=2 |
|---|---|---|
| 方策損失 | 1.854 | 1.898 |
| 方策 top1 | 0.4943 | 0.4797 |
| 価値損失 | 0.1743 | 0.1805 |
| 価値符号一致率 | 0.7615 | 0.7454 |
重みを増やした側は学習序盤の価値精度が高かったものの、同じように低下し、最終検証値は全項目で悪化しました。
判定
この実験を根拠に value_weight = 2.0 は採用しません。
ただし BatchNorm のモメンタムも同時に変えているため、「差のすべてが value_weight 単独の効果」とは断定しません。
有力仮説: ラベル分散
教師データには次の 2 種類の価値があります。
value_z— 最終対局結果。value_q— その局面での教師探索価値。
value_z はほぼすべて ±1 ですが、corr(value_z, value_q) は約 0.65 です。互角な序盤局面でも、ずっと後の出来事によって極端な勝敗ラベルが付きます。
そのため次の安価な実験は、損失重みではなく教師信号の混合比です。value_q_ratio を上げ、より分散の小さい探索価値へ寄せます。
この実験ではアーキテクチャや正規化を同時に変えません。
その他の仮説
- 価値ヘッド容量: 可能性はあるが、「一度改善してから落ちる」形を説明しにくい。
- 学習率との相互作用: 低下開始時期が似ているため候補。別実験が必要。
- 指標と棋力のずれ: 教師ラベル上の価値符号一致率が棋力へそのまま対応するとは限らないため、最終判断は外部対局で行う。
この記録の役割
このページから言えるのは、価値損失の重みを単純に増やす方法は成功せず、次は z/q 混合比を単独で試すべき、という点です。