ネットワーク比較

2026-08-26 の測定記録です。Manaka の 12 種類の重みを、同じ 16,384 局面の検証用データで評価し、方策の交差エントロピー（CE） と top1 の順位を比較しました。

結論から言うと、2 指標の順位は一致しません。

条件

manaka-train に検証専用コマンドがないため、各重みは検証前に 1 ステップだけ追加学習されています。約 293,000 ステップの 1エポックに対する 1 ステップなので影響は小さいとみなしますが、条件として記録します。

全実行で同じ検証用データと既定の --q-ratio 0.5 を使用しています。

結果

CE の小さい順。gap は top1 順位 − CE 順位です。

構成	検証 CE	CE順位	top1	top1順位	順位差	value_sign
f4	2.6336	1	.3325	3	+2	.6885
pairtie	2.6550	2	.3267	6	+4	.6909
ks	2.6911	3	.3307	4	+1	.6973
m16	2.6924	4	.3262	7	+3	.6802
f2	2.7213	5	.3369	1	−4	.6936
order2	2.7272	6	.3292	5	−1	.6973
pair0	2.7392	7	.3219	9	+2	.6980
lse4ks	2.7407	8	.3159	11	+3	.6789
h2256	2.7720	9	.3105	12	+3	.6637
pair64full	2.7871	10	.3339	2	−8	.6755
base	2.8009	11	.3199	10	−1	.6902
lse4	2.8109	12	.3232	8	−4	.6915

CE と top1 の Spearman 順位相関は +0.476。

分かったこと

• CE と top1 は同じ指標として扱えない。
• pair64full が最も分かりやすく、top1 では 2 位だが CE では 10 位。
• この重み群では pair0 が base を両指標で上回る。ただし、古い Elo 対局は別の重みなので矛盾ではない。
• h2256 は両指標で弱く、古い Elo の傾向とも一致する。

古い Elo 順位もある 8 構成では、top1 の方が CE より強く相関しました（+0.738 対 +0.405）。ただし重みが違うため、どちらの指標が正しいかの証明には使いません。

次の測定

この 12 個の同じ重みで Simulations = 0 の総当たりを行います。Elo・CE・top1 を同一重みに揃え、過去比較の最大の交絡要因を除きます。