凍結したQwen3-8Bでも「能力拡張」が生じる――研究、自律的改善の評価に実測による帰無ベースラインの導入を要求

モデルが「自律的に改善」したかどうかを判断するには、訓練前後の平均正答率を比較するだけでは不十分だ。最近の研究ではさらに、各設問が不正解から正解に転じたか、正解から不正解に転じたかを追跡することが多い。しかし、この設問単位の遷移は、実際にはノイズを含む2つの推定値の差にすぎない。University College Dublinなどの研究者は、Qwen3-8B、3ラウンドのrank-32 LoRA訓練、完全に凍結したcontrol modelを用いて同一のpipelineを再実行し、結論を覆し得る7種類の測定上の失敗を特定した。

最も直接的な問題は、temperature 0でもbatch inferenceがビット単位で決定論的になるとは限らないことだ。凍結モデルをそれ自身と比較した場合でも、1回限りのgreedy decodingによって、6問が「新たに学習された」、9問が「破壊された」と判定された。requestをserialに処理しても、判定の約2%が反転した。もう1つの一般的な指標であるexpansion rateは、基盤モデルが128回のsamplingですべて失敗し、訓練後に少なくとも1回成功した場合を能力拡張とみなすが、未訓練モデルに対してさえ0.280という値を示した。成功閾値を引き上げても問題は解消しなかった。110組の凍結比較で測定された帰無値は依然として0.058で、95%区間は0.038～0.078だった。

チームは代わりに、訓練済みモデルと複数回の独立評価をpoolして得たbaselineを設問ごとのexact testで比較し、その後false discovery rateを制御した。この手法では、すべてのhold-out凍結レプリカについて変化が一切検出されなかった。3種類のself-trainingと外部teacherによるdistillationに適用すると、teacherは基盤モデルの正答が極めて少なかった22問のうち8～11問を改善した一方、self-trainingが改善したのは0～2問にとどまった。基盤モデルがsampling中に一度も正答しなかった10問については、依然として統計的証拠が不十分だった。

これは、self-trainingに価値がないという意味ではない。7つすべてのtraining armで、最終的にpass@1を達成した設問は、基盤モデルがすでに128回のsampling中に少なくとも1回は正答していた。この結果は、手法が低確率の正答を「sharpening」し、安定した出力へ変えられることを示している。一方で、既存の正答を損なう可能性もあり、truncation rate、batch構成、training seedはいずれも能力変化を装い得る。今後の評価では、複数のcheckpoint 0レプリカを保持し、設問ごとにsamplingを繰り返すとともに、各遷移統計について実測したnoise floorを個別に報告すべきだ。