LittleLearner、事前学習知識を小学5年生レベルに制限—高度な数学への少数ショットプロンプティングでも約6%にとどまる

言語モデルが本当に新たな能力を「学習」したのかどうかは、事前学習データの不透明さによって長年判断が難しかった。後学習後にスコアが向上しても、もともと潜在していた知識を引き出しただけかもしれない。LittleLearnerは逆にデータ源を制御し、FineWeb‑Eduから880億tokenのLittleCurriculumを構築して、米国の幼稚園から小学5年生までのレベルの内容だけを残した。このパイプラインでは、語彙の習得年齢、LLM分類器、カリキュラム規則、記号フィルタリングを組み合わせている。小学5年生を超える126組の概念n‑gramを走査したところ、一致が見つかった保持済みパッセージはわずか0.09%だった。

チームはQwen3アーキテクチャに基づき、0.6B、1.3B、5Bの3種類のモデルをゼロから学習させた。また各規模について、アーキテクチャ、token数、学習レシピは同一ながら、フィルタリングしていないコーパスを使用する対照モデルも構築した。5Bモデルの学習には、約8基のB200を100時間使用した。MathCAMPSによる評価では、パラメータ数を増やすことでK–5と、それに近い小学6年生および中学1年生レベルの問題では性能が向上した一方、中学2年生レベルの問題はほぼ最低水準のままだった。5Bチャットモデルに自然言語による例を追加すると、K–5の正解率は34.0%から36.8%へ上昇したが、小学5年生を超える範囲では6.0%から5.9%へわずかに低下した。簡略化した代数表現や、質問と回答だけを提示する例では、さらに成績が悪かった。

SFTに続いてGRPOを適用した場合も、結果はほぼ同じだった。範囲外の数学問題を使って制限モデルを後学習しても、フィルタリングしていない対照モデルとの差は縮まらなかった。このためLittleLearnerは、RLが本当に新しい能力を生み出せるのか、継続学習における干渉、モデル知識のキャリブレーションを研究するための、よりクリーンなサンドボックスとなる。モデルと対照モデルの重みは[プロジェクトページ](https://littlelearner-ll.github.io/)で公開されている。ただし、現時点の結論が対象とするのは最大5Bまでのモデル、特定の数学タスク、限られた後学習予算に限られる。また、「カリキュラム外」であることはコーパスに情報漏洩がまったくないことを意味せず、フロンティアモデルへ直接一般化することはできない。