Thomson-1.0-Small、200Bトークンの継続学習で専門能力を強化するも、重みのライセンスが本番利用を制限

Thomson ReutersはImperial College London、DatologyAI、Lambdaと共同で、Thomson-1.0-Smallの重みと技術レポートを公開した。既存のオープンウェイトモデルを専門分野向けモデルへ転換する際、組織がゼロから事前学習する必要はないことを示そうとする取り組みだ。Qwen3.6-35B-A3BのMoEアーキテクチャを踏襲し、総パラメータ数は350億、各トークンで約30億パラメータを有効化する。ネイティブコンテキスト長は262,144トークンで、重みにはBF16を採用している。

学習は一度限りの狭い領域でのファインチューニングではなく、3段階の継続学習として実施された。チームはまず、Public AI Constitutionに基づくConstitutional DPOで価値観を再アラインメントした。次に、19兆トークンを超える候補プールから2,000億トークンを選別して継続事前学習を実施した。データは、独自の専門文書、合成リライト、一般能力を維持するためのreplayを中心に構成され、モデルマージによって破滅的忘却を抑制した。最後に、DPO、強化学習、法律分野のIRACなどのドメインオントロジーに加え、ツール利用と引用に報酬を与えるDeep Research harnessを組み合わせた。全工程の計算量は約1.63×10²³ FLOPで、B200 GPU 35,207時間分に相当する。

公式評価における非加重総合平均は74.6で、ベースとなるQwenの71.7を上回った。Harvey Legal Agent Benchmark、文書処理とRAG、汎用エージェントなどの項目でも改善が見られた。ただし、向上は全面的なものではない。Stanford LegalBench、プログラミング、数学、多言語能力では一部の比較対象モデルに依然として後れを取っており、replayは能力間のトレードオフを緩和できても、解消はできないことを示している。エンジニアリングチームは、重みをTransformers、vLLM、SGLangで読み込める一方、PolyForm Strict 1.0.0ライセンスが商用利用と本番環境での利用を制限している点にも注意する必要がある。今後は、独立した再現評価、データ汚染の検査、同等の計算資源を用いた場合の継続学習とRAGまたはより小規模なドメインモデルとの費用対効果の比較に注目すべきだ。