Thomson Reuters、200BトークンでQwenを継続学習、35B法律モデルを非商用研究向けに公開

Thomson Reutersは、初の独自Thomsonモデルファミリーを発表し、350億パラメータのThomson-1.0-SmallをHugging Faceで公開した。このモデルはゼロから事前学習されたものではなく、Qwen3.6-35B-A3Bを起点に、Snowdon中間チェックポイントを経て継続学習された。重みはTransformers、vLLM、SGLangで読み込めるが、ライセンスにはPolyForm Strict 1.0.0が採用され、学術および非商用目的での利用に限定されているため、一般的なオープンソースモデルとは見なせない。

公式発表によると、中間学習では19兆トークンを超えるデータプールから2000億トークンを選定した。データは主に、独自文書、文書の合成リライト、壊滅的忘却を防ぐための汎用能力リプレイデータの3種類で構成される。ポストトレーニングではさらに、DPO、強化学習、法律分野のIRACなどのドメインオントロジーから派生したデータに加え、忠実なツール利用と引用を促すDeep Researchの軌跡データも投入した。全工程では約35,207 B200 GPU時間と1.63×10²³ FLOPを消費した。会社によれば、モデル計画全体への投資額は4000万ドルに上る。

同一の評価パイプラインでは、Small版の総合平均スコアは74.6で、ベースとなるQwenの71.7を上回った。Harvey Legal Agent Benchmarkは69.5から73.4へ、PRBench Hardは26.9から31.4へ向上した。ただし、すべての結果が改善したわけではない。Terminal-Bench 2.1は45.2から40.5へ低下し、Humanity’s Last Examも14.1から13.4へ下がった。これは、リプレイデータがドメイン継続学習に伴うトレードオフを軽減できても、完全には解消できないことを示している。

今回の発表で注目すべきなのは、「法律モデルがフロンティアモデルを超えた」という宣伝ではなく、企業が非公開コーパスを教師信号へ変換しつつ、デプロイ可能な小規模MoE基盤をどのように維持したかという点だ。エンジニアリングチームは今後、第三者による再現、データ汚染の分析、実運用における引用の正確性テストを待つべきだろう。現時点のスコア、データレシピ、コストの数値は、依然として主にベンダー自身が提供したものだ。