模型訓練／LLMOps
Togetherのファインチューニングサービス、LoRAでMoEエキスパートを直接訓練可能に――trainerへ実際に渡されるトークンの確認にも対応
Together AIは、Expert LoRA、サンプル単位の重み付け、学習前のデータ検証、リアルタイム指標を追加した。これにより開発者は、アテンションだけでなくMoEのエキスパート層も制御できる。公式実験では知識再現率が15%から最大89%に向上したが、比較の規模は限定的で、現時点ではエキスパート用adapterとアテンション用adapterを併用できない。
Together AIは9月11日、マネージドファインチューニングサービスを拡充した。技術面で特に注目されるのがExpert LoRAだ。一般的なLoRAでは通常、低ランクadapterを`q_proj`や`k_proj`などのアテンションモジュールに追加する。一方、MoEではパラメータとドメイン知識の多くがエキスパートのフィードフォワード層に存在する。新しいインターフェースでは、`lora_trainable_modules`で`w_up`、`w_gate`、`w_down`を指定でき、エキスパート間で低ランク因子を共有する構成によってadapterのサイズを制御できる。
TogetherはGemma 4 26B‑A4BとQwen3.6 35B‑A3Bに200件の架空の事実を注入し、エキスパート層を訓練した場合の再現率は最大89%に達したのに対し、アテンションのみに限定したバージョンでは最大15%だったと報告している。MMLU‑Proでの比較は75.3%対71.5%だった。チームは、アテンションだけを調整すると、ルーティングされた一部のエキスパートが徐々に関与しなくなるとみている。ただし、これはベンダーが設計した限定的な知識注入実験であり、あらゆる分野のファインチューニングで同程度の改善が得られると結論づけるには不十分だ。
今回の更新では、ファインチューニングパイプラインでよく発生するものの見落とされやすいデータ上の問題にも対処した。ユーザーは学習開始前に、実際のtokenizerとchat templateを適用した後のトークン、loss mask、切り捨て状態を確認できる。完了後には、tokenization、packing、collationを経てtrainerが実際に受け取ったデータのサブセットもダウンロード可能だ。サーバーはメッセージのrole、tool callの対応関係、推論フィールド、preference data、画像のデコードを事前に検証する。また、サンプル単位のloss weight、packingの切り替え、gradient accumulation、early stoppingに対応し、APIまたはCLIからステップごとのloss、gradient norm、learning rateを取得できる。
デプロイ上の制約は事前に確認する必要がある。Expert LoRAを利用できるのは、指定されたMixtral、DeepSeek、Kimi、Nemotronモデルに限られる。また、1つのジョブでエキスパートモジュールとアテンションモジュールを同時に指定することはできない。エキスパート用adapterは完全な重みにmergeされないため、専用endpointでservingする必要がある。記事で触れられている、学習中の中間adapterを直接デプロイする機能はまだ予告段階であり、現行の本番ワークフローには組み込めない。