最新模型
Togetherのファインチューニングサービス、LoRAでMoEエキスパートを直接訓練可能に――trainerへ実際に渡されるトークンの確認にも対応
Together AIは、Expert LoRA、サンプル単位の重み付け、学習前のデータ検証、リアルタイム指標を追加した。これにより開発者は、アテンションだけでなくMoEのエキスパート層も制御できる。公式実験では知識再現率が15%から最大89%に向上したが、比較の規模は限定的で、現時点ではエキスパート用adapterとアテンション用adapterを併用できない。