IFM、Jais 3アラビア語モデルファミリーを公開　段階別の重みと訓練レシピも提供

MBZUAI傘下のInstitute of Foundation Models（IFM）は10月15日、Jais 3を公開し、アラビア語モデルの用途を文書編集、検索、複数ステップのツール操作へと広げた。このファミリーはK2 Horizonをベースとし、4種類のDenseモデルと、36B-A4Bおよび375B-A23Bの2種類のSparseモデルで構成される。モデルとコードにはApache 2.0ライセンスが適用される。公式発表

技術面で注目されるのは、言語適応のプロセスだ。チームは後学習済みの基盤モデルを出発点に、継続事前学習、クーリングトレーニング、教師ありファインチューニング、選好最適化、強化学習を順に実施した。継続事前学習ではアラビア語データと元モデルのデータを混合し、新たな言語能力と既存の知識の両立を図っている。エージェント能力は主に教師ありファインチューニングのツール実行トレースから得られ、最後の強化学習ではエージェントタスクを使っていない。この構成により、研究者は言語適応とツール能力の源泉を切り分けて検証できる。訓練プロセス

デプロイ面では、最小モデルを除く全モデルが512Kコンテキストに対応するとされる。最小モデルのコンテキスト長は128Kだ。7BモデルカードにはvLLMとSGLangでの起動方法が記載されており、推論とツール呼び出しの両方でk2_horizonパーサーを使う。ツール引数の形式にはJSON、XML、型付きXMLを選べる。エンジニアがモデル出力を実際のツール実行ループに接続するには、チャットテンプレートとパーサーをあわせて設定する必要がある。7Bモデルカード

再現可能性も今回のリリースの重要な要素だ。モデルカードには、継続事前学習、クーリング、教師ありファインチューニング、選好最適化の各段階に対応する重みのブランチが記載され、訓練ログへのリンクもある。公式コレクションでは、量子化版、GGUF版、Apple silicon向けのMLX版も提供されている。一方、7Bモデルカードでは技術レポートとコードリポジトリが「近日公開」とされているため、研究資料がどこまで揃っているかは個別に確認する必要がある。公開資産、モデルコレクション

評価結果の解釈には注意が必要だ。公式評価では一部のアラビア語テスト問題をクリーニングし、生成された回答を採点する方式に変更しているため、従来のベンチマークスコアとそのまま比較することはできない。モデルカードによると、報告された結果は高い推論強度の設定で得られたものだ。日本の技術チームにとって、この段階別の資産は他言語への適応研究の参考になりうる。日本語能力、長いコンテキストを扱う際のメモリ要件、実運用でのエージェントの遅延については、独自に検証する必要がある。評価の説明、使用上の制限