Transformers、D1 Omniのネイティブ統合案を提出　マルチモーダル決定と微調整用インターフェースを追加

Transformersコミュニティのコントリビューターは11月6日、AutoModelForDecision、AutoProcessor、決定パイプラインを通じて、Liquid AIのd1-omni-600Mをネイティブにサポートする草案PRを提出した。主な変更点は、既存のチェックポイントを視覚・音声ブランチとともに読み込む際にtrust_remote_codeを有効にせずに済むようにし、標準の学習インターフェースにも接続することだ。現時点では開発段階の提案である。統合案

D1 Omniは10月に公開されており、今回のニュースの焦点はフレームワークへの統合だ。このモデルは双方向エンコーダーを基盤とし、テキストと画像または音声を入力として受け取り、1回のフォワードパスで選択肢の分布を直接読み出す。これにより、はい・いいえ、選択、スコアリングの結果を返し、テキスト生成や回答の解析を省ける。このインターフェースは、エージェントのルーティング、意図分類、コンテンツ検査など、決まった判断を行う用途に適している。公式アーキテクチャ解説

導入にあたっては制約も考慮する必要がある。モデルの実際のパラメーター数は約5億8,700万で、1つのリクエストに画像と音声を同時に含めることはできない。音声の長さは最大30秒で、学習タスクは主に英語でのユーザーとアシスタントのやり取りを対象としている。モデルカードでは推論速度が公表されていないため、中国語音声での性能や実際のレイテンシーをそのまま推定することはできない。モデルカード

草案ではさらに、クロスエントロピー学習損失を追加し、ラベルの無視、選択肢のパディング、Trainerによる更新をサポートする。作者は、これはローカルモデルのインターフェースに合わせた学習実装であり、Liquid AIが公開していない元の学習目標を再現するものではないと明記している。校正が適用されるのはテキスト推論時のみで、学習には未校正のlogitsを使う。作者の報告によると、公式の重みをCPU上で読み込んだ際に欠落・余剰テンソルはなく、公開元の出力との最大確率差は約4.53×10⁻⁶だった。ただし、CUDAでの検証はまだ完了していない。実装と検証の記録

エンジニアリングチームにとって、ネイティブ統合が完了すれば、既存のデータ処理や微調整のワークフローをより簡単に再利用できる可能性がある。今後は、草案と依存する決定インターフェースがマージされるか、GPUで数値的一貫性が保たれるか、中国語データでの分類品質と確率校正がどうなるかを確認する必要がある。現時点で、このサポートを正式に提供するリリースはない。