Sarvam、選択肢の確率を単一のフォワードパスで出力する意思決定モデル「Prism」の重みを公開

Sarvamは11月3日、Sarvam 105Bをベースにした意思決定モデル「Prism」を発表した。このモデルは状況、質問、あらかじめ定義された選択肢を受け取り、各選択肢の確率を直接出力する。カスタマーサポートの振り分けや、エージェントの実行結果の判定などでは、トークンを逐次生成して回答を作り、その後に解析する工程を省ける。重みはApache 2.0ライセンスで公開されている。発表

PrismはLoRAでファインチューニングされ、小型のスコアリングヘッドで確率を生成する。注意機構の設計では、状況と質問のブロックは双方向に参照できる一方、各選択肢が参照できるのは共通の状況とその選択肢自身に限られる。最後に、回答マーカー上で各選択肢のスコアを集約して比較する。学習では、ラベルスムージングを適用したクロスエントロピー損失とBrier損失を組み合わせ、過度に自信のある誤判定を減らすことを目指す。選択肢は固定順で採点し、入力順の違いによるばらつきを抑えている。技術解説

公式モデルカードによると、B200 1基でロード完了後、公開されているDecision Indexからランダムに選んだ1,000件のリクエストを逐次処理した場合、遅延の中央値は44ミリ秒、第95パーセンタイルは420ミリ秒だった。この差から、エンジニアリングチームは自社の入力長とテールレイテンシを測定する必要があり、中央値をサービス保証とみなすことはできない。セルフホスティングには、FP8に対応し、約120 GBの利用可能メモリを備えたNVIDIA GPUが必要となる。重みは独自形式のため、付属の推論プログラムと組み合わせる必要があり、汎用推論サーバーにそのまま読み込ませることはできない。モデルカード

デプロイ時にはコンテキスト長にも違いがある。公開モデルカードでは1問あたり131,072 tokensだが、ホスト型APIのドキュメントでは1問あたり32,768 tokensに制限され、同期JSONレスポンスを返す。APIは単一選択、Yes/No、順序尺度の質問に対応しており、確率のしきい値を自動処理や人手による確認のフローにつなげられる。接続前に、セルフホスト版とクラウド版それぞれのインターフェース制限を確認したい。APIドキュメント

現時点での性能と校正結果は主に開発チームのテストに基づき、一部の比較では内部データセットや再構成した指標が使われている。公式に挙げられている言語は英語とインドの言語が中心で、繁体字中国語でも同等の精度が得られるとは限らない。中国語を使うチームは、実際のチケットやエージェントの実行履歴を使い、選択肢の表現、信頼度のしきい値、データ分布の変化後の誤判定率を検証してから、自動実行の範囲を決めるべきだ。評価方法、対応言語