非自己回帰型意思決定モデル「Laya」が公開、多言語版はT4で1問約33ミリ秒

ConvAI Innovationsは9月18日、意思決定モデルLayaの技術解説を公開し、同日にはPythonパッケージの公開も始まった。このプロジェクトはモデルの重みを公開しており、分類、順序尺度による評価、真偽判定の数値結果を直接出力できる。カスタマーサポートの振り分け、文書処理、エージェントのルーティングなどでの利用を想定している。[開発者の説明](https://dev.to/nandakishor_m_6cc0adfde9f/i-built-non-autoregressive-decision-models-a-year-ago-then-a-frontier-lab-called-it-a-18me)、[パッケージの公開履歴](https://pypi.org/project/laya/)

中核となるのは、双方向エンコーダーと意思決定ヘッドの組み合わせだ。各候補選択肢にマスクトークンを配置し、モデルがスコアを算出した後、同じ質問の選択肢に対してsoftmaxを適用する。英語版は約4億2,100万パラメーター、多言語版は約3億2,200万パラメーター。呼び出し側はリクエスト時に選択肢を定義でき、回答を逐次生成する必要はない。これによりテキストの解析処理や形式の誤りを減らせるが、分類の誤りや過度に高い確信度は依然として生じ得る。[モデルカード](https://huggingface.co/convaiinnovations/laya)

学習にはRLCDを採用し、厳密にプロパーなスコアリングルールで確率分布に報酬を与え、方策勾配法で更新する。この学習目標は理論上、正直な確率予測を促すが、新しい領域でも良好なキャリブレーションが保たれるとは限らない。モデルカードは、自分のデータで温度パラメーターを再調整するよう明確に求めている。また、汎用の重みでは、一部のワークフローで多数派クラスを予測するベースラインを下回ることも認めており、より高いスコアは専用にファインチューニングしたバージョンで得られたものだ。[アーキテクチャと制約](https://huggingface.co/convaiinnovations/laya)

開発者の測定では、多言語版がT4で1問を処理する時間は約32.8ミリ秒、10問のバッチ処理は合計72.3ミリ秒だった。デプロイ時には、別途コールドロードのコストもかかる。ルーターはデフォルトで1組のモデルだけを保持するため、言語が交互に切り替わると再ロードが発生する可能性があり、ドキュメントに記載されたT4での所要時間の中央値は10.3秒に達する。複数の重みセットを事前にロードすれば切り替え時の待ち時間を減らせるが、常駐に必要なメモリー容量を各自で見積もる必要がある。[デプロイの説明](https://pypi.org/project/laya/)

繁体字中国語については、確認可能な数値がすでに公開されている。開発者はMASSIVEを使った20択の意図分類テストで、多言語版の`zh-TW`の正解率を54%、期待キャリブレーション誤差を0.327と報告している。これは評価可能な中国語の処理能力を示す一方、確率の推定には依然としてずれがあることも示している。選択肢が多い場合は意思決定ヘッドのトークン予算も分割され、選択肢のテキストが切り詰められると、互いに区別しにくくなる可能性がある。[公開評価結果](https://github.com/NandhaKishorM/laya/blob/main/BENCHMARKS.md)

エンジニアリングチームにとって、公開された重みと評価プログラムは、ローカルで動く高速な分類器を構築する出発点となる。次の段階では、繁体字中国語の業務データを使って正解率、回答を拒否するしきい値、選択肢の順序に対する感度を確認し、レイテンシーのテストにコールドロードも含めるべきだ。複数言語が混在するトラフィックについても個別に負荷テストを行い、平均値によって切り替え時の待ち時間が見えなくなるのを避ける必要がある。このプロジェクトとJevの比較は、異なる情報源、プロンプト、サンプルを使用しており、現時点では公平な直接比較による優劣の判定とは見なせない。[比較条件](https://github.com/NandhaKishorM/laya/blob/main/BENCHMARKS.md)