最新模型
Perplexity、Decider v1.3を公開 文字抽出に文字位置情報を追加
Perplexityは11月12日、Decider v1.3とFlash版を公開した。決定モデルに分類・スコアリング・原文スパン抽出機能が加わった。Apache 2.0ライセンスで提供されるが、セルフホスティングには専用の推論インターフェースが必要で、バッチ処理や確率校正の影響も検証する必要がある。

Perplexityは11月12日、Decider v1.3とDecider Flash v1.3を公開した。新機能のLocateでは、自然言語の指示に基づいて文書から原文を抽出し、開始・終了の文字位置とスコアを返す。ルーティング、コンテンツ検査、固有表現認識を必要とするシステムにとって、構造化された結果を直接取得する新たな方法となる。公式発表
Deciderは入力と質問をエンコードした後、決定出力層で選択肢の確率を読み取るため、回答をトークンごとに生成する手順が不要となる。新版では、すべての注意層で双方向注意を採用した。Locateにはスパン予測層とLoRAも追加されており、抽出時にのみ有効になる。公式によると、これらを直接統合すると従来の決定能力が低下することが分かったためだ。技術解説
Locateのインターフェースは、返されるテキストが原文の一部と一致することを保証するため、エンジニアは判定結果を文書内の根拠と結び付けやすい。ただし、現時点ではテキストのみを受け付け、画像の内容を直接抽出することはできない。分類と抽出を組み合わせた質問では、引き続き別々に前向き計算を実行する必要があり、レイテンシが増える。また、fast=Trueを指定するとLocateが無効になるため、デプロイ時にはワークロードに応じて処理経路を選ぶ必要がある。モデルドキュメント
性能データは、測定方法を区別して見る必要がある。公式は本番環境のリクエスト100万件を対象に、大型モデルで参照回答を生成して評価した。その結果、Decider v1.3の一致率は93.98%で、前バージョンは93.68%だった。これは判定モデルとの一致度を測る指標であり、人手でアノテーションした正解率ではない。チームは自社の中国語文書と誤りのコストに基づいて、しきい値を評価する必要がある。評価方法
セルフホスティングでは、メインモデルのBF16重みには約49 GiB、Flashには約8.5 GiBのVRAMが必要で、どちらも別途コンピュートメモリを要する。Flashはメインモデルから蒸留されており、同じインターフェースと機能を備えるため、高トラフィックの分類処理を試す際の選択肢となる。メインモデルカード、Flashモデルカード
今後は、サービス実装との互換性に注意が必要だ。チェックポイントは専用の決定ヘッドを使用しているため、デフォルトの因果推論では同じ動作を再現できず、旧版のプロンプトビルダーも置き換える必要がある。公式発表では重みをダウンロードできるとしている一方、モデルカードにはアクセス用トークンが必要との記載が残っている。導入前に実際のダウンロード権限を確認し、ローカルで確率校正を行うべきだ。デプロイ上の制約