9Bモデル、500ドルのGRPOでカタログ審査を習得――単一ワークフローでフロンティアAPIを上回る

Fermi Senseは、垂直特化モデルの実験結果を発表した。チームはEC商品カタログの審査を繰り返し実行可能な環境として再構築し、モデルに画像、説明文、カテゴリツリー、ツールの実行結果を基に、商品のカテゴリと属性が正しいかどうかを判定させた。各判断は固定ルールによって採点され、その後、GRPOを使ってrolloutを生成し、9Bのオープンモデルを更新した。フロンティアモデルのプロンプトに企業ルール一式を毎回詰め込み続ける方式ではない。

チームは2基のRTX PRO 6000を使用し、1基で軌跡を生成、もう1基で勾配更新を実行した。オープンソースのprime-rlを使って1,000回の最適化ステップを実行し、所要時間は約3日半、GPUコストは約500ドルだった。最終モデルの厳格な評価における生スコアは0.626で、著者が定義した達成可能な上限の87.3%に相当する。未訓練のベースモデルは64.2%、最良のフロンティアAPI構成は76.9%だった。訓練開始から約250ステップで、フロンティアモデルの性能帯を上回った。著者の推定では、推論コストは商品1,000点当たり0.50ドルで、比較対象となった最安のAPIは約40倍高い。最良のフロンティア構成は商品1,000点当たり34ドルだった。

技術的な要点は、9Bモデルがより強力な汎用推論能力を備えていると証明することではない。安定した分類ルール、ツールの使用方法、例外処理をモデルの重みに組み込み、リクエストのたびに長いプロンプトを再送する必要をなくすことにある。この手法は、実行頻度が高く、結果を機械的に検証でき、ルールが比較的安定しているワークフローに適している。一方、作業品質を主観的な議論でしか評価できない場合、GRPOの報酬関数が誤った代理指標を固定化するおそれがある。

現時点の数値は主にベンダーによる自己申告であり、テストセット、訓練後のモデルの重み、乱数シード、完全なコスト明細は公開されていない。また、対象も単一のカタログワークフローに限られている。エンジニアリングチームが今後注視すべき点は、データドリフト、ルール改定後の再訓練コスト、報酬ハッキング、希少カテゴリや店舗ごとに異なる分類体系に対する小規模モデルの汎化能力である。