JSONを要求するだけで44モデルの回答が収束、構造化出力がモデルの判断を変える可能性

新たな研究では、44の言語モデルを用いて「One-Word Census」を再実施した。これは、31の質問それぞれに、同程度に妥当な単語の回答が多数存在するテストだ。実験ではプロンプトに「JSONのみで回答する」という指示を追加しただけで、JSON Schema、function calling、constrained decodingは使用していない。その結果、最も自由度の高い「単語を1つ選ぶ」問題では、最多のモデルが共通して選んだ回答の割合が41%から64%に上昇し、異なる回答の数は52個から36個に減少した。回答の平均surprisalも1.80 bitから1.58 bitに低下した。

研究ではさらに形式ごとの差を比較し、JSONとXMLはいずれも回答分布を有意に圧縮した一方、YAMLとCSVでは同様の効果が見られなかった。任意の括弧で囲む形式では、分布がわずかに分散することさえあった。デコーダーでschemaを強制した場合も、単純なプロンプト指示を明確に上回る圧縮は見られなかった。このため著者らは、偏りはデコーダーが不正なtokenを除外することで生じるのではなく、モデルが「ツール利用またはデータ交換のレジスター」を認識した時点で主に発生すると推論している。もともと比較的独自性の高い回答を選んでいた一部のモデルが集団の最頻値へ戻ったことから、ツール利用に関するpost-trainingによって、内容面の選好も同時に組み込まれている可能性が示された。

エージェントやバッチデータパイプラインにとって、これはチャットインターフェース上のモデル比較がproduction APIでの挙動を必ずしも直接反映しないことを意味する。分類、推薦、ブレインストーミング、合成データ生成の結果をJSONで収集する場合、形式要件によって候補のカバレッジが低下し、複数モデルからなるシステムで共通エラーの相関が高まる可能性がある。エンジニアリングチームは、自由テキスト、プロンプトによるJSON指定、デコーダーによるschema enforcementを別々の評価条件として扱い、フィールドごとに回答分布と正確性を比較できる。ただし、この研究で使用されたのは意図的に設計された単語選択問題であり、唯一の正解がある抽出、function calling、複雑な推論タスクにおいて、収束が実質的な品質低下をもたらすことはまだ証明されていない。