CUA-S1-FORMS、70万パラメータでフォーム操作を判断、重みと学習手順を公開

Cuaチームは9月19日、Hacker NewsでCUA-S1-FORMSを紹介した。フォーム操作におけるフィールドの対応付けを、約70万6000パラメータ、元のチェックポイントが約2.8 MBという小型モデルに任せる。モデルは構造化されたインターフェース要素と文書から抽出された値を読み取り、入力、チェック、クリック、スキップのいずれかを選択する。スクリーンショットは使用せず、フィールドに入力する内容も自ら生成しない。チームは学習用コードと実行処理との統合コードを公開している。[チームの説明](https://news.ycombinator.com/item?id=49767564)

モデルはバイト埋め込みと2層のTransformerエンコーダーを採用し、幅は128、アテンションヘッド数は4。さらに、選択肢に対するアテンション機構で候補アクションのスコアを算出する。フォーム要素はバッチでスコアリングできるが、各要素の判断は独立しており、入力、チェック、送信の順序はアプリケーションが決める。この分担により、エンジニアは反復的な判断をローカルの分類器に任せつつ、ワークフローと実行の制御を別途維持できる。[モデルカードと重み](https://huggingface.co/cua-ai/cua-s1-forms)

学習には1万件の合成シナリオを使用し、同義のラベル、類似フィールド、判断を惑わせるデータを加えた。学習データとテストデータは、フィールドの組み合わせ全体を単位として分割している。公開データには、3つのデモ用フォームページと3つのPDFからなる196件の判断も含まれ、モデルカードでは、この小規模な実例評価で全問正解したと報告されている。ただし、この結果の分母は個々の判断であり、複数のWebサイトや言語にまたがるフォーム入力全体の成功率と直接みなすことはできない。[データセット](https://huggingface.co/datasets/cua-ai/cua-s1-forms)、[評価結果](https://huggingface.co/cua-ai/cua-s1-forms)

再検証では、フィールドの選択ミス、必須フィールドのスキップ、重複送信、フォーム全体の完了率をそれぞれ分けて記録すべきだ。容易なスキップ判断が大量にあることで、データを書き換える少数の誤操作が見えにくくなるのを防ぐためである。チームが測定したローカルでのフォームのスコアリング時間は約7〜9ミリ秒だが、文書解析、インターフェースの観測、実際の操作にかかる時間は含まれていない。比較対象のクラウド版Jevは同じタスク向けにファインチューニングされておらず、呼び出し時間にはネットワーク遅延も含まれるため、この結果から汎用モデル間の速度や能力の順位を導くことはできない。[テスト条件](https://news.ycombinator.com/item?id=49767564)

導入時には実行上の制約もある。ソースコードはデフォルトでは計画の生成のみを行い、実行と送信はそれぞれ有効化する必要がある。また、変更を加えるたびにウィンドウを再観測する。Driverが互換性のあるフィールド書き込み機能を宣言していない場合、入力操作は拒否される。[実行インターフェースの説明](https://raw.githubusercontent.com/trycua/cua/main/libs/cua-s1/README.md)

中国語の利用者には、特に再テストが必要だ。モデルのラベルは主に英語で、コンテキストは224バイト、選択肢は96バイトで切り詰められる。この制限では、複数バイトを使う中国語の文字は収まる文字数が少なくなる。今後注目すべきなのは、繁体字中国語のフィールド、未知のレイアウト、エラー復旧のテストに加え、スコアを判断保留のしきい値として信頼して使えるかどうかだ。[モデルの制約](https://huggingface.co/cua-ai/cua-s1-forms)