D2C-Routing、AIテキスト検出を内容と表現の由来に分解、低誤検知で4クラスTPR 0.8603を達成

北京航空航天大学の研究チームはD2C-Routingを提案し、人間とAIが協働して作成したテキストの由来判定を、単一の二値ラベルから相互に関連する2つの次元へと再定義した。1つは情報と構成が人間またはAIのどちらに由来するか、もう1つは最終的な言葉遣いと文体が人間またはAIのどちらに由来するかである。この2軸を組み合わせてHH、HA、AH、AAの4クラスを構成し、人間が書いた内容をAIが推敲したケース、AIの草稿を人間が書き直したケース、AIが全面的に生成したケースなどを区別できる。

アーキテクチャはまず、異なる言語的証拠を内容用と表現用の教師あり分類ヘッドに入力し、その後、学習可能なgated composition layerで4クラス分類の結果を合成する。公開コードにはテキストモデル、デュアルエンコーダー、融合モデルのほか、エンティティ一貫性、修辞構造、表現特徴を抽出するスクリプトが含まれる。評価器はHARTの3段階二値タスクと4クラス診断の両方をサポートする。

著者らは、公開済みのHART開発・テストデータを再層化し、訓練データ11,200件、検証データ1,600件、テストデータ3,200件からなるMixD2Cを構築した。最終的な融合システムは、4クラス平均TPR@1%FPRで0.8603を達成し、同一分割上で再実行したRACE-localを6.5パーセントポイント上回った。この低誤検知指標は、一般的な正解率よりも学術的公正性やコンテンツガバナンスの用途に近い。人間が作成した作品を大量に誤判定することは、通常、許容できないためだ。

ただし、この結果を実際の中国語コンテンツへ直接一般化することはできない。MixD2Cは既存データから再構築されたもので、訓練セットのAHクラスはわずか710件にとどまる。論文も、AI由来の内容を人間が表現したAHと、全面的にAIが生成したAAの区別が最も難しいと認めている。別のMixSet再構築データへ直接転移した場合には、結果が悪化さえした。リポジトリには大規模データ、事前学習済みエンコーダー、checkpoint、生成済み予測結果が含まれておらず、完全に再現するにはHARTを別途入手し、特徴を抽出して再訓練する必要がある。今後は、同一の再構築済みデータ分割における順位だけでなく、言語・モデル・未知の書き換えプロセスをまたぐブラインドテストに注目すべきだ。