AI 評測
MatrAIx、1,290次元の属性から83億のペルソナを合成、AI製品テスト向けの100万件規模のコアセットをオープンソース化
MatrAIxは、相関する人口統計属性を組み合わせて83億件の模擬ユーザーを生成し、ペルソナエージェントにアンケート、チャットボット、Webサイト、アプリケーションを操作させる。チームは約100万件のコアデータと評価プログラムを公開したが、現時点の検証で示されているのは、エージェントが指定された役割に従うことだけであり、実ユーザーによるテストを代替できることまでは証明されていない。
新たに公開された[MatrAIx](https://arxiv.org/abs/2608.04205)は、AI評価を固定的な質疑応答から「異なるユーザーが製品をどのように操作するか」へと拡張しようとするものだ。そのPersona 8Bは、人口統計、デバイス、職業、嗜好、行動背景を1,290個のカテゴリ属性で記述する。レコードの一部には人間が作成した公開プロフィールが使われ、残りは属性間の依存関係を保持するグラフィカルモデルからサンプリングされる。ここでいう83億とは生成可能なペルソナレコードの総数であり、83億人の実在する人物を指すものでも、1件ずつ人手で収集したデータでもない。
システムはさらに、Survey、AI Chatbot、Web、Appという4種類のインタラクション環境と、ビジネス、ソフトウェア、金融、医療など25以上の分野にまたがる1,010件のアプリケーションタスクを提供する。研究ではClaude Opus 4.8、GPT-5.5、Claude Haiku 4.5を使用して8つの代表的なタスクを実行し、合計18,189件の評価トレースを取得した。400回の対照試験では、ペルソナエージェントが10種類の行動属性について、指定された行動を正しく実行または抑制できたケースが366回あり、遵守率は91.5％だった。[オープンソースリポジトリ](https://github.com/MatrAIx-ai/MatrAIx-Persona-8B)には、評価インフラストラクチャ、タスク例、MIT Licenseのコードが含まれる。またチームは[Hugging Face](https://huggingface.co/datasets/MatrAIx2026/MatrAIx2026)で、品質フィルタリング済みの約100万件のコアセットを提供している。このうち599,847件はhuman-groundedデータ、40万件は合成データである。
技術的な価値は、同一バージョンのチャットエージェントやフロントエンドフローに対し、大規模かつ条件付きの回帰テストを実施し、特定の背景やデバイス設定でのみ発生する障害を発見できる点にある。ただし、役割への遵守は、人間の行動を正確に予測できることを意味しない。主要な検証サンプルは400回にとどまり、一部の品質判定は依然としてLLM-as-a-Judgeに依存している。また、モデルがステレオタイプを増幅し、それを「集団の反応」として表現する可能性もある。エンジニアリングチームは本システムをカバレッジ向上のためのツールと位置付け、リスクの高い結論については実ユーザーを対象とした調査でキャリブレーションすべきだ。