TutorMoments、実際の指導判断を再現し、7つのLLMにデフォルトで過剰なヒントを与える傾向があることを確認

Ai2はTutorMomentsのプレビュー版を公開し、AIチューターの評価軸を「答えが正しいか」から、モデルが適切なタイミングで介入できるかへと移した。データには、米国の小学2年生から中学1年生に相当する生徒を対象とした、匿名化済みの1対1数学個別指導のトランスクリプト462件が含まれる。経験豊富な教師27人が1,500件を超える重要な場面を特定し、その時点で足場かけを提供すべきか、認知的要求を高めるべきか、あるいは過剰な支援を避けるべきかを判断した。実行可能な評価セットは、足場かけと厳密な推論をそれぞれ260件ずつ含む、計520件の均衡したシナリオとして固定されている。

評価の実行時には、実際の会話を重要な場面で打ち切り、評価対象モデルにチューター役を5ターン引き継がせ、別の言語モデルが生徒役を務める。その後、教師のアノテーションでキャリブレーションされたモデル分類器が、支援が必要なときに適切な足場かけを行ったか、挑戦を促すのに適した場面でより深い推論へ導いたか、そして課題を過度に単純化しなかったかという3つの指標を算出する。初期テストは7つのLLMを対象とした。プロンプトで単に「適切に教える」よう求めた場合、モデルは全般的に支援しすぎ、生徒自身に推論させることはほとんどなかった。足場かけ、過剰な足場かけ、厳密さのトレードオフをプロンプトに明記すると、すべてのモデルでスコアが向上した。ただし、その戦略は依然として人間より画一的で、生徒に答えの説明を繰り返し求める傾向が見られた。

開発者にとってTutorMomentsの価値は、指導エージェントのポリシー選択を、再現可能かつ特定のデータリビジョンに固定できるテストへ落とし込んだ点にある。オープンソースのランナーは、モデル、プロンプト、データ内容のハッシュを記録し、シナリオごとの会話、スコア、要約を出力するため、プロンプトやモデルの更新による挙動のドリフトを比較しやすい。ただし、測定対象はシミュレーション上の判断であり、学習成果ではない。生徒はLLMでシミュレーションされ、採点もモデル分類器に依存している。また、人間のベースラインは、教師がもともとうまく対応できなかった可能性のある場面へ意図的に集中しているため、AIが教師を上回ったと主張する根拠にはできない。現時点のデータも、単一国における初等・中等教育の数学場面に限られている。