Ornith-1.5、自己生成したタスクを強化学習に組み込み、397BモデルがTerminal-Bench 2.1で86.1点と自己報告

OrnithはOrnith-1.5シリーズを発表した。ラインアップは、9BのDenseモデル、各tokenで約3B parametersをアクティブ化する35B MoE、397B MoEで構成される。エージェント・スキャフォールドと解答軌跡のみを最適化していたOrnith-1.0と異なり、新版では「次の訓練タスク群の生成」も強化学習の対象に組み込んだ。モデルはまず、過去の問題解決履歴に基づいてより難しい問題を提案し、次にツール、分解戦略、verifierを含むタスク固有のスキャフォールドを構築したうえで、最終的に解答軌跡を生成する。

タスクのrewardは、妥当性、フロンティア難易度、新規性の3項目を乗算して算出する。妥当性では、環境が実行可能か、正誤を検証できるかを確認する。難易度関数は成功率が0.2に近い問題を優先し、新規性は類似問題の反復生成を抑える。この乗算方式では、いずれか1項目で失敗したタスクのrewardをゼロまたは極めて低くできるが、実際の効果はverifierが仕様の抜け穴やreward hackingを識別できるかどうかに左右される。

公式発表によると、397BモデルはTerminal-Bench 2.1、SWE-bench Verified、DeepSWEでそれぞれ86.1、86.0、56.0を記録した。各結果は5回の実行の平均で、一部の評価ではネットワークを無効化し、Git履歴を削除している。モデルは256K contextに対応し、BF16ウェイトは約800GB。8基のH200を用いたtensor parallel deploymentが推奨されているほか、FP8、INT4、GGUF、MLX版も用意されている。

エンジニアリングチームは、ベンチマーク順位をそのままデプロイ可能な品質の証明と見なすべきではない。これらのスコアは主に公開元が自ら測定したもので、一部の評価ではClaudeをjudgeとして使用している。また、完全な訓練データ、コスト、独立した再現報告もまだ公開されていない。第三者による確認では、model cardにMITと記載されている一方、リンク先のLICENSEファイルは8月21日時点でも404だった。ライセンス本文が整備されるまでは、企業がプラットフォーム上のラベルだけを根拠に再配布や商用利用を判断するのは避けるべきだ。