AI 模型與程式代理
Cognition、SWE-2を発表：単一の強化学習で複数の推論コストを学習
SWE-2は、2.8TパラメータのKimi K3をベースモデルとし、コストペナルティ、低精度rollout、同期更新されるdraft modelを活用して、コーディングエージェントの効率を改善する。公式ベンチマークでは最先端のクローズドモデルに迫るが、結果の大半はCognition自身が測定したもので、現時点では独立したAPIやモデル重みは提供されていない。
Cognitionは9月10日、コーディングエージェントモデル「SWE-2」を発表し、まずDevin DesktopとCLIに統合した。WebとFusionには段階的に展開する。SWE-2は新たに事前学習されたベースモデルではなく、Moonshot AIのKimi K3を追加でpost-trainingしたものだ。Kimi K3は総パラメータ数2.8T、tokenごとに104Bパラメータを有効化するMoEで、100万tokenのcontext windowとネイティブな視覚機能を備える。
今回、最も注目すべき点は強化学習の目的関数だ。Cognitionは推論強度ごとに個別のモデルを訓練する方式をやめ、単一のRLで `R = S − λₑC` を使用した。`S`はタスクが成功したかどうかを示し、`C`には推論コストと実行時間の両方を含める。`λₑ`は、各effort levelにおけるコストと問題解決率のPareto曲線の局所的な傾きに基づいて設定される。また、チームはrolloutの長さで重み付けしたreward baselineを採用し、勾配分散と、訓練時および推論時のpolicy間に生じるKL divergenceを抑えている。
システム面では、schedulerがprefillを短時間遅延させ、時間的に近接するリクエストをbatch化する。公式測定では、GPU 1基あたりのTPMと単一リクエストのTPSが10〜20%向上した一方、time to first tokenは増加した。RolloutにはDSpark speculative decodingを使用し、訓練中もdraft modelを変化し続けるpolicyに追従させることで、acceptance lengthが徐々に低下するのを防ぐ。MoE rolloutではNVFP4、FP8、quantization-aware trainingを併用し、MLAのQ、K、Vおよびscore計算にはすべてFP8を採用している。
公式報告によると、SWE-2はFrontierCode 1.1 Mainで50.0%、DeepSWE 1.1で73.0%を記録した。mediumモードではSWE-1.7と比べてstep数が58%少なく、平均コストは81%低い。ただし、比較表では公開結果がない場合にCognition社内のharnessを使用し、さらにモデルごとに最良の推論強度を選択しているため、完全に条件を統一した第三者評価とはいえない。エンジニアリングチームは今後、実際のDevinワークロードにおけるレイテンシ、コスト、回帰率に加え、CognitionがAPI、再現可能な評価、またはより包括的な安全性データを提供するかどうかを注視すべきだ。