Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
開發者平台／API
GitHubは7月30日、Modelsのplayground、モデルカタログ、推論API、bring-your-own-key（BYOK）機能を終了した。既存の有料ユーザーも例外ではない。同サービスのエンドポイントに依存するアプリケーションは、Microsoft Foundry、別のモデルgateway、または自前のプロバイダー抽象化レイヤーへ移行する必要がある。
最新模型
新たな研究では、合計320億tokenに上る68万6,000冊の合成教材を生成し、内容を同一にした対照実験によって文書構造の効果を切り分けた。関連する章を完全な書籍として構成した場合、分割した段落やランダムな連結より優れたが、この成果は研究チーム独自の訓練パイプラインによるもので、データとコードはまだ公開されていない。
推論系統
SemPICは独立したWriterモデルを用い、入力位置に依存しない文書KVをオフライン生成する一方、Readerでは元のモデルと標準キャッシュインターフェースを維持する。3モデル・4タスクの平均micro-F1は既存手法の0.53から0.60へ向上したが、エンドツーエンドのレイテンシ、キャッシュ容量、コードはまだ公開されていない。
推論系統
QuantWAMsは、将来の映像とロボットの行動を同時に生成するモデル向けに、量子化キャリブレーションを、構造、結合目的、閉ループ軌跡という3層の意思決定へと再設計した。2つのモデルのシミュレーション成功率はFP16との差が0.2～0.7パーセントポイントだったが、速度データは特定の演算モジュールのみが対象で、実機での比較も各タスク10回にとどまる。
代理工具
OSWorldを用いた実験により、ローカルGUIエージェントに少量の画面履歴を追加すると反復操作を大幅に減らせる一方、コンテキストやステップ数をさらに増やしても、主に失敗パターンが変化するだけであることが示された。2段階の計画アーキテクチャも、フォーマット処理と連携のコストにより単一エージェントを下回り、計画を並列に多数生成しても、高額なtokenコストをかけて差の一部を埋めるにとどまった。
最新模型
Moonshot AIは、42の既存ベンチマークにおける最初の失敗点から知覚能力の分類体系を構築し、3,000問の短答式問題によって10の基本的な視覚能力を切り分けた。その結果、総合スコアが近いモデルでも知覚上の弱点がまったく異なり得ることが示された。一方、テストセットはより大規模な社内問題プールから抽出されており、データ汚染と評価者バイアスには引き続き注意が必要だ。
最新模型
MicrosoftのMage-VLは、動画フレームを均等にサンプリングする代わりに、I／P frame、motion vector、residual energyを利用し、変化の大きい領域だけをエンコードする。4Bモデルでは、静的タスクの能力を維持しながら視覚トークンを75%以上削減できるとしているが、速度と品質の比較は依然として主に公式テストに基づく。
新研究發現，on-policy 擴散蒸餾若只匹配 classifier-free guidance 合成結果，正、負分支的誤差可能互相抵銷。Positive-Direction Matching 將兩者拆開監督，在密集到稀疏的影片控制實驗中降低模型對推論 guidance scale 的敏感度。
代理工具
百度（Baidu）の研究チームは、文書、スプレッドシート、プレゼンテーションに関する100件の長工程タスクを、人間の作業時間、価格の代理指標、実行可能な検証ツールとともに公開した。最高性能モデルの平均スコアは17.91で、人間のベースラインである27.79を下回った。推論が安価かつ高速でも、成果物をそのまま利用できるとは限らないことを示している。
最新模型
Moonshot AIがKimi K3の重みと技術レポートを正式に公開した。ネイティブな視覚処理、100万tokenのコンテキストを備え、各tokenにつき896個の専門家のうち16個をアクティブ化する。オープンウェイト化により、公式が主張する能力をようやく再現できるようになったが、低精度化しても1TBを超える重みのため、完全なデプロイは依然として一般的なワークステーションの手には届かない。
最新模型
Laguna S 2.1は、sliding-window attention、attention gate、FP8 KV cacheによって長いコンテキストのコストを抑え、セルフホスト可能なエージェント型コーディングを主眼に据える。複数の精度の重みと完全な評価trajectoryが提供されている一方、100万tokenへの対応能力、性能比較、単一マシンでの実行可能性は、量子化形式と実行環境に大きく左右される。
推論系統
研究チームは、エージェントが推論中に自身の次のツール呼び出しを予測して先行実行する仕組みを開発し、外部ドラフトモデルを共有重みとKV cacheで置き換えた。共同強化学習により、2種類のQwen 4Bモデルの平均Hit@1はそれぞれ61.2と66.3に向上したが、論文では実際の並列デプロイにおけるエンドツーエンドの高速化はまだ定量化されていない。