Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
NVIDIAは、2つのNemotron 3 Ultra数学特化モデルのweight、学習データ、中断後に再開可能な自然言語証明pipelineを公開した。公式スコアは42点満点中30点だった。一方、この結果はモデル検証器に共通する盲点も浮き彫りにした。内部評価では2問を過大評価しており、高いprecisionは大量のfalse rejectionと計算コストとの引き換えで達成されていた。
GitHub Repo
新しいオープンソースフレームワークは、予測ルーティングによって次のステップで使うエキスパートを先読みし、Recover-LoRAでint4量子化による損失を補償する。これにより、23GBのcheckpoint全体をメモリに常駐させる必要がない。公式測定ではM4 Pro上で毎秒14.9～17.7 tokenを記録したが、現時点ではApple Siliconのみをサポートし、メモリ使用量と品質に関するデータも独立した追試で再現されていない。
推論系統
Dynamoでは、視覚エンコード、LLMのprefill、decodeを独立したworkerや異なるグレードのGPUに割り当てられるようになり、画像リクエストがテキストのみのトラフィックをブロックするのを防げる。公式テストでは初回トークン遅延とエンドツーエンド遅延がそれぞれ最大5倍、7倍改善した一方、出力が長い場合や大規模なdense modelでは、分離による利点が相殺される可能性がある。
推論系統
新たな研究は「ターンの準備完了」と「推論エンジンへの投入」を分離し、CVaRによるテールリスクと動的ワークロード予算に基づいて投入順序を決定する。SWE-benchの軌跡リプレイではP95を最大3.5倍高速化したが、結果は固定されたエージェント軌跡、単一の到着乱数シード、A100／vLLM環境に限られる。
推論系統
PELMはプロセッサの周波数を調整するだけでなく、投機的デコーディングの設定と検証深度も動的に選択し、熱制約下でハードウェアとモデルの処理量を協調制御する。論文では最大23.1%の高速化と52.4%の省エネルギーを報告しているが、ピーク値をスマートフォンや他のモデルへそのまま外挿することはできない。
推論系統
SageMakerリアルタイム推論エンドポイントに`PREFIX_AWARE`が追加され、同じシステムプロンプト、ドキュメント、会話履歴を持つリクエストが可能な限り同一インスタンスに送られるようになった。AWS公式の7ノードテストでは、長いプレフィックスを持つワークロードで顕著な効果が示された一方、シリアライズ方法の違い、ホットプレフィックス、キャッシュ容量によって実際の効果は左右される。
地球觀測與應用研究
GoogleとNASA JPLは、Vision TransformerにEMITのスペクトル情報と空間的文脈を直接組み合わせ、濃度、プルーム境界、排出源位置を同時に推定できるようにした。公開モデルは専門家がアノテーションした事例の約8割を再検出したが、感度の向上には地表との混同や偽陽性のリスクも伴う。
生成式音訊
YuE2は、メロディーとコードの記号的プランニング、セマンティックトークン、flow matchingによる音声合成を単一の生成パイプラインに統合した。重みは24GB GPUで実行できるが、非商用ライセンスであることや、8候補から最良の結果を選ぶ評価方式を採用しているため、商用システムとの比較は慎重に解釈する必要がある。
代理工具
Φ-Benchは評価範囲を単一のGPU kernelから、複数ファイルにまたがる実装やエンドツーエンドのシステム最適化へと拡大した。8つの最先端モデルはいずれも有効な変更を時折見つけられたものの、推論予算の増加がより良いエンジニアリング成果へ安定的に結びつくことはなかった。
最新模型
SWE-2は、2.8TパラメータのKimi K3をベースモデルとし、コストペナルティ、低精度rollout、同期更新されるdraft modelを活用して、コーディングエージェントの効率を改善する。公式ベンチマークでは最先端のクローズドモデルに迫るが、結果の大半はCognition自身が測定したもので、現時点では独立したAPIやモデル重みは提供されていない。
最新模型
North Small Translateは、総パラメータ数218Bのうちtokenごとに25Bを有効化し、繁体字中国語を含む50以上の言語および地域変種をサポートする。Chat V2 APIで試用するか、FP8重みをセルフホストできるが、CC BY-NC 4.0では直接的な商用利用が禁止されており、比較可能な翻訳ベンチマークのスコアも公式には公開されていない。
最新模型
Hugging Faceは`chunked_nll`における不要なFP32変換を修正し、8基のH100を使って100万tokenのシーケンスを1ステップ学習する例を公開した。新版では旧PPOインターフェースも完全に削除され、複数の依存パッケージの最低バージョンが引き上げられたため、アップグレード前に学習コードと数値特性を再検証する必要がある。