最新模型
EXAONE Finance、2億200万パラメータのAttention不要な時系列モデルを公開、重みとコードに異なるライセンスを適用
LG AI Researchは自己注意機構を因果畳み込みとグループ認識MLPで置き換え、計算コストを時系列長と変数数に対して線形に増加するよう設計した。独自のFinVerse評価では43のベースラインを上回ったが、重みが非商用ライセンスであることや、投資パフォーマンスが独立に再現されていないことから、即時導入の価値には制約がある。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
推論系統
KVMem、エージェント履歴をメモリとNVMeへページングし、24GBのノートPC向けGPUで100万tokenのワークスペースをアドレス可能に
KVMemは、あふれたエージェント履歴を要約へ圧縮するのではなく、計算済みのKV状態を保持し、クエリに応じて関連ブロックを読み込む。作者らはRTX 5090 Laptop GPU上のQwen 27Bで100万tokenの論理ワークスペースを実演したが、対応範囲と性能データは依然として独自ランタイムに大きく依存している。
推論系統
ACE、tokenごとに寄与度の低いMoE expertをスキップし、A100のprefillを最大2.25倍高速化
ACEはSwiGLUの重みとrouterの方向からexpertの寄与度を推定し、モデルの再学習やキャリブレーションデータを必要としない。著者らは3種類のMoEモデルで、高いスキップ率においてより優れた品質を達成したが、速度データは依然として単一のA100と、ワークロードに適合させたしきい値設定に限られている。
AI 基礎設施
Megatron-LM、プレフィックス認識ルーティングと動的バッチ処理を拡張――ハイブリッドモデル推論でKV・Mamba状態の共有が可能に
NVIDIAは9月第1週のMegatron-LMの変更点をまとめ、データ並列推論フロントエンド、プレフィックスキャッシュ、可変長シーケンス処理を、より完全なサービング経路へと前進させた。新機能により、Transformer／SSMハイブリッドモデルの状態再利用が改善されるが、スループット、Time to First Token（TTFT）、クロスノードスケーリングに関するデータはまだ公式に公開されていない。
最新模型
VLM Run Gateway、OCR・動画・視覚モデルのAPIを統一。ただしモデル名だけでは推論の同等性を保証できず
VLM Runは、OpenAI Chat Completions互換の視覚モデルゲートウェイを公開した。OCR、画像キャプション生成、動画理解、特化型ViTを共通のエンドポイントとMCPインターフェースで利用できる。量子化やサービング設定の差異を明らかにしようとしているが、性能、視覚精度、プロバイダーの対応率に関する現時点の数値は、主に公開元によるテストに基づいている。
最新模型
TencentのEVIE、切り詰め可能なマルチベクトルとtokenクラスタリングで視覚文書検索のインデックスコストを削減
TencentはEVIE-8BとEVIE-4.5Bを公開した。ページ画像からtoken単位の表現を直接生成し、OCR後に検索する工程を不要にする。4.5B版は実行時にベクトル次元を調整でき、各ページを32ベクトルまで圧縮できるが、現時点での高い評価結果は主に開発チーム独自のベンチマークに基づく。
GitHub Repo
InvokeAI 6.14.1、外部画像ダウンロードの信頼境界を修正し、VAEとFP8のメモリ予約を補正
InvokeAIのパッチリリースでは、Alibaba Cloudからの画像ダウンロードと注入されたセッションに対する信頼性チェックを厳格化するとともに、FP8、FLUX.2、VAEのメモリ見積もりを修正した。DoRA magnitudeを含むKrea-2 LoRAにも対応したが、公式から脆弱性番号や定量的なVRAM比較は提供されていない。
AI 基礎設施
LiteLLM 1.100.0、共有予算、MCPトークン検証、Vertex Interactionsを単一ゲートウェイに統合
新バージョンでは、モデルアクセスグループの共有予算を期間単位で永続的に算出できるようにし、MCPセッションにRS256署名とRFC 7662 introspectionを導入した。Vertex AI、Bing grounding、音声モデルのルーティングも拡充した一方、既存のtoken計算関数が削除されたため、アップグレード前に直接importしている箇所とデータベースmigrationを確認する必要がある。
AI 研究
RISE、RLVRの更新方向からトークン単位の教師を合成――外部の大規模モデルによる蒸留は不要
Salesforce AI Researchチームは、現在のモデルと遅延アンカーの間の更新変位を前方へ外挿し、学習とともに更新される「将来方策」教師を合成した。数学およびエージェント系ベンチマークで純粋なGRPOを上回った一方、ウォールクロック時間は1.3～1.6倍に増え、学習軌跡が局所的にほぼ線形であるという仮定に依存する。
最新模型
22の最先端モデルを対象とした分子ベンチマーク監査：推論強度を高めるほど、発表済みの数値を想起しやすい
研究者らは、一部のモデルが分子特性の回帰テストで予測を行っているのではなく、訓練データに含まれる正解を桁単位で再現している可能性を明らかにした。推論強度を高めると検索の兆候が89％増加し、推論設定そのものがベンチマーク汚染の度合いを変え得ることが示された。
推論系統
Speculative Macro Commit：エージェントのツールチェーンを先行実行し、AppWorldの実時間を44.9％短縮
新たな研究では、小型のドラフトモデルが隔離された環境スナップショット内で複数ステップのツール操作を先行実行し、大型の権威モデルが最初のステップを確認した後、一連の結果をまとめてコミットする。2つのエージェントベンチマークでレイテンシを削減した一方、3基のGPUを必要とし、AppWorldのタスク完了率は41.67％から40.48％に低下した。
硬體
Extropic Z1Tは確率チップ向けにTransformerを再設計、ただし100倍の省エネ性能は主要コストを除外した試算
Z1Tは、固定された4入力の疎な射影、Dynamic Tanh、畳み込みベースのアテンションを用いて、デコード処理の一部をExtropicのZ1確率ビットチップにマッピングする。コードと1組の重みは公開済みだが、省エネ性能とスループットの数値は主にハードウェアモデルに基づくもので、完全なエンドツーエンドの実測結果ではない。