最新模型
Elorian、推論中に画像や動画を再確認できる視覚推論モデル「Glimpse」を発表
Elorianは10月16日、Glimpseの研究プレビューを公開した。モデルは推論中に画像を拡大したり、動画を見直したり、多モーダルツールを使ったりできる。APIプラットフォームで利用可能だが、公式評価ではエージェントや推論設定が異なるため、実際の遅延とコストは検証が必要だ。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
AI 研究
Microsoft、MAI-Base-2の事前学習の詳細を公開 複数ラウンドのMoEスケジューリングでメモリ使用量を制御
Microsoftは10月15日、MAI-Base-2の技術レポートを公開した。モデルの総パラメーター数は2.8兆で、トークンごとに約800億パラメーターが有効になる。レポートではMoEのメモリ管理と学習効率の改善を詳述しているが、モデルはまだ後学習段階にあり、重みの公開やサービス開始日は発表されていない。
GitHub Repo
Hermes Agent、プロバイダー切り替え時に旧エンドポイントへ送信される問題を修正
Hermes Agent は10月16日、モデルプロバイダーの切り替え後も旧エンドポイントが使われ、新しいAPIキーが誤ったホストへ送られる問題に対処するルーティング修正をマージした。ローカル環境でのエンドツーエンド検証は済んでいるが、リリース版への反映状況と既存セッションの修正範囲は未確認だ。
GitHub Repo
Transformersコミュニティ、DeepSeek-VLのパディング色の不一致を報告 画像プロセッサーが保存済み設定を無視する可能性
10月15日のTransformersコミュニティからの報告によると、JanusとDeepSeek-VLの画像プロセッサーは指定されたパディング色を無視する可能性があり、一部の非正方形画像の入力が元の実装と異なるという。報告には修正案とテスト結果が添えられているが、正式な修正版はまだなく、モデル精度への影響も測定されていない。
最新模型
Meta、オープンウェイトのMuse Spark Openを公開 816BのマルチモーダルモデルにBF16版とNVFP4版
Metaは10月15日、1トークンあたり約42Bのパラメータを有効化するMoEアーキテクチャを採用し、100万トークンのコンテキストに対応するMuse Spark Openを公開した。Hugging Faceはデプロイ方法とMacでの量子化テストを紹介したが、全ウェイトの実行や長文脈には相当なメモリが必要となる。
GitHub Repo
TransformersコミュニティがDeBERTaの正規化の後退を報告、全角文字や漢字部首が未知トークンになる可能性
10月15日のTransformersコミュニティの報告によると、v5のDeBERTa tokenizerではSentencePieceの正規化規則が適用されず、一部の互換文字が未知トークンとしてエンコードされる可能性がある。別の参加者も独自に再現したが、正式な修正や下流タスクの精度への影響は未確認だ。
GitHub Repo
Ollamaコミュニティ、ROCmのグラフ初期化時にメモリを使い果たすと報告 一部をCPUにオフロードしてもクラッシュする可能性
10月15日のOllamaコミュニティへの報告によると、AMD GPUでGemma 4モデルの一部をCPUにオフロードして実行しても、グラフ初期化中にメモリ不足が起きる可能性がある。報告者はグラフ実行を無効にして一時的にクラッシュを回避したが、保守担当者は原因を確認しておらず、正式な修正もまだない。
GitHub Repo
Transformers 5.20.0をリリース、旧キャッシュAPIを削除し、エキスパート並列推論の性能低下を警告
Hugging Faceは10月15日、Transformers 5.20.0をリリースしました。エクスポート時の量子化と分散チェックポイントの改善が追加されています。一方、エキスパート並列推論の速度低下が公式に警告されており、旧キャッシュAPIを使うデプロイではコードの修正が必要です。
GitHub Repo
Open WebUI Community Reports Redis Streaming Write Amplification as Long Replies Repeatedly Save Full Text
A report from the Open WebUI community on October 15 says streaming replies rewrite the accumulated full text to Redis token by token, increasing transfer costs for long-running agent tasks. It includes measurements using a simulated model and reproduction steps, but an official fix release and the impact on real deployments remain unconfirmed.
GitHub Repo
Transformers コミュニティ、ZeRO-3 の読み込みを修正するパッチを提案 全重みの重複読み込みと変換を削減
10月14日に提案されたTransformersのパッチは、非量子化モデルのZeRO-3チェックポイント読み込みと重み変換をrank 0に集約し、ホストメモリの負荷を軽減する。作者は2プロセスの回帰テストと大型モデルの短時間トレーニング結果を添えたが、提案はまだマージされていない。
GitHub Repo
Hermes Agent v0.22.2、誤ったビルドを修正し、ローカル推論とゲートウェイ再起動を強化
Hermes Agent は10月15日に v0.22.2 をリリースし、未公開のゲートウェイコードが誤って含まれていたビルドの問題を修正しました。新バージョンでは、ローカルモデルの長いプロンプトが誤ってタイムアウトと判定される問題や、再起動後にゲートウェイを起動できない問題にも対処しています。ただし、前バージョンで作成された一部のセッションには、引き続き削除の制限があります。
GitHub Repo
TransformersコミュニティがWhisperの実行時再現を追加報告、単一要素のEOSリストでタイムスタンプ生成が中断する可能性
10月13〜14日のTransformersに関する議論で、Whisperのタイムスタンプ生成を有効にし、単一要素のEOSリストを渡すと型エラーが発生する可能性が指摘された。報告者は実際の音声を使ったテストを追加したが、修正のマージと正式リリースへの影響はまだ確認されていない。