Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
AI for Science
Google DeepMindは、ヒトゲノムで起こり得る一塩基置換に対するAlphaGenomeの予測を事前計算し、1 PBのアトラスとして構築した。さらにAVIスコアにより、コード領域と非コード領域の変異を統一的に順位付けする。大規模スクリーニングのコストを大幅に削減できる一方、データはあくまでモデルによる予測であり、機能実験や臨床診断に代わるものではない。
最新模型
Inceptionは、26万tokenのコンテキスト、調整可能な推論強度、並列ツール呼び出しを備えたMercury 2.5を発表した。純粋な自己回帰デコーディングに代わり、複数のtokenを反復的に修正する方式を引き続き採用する。公式発表では毎秒1,107 tokenとしているが、Vercel AI Gatewayのリアルタイム中央値は約616 tokenであり、導入者は自社のプロンプトと同時実行条件で改めて検証する必要がある。
GitHub Repo
OpenBMBは、13万1,000 tokenのコンテキストとツール呼び出し機能を備えた2Bのdense modelを公開し、段階別のweights、学習データ、複数の量子化形式も同時に開放した。第三者評価では同規模モデルに対する競争力が評価された一方、コミュニティのテストでは、公式のサンプリング設定によりGGUF量子化版が反復生成に陥る可能性が指摘されている。
代理工具
新バージョンでは、対応モデルが system prompt の動的更新後も KV cache を継続利用できるため、長時間セッションの再計算コストが削減される。その代わり、Session V3、Agent、Inbox API に後方互換性のない変更が同時に加わり、プラグインや自製ログツールは再検証が必要になる。
硬體
YOLO26では、`quantize=8`による量子化認識学習が利用可能になった。量子化範囲をチェックポイントに保存し、Q/DQノードを含むONNXまたはTensorRTエンジンを直接出力できる。続いて公開された8.4.144では、量子化効果に関する説明と数値安定性の修正が追加される一方、このデプロイ経路には依然として明確な制約があることも浮き彫りになった。
推論系統
vLLM 0.29.0では、Model Runner V2へのデフォルト切り替えが完了し、speculative decoding、強化学習向けの重み同期、各種ハードウェアバックエンドも拡充された。これはイメージをそのまま差し替えられるような小規模アップデートではなく、既存環境ではメモリ構成、出力の一貫性、削除されたインターフェースを改めて検証する必要がある。
最新模型
NeoHorse-1はルーターを通じて、異なるモデルがエージェントタスクを完遂した際の軌跡を収集し、カリキュラム型SFTとオンライン蒸留によって4B・9Bモデルを訓練する。公式の総合スコアは同規模のQwen3.5ベースラインを上回ったが、複数ラウンドの自己更新で継続的な改善を実現できることや、データ分布のシフトを回避できることはまだ証明されていない。
推論系統
Cohereは、North Mini Code専用の推論エンジンをオープンソース化した。演算子ごとの起動とGPU全体の同期を常駐型megakernelに置き換え、公式テストでは単一H100のエンドツーエンド・デコードスループットがvLLMを上回った。ただし現時点では、対応するモデル、ハードウェア、バッチサイズが限定されている。
推論系統
Unsloth Desktopは、Strix Halo、Strix Point、およびROCmを利用できないAMD iGPUでVulkanを使用するようになり、MLXのKV cacheとインストールパッケージの容量も削減した。性能値は公式テストに基づくが、アップグレード後も画面にROCmと表示されるとのユーザー報告があり、自動バックエンド選択については実機での検証が必要だ。
推論系統
新しいオープンソースプラグインにより、vLLMコアをフォークすることなく、同一のOpenAI互換APIを使ってTenstorrentハードウェア上で複数の言語モデルと視覚モデルを提供できる。一方、現時点ではprefillとdecodeを同じステップ内で混在させられず、LoRA、speculative decoding、マルチホストサービスも未対応という制約がある。
最新模型
新しいプレリリース版では、候補位置ごとにKDA状態と畳み込みウィンドウを保存し、拒否されたドラフトtokenを正しくロールバックできる。初期の単一マシンテストでは、低並列の推論で高速化が見られた一方、状態メモリはロールバック深度とサービスslot数に応じて大幅に増加する。
代理工具
Ripwire は tree-sitter、シンボル関係グラフ、Personalized PageRank を用いて、コーディングエージェント向けに再現可能なファイルランキングと変更影響範囲を生成する。公式テストでは位置特定率が5つの比較ツールを上回った一方、独立レビューでは、コンテキスト圧縮後も回答品質やエージェント全体のコストが悪化する可能性が指摘されている。