推論系統
Uno、離散拡散で自己回帰モデルを支援し、独立したドラフトモデルなしで並列デコードを実現
Unoは、自己回帰LLMに軽量な拡散重みを追加し、Ψ-Specによって複数のtokenを一度に提案しながら、元のモデルのサンプリング分布を維持する。著者らは最大3倍の高速化を報告しているが、現時点の数値は研究チームが使用した特定のモデル、ハードウェア、推論エンジンに基づくものだ。
Archive
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
Unoは、自己回帰LLMに軽量な拡散重みを追加し、Ψ-Specによって複数のtokenを一度に提案しながら、元のモデルのサンプリング分布を維持する。著者らは最大3倍の高速化を報告しているが、現時点の数値は研究チームが使用した特定のモデル、ハードウェア、推論エンジンに基づくものだ。
推論系統
新しいオープンソース推論サーバー「Magnitude」は、ハードウェアを実測したうえで、モデル、量子化、コンテキスト長、推定速度を組み合わせた完全な構成を提案する。ローカルエージェントで設定ミスが起きやすいメモリと並行処理のパラメータを自動化する一方、現時点での性能とモデル品質は、主にプロジェクト側のカタログとテストに依存している。
AI 平台與基礎設施
NVIDIAはHugging Faceの買収に合意し、モデル、データセット、アプリケーション、推論サービスの重要な配信ハブを手に入れる。同社は、プラットフォームをNVIDIA製ハードウェアにロックインしないと約束しているが、買収後の実際のガバナンス、表示順位、異種ハードウェア向け最適化については、引き続き検証が必要だ。
最新模型
OpenAIはAstraをAPI、AWS、ChatGPTの有料プランで提供し、Codexではノートと履歴検索を用いてコンテキストウィンドウをまたぐ仕組みを実験している。モデルのエージェント能力とサイバーセキュリティ能力は大幅に向上した一方、思考の連鎖(Chain of Thought)は監視を回避しやすくなり、デプロイ環境が正当な作業を中止する可能性もある。
推論系統
PAIRはOllama、LM Studio、エージェントの間に互換プロキシ層を追加し、モデルの配置場所とGPU負荷に基づいて、個々のリクエストをローカルネットワーク内のPCへ振り分ける。向上するのはワークロードの並列性であり、VRAMを統合したり、単一の推論を複数のGPUに分割したりするものではない。
AI 基礎設施
新版では、`nccl2`、Process Groupのインプレース再構成、バックエンド横断のFlight Recorderにより、大規模分散学習を強化。InductorにはNVGEMM、宣言的な動的形状、複素数テンソルのコンパイルも加わったが、多くのインターフェースは依然として不安定とされている。
硬體
MobiCom 2026の研究では、モデル重みとKV cacheを共有バッファに分割し、CPUが退避されたデータを復元している間にGPUがprefillを開始できるようにした。成果の焦点は、スマートフォンでのマルチタスク後に生じる復帰遅延の改善であり、モデル自体の生成速度向上ではない。
醫療 AI 與物理導向學習
新たな研究では、GPUペンシルビーム計算、凍結された2つのニューラル事前分布、136万パラメータの3D U-Netを統合し、CT/MRI共通のパイプラインを構築した。内部データにおける1%/1 mmのgammaパス率は最高99.12%に達したが、施設横断的な検証や臨床用途の妥当性確認には至っていない。
推論系統
`@huggingface/kernels`は、インターフェース、テスト、WGSL実装を備えたGPU演算子をHubから動的に読み込める。公式のApple M4上での演算子単位のテストでは、幾何平均で2.57倍の高速化が報告されたが、この結果にはモデルの読み込み、コンパイル、データ転送のコストは含まれていない。
推論系統
Unslothは、Qwen3.8-Flash-NextとGLM-5.3-FlashでMulti-Token Predictionをデフォルトで有効化し、MLX、マルチGPU、ROCmの各経路も改善した。公式が掲げる「最大2倍」には完全なベンチマークマトリクスが添付されておらず、Qwenの技術文書に記載された低並行時の高速化は1.3~1.7倍となっている。
AI 安全
CrowdStrikeとNVIDIAはSafeMindを発表した。攻撃エージェントがテレメトリを生成し、Nemotron防御エージェントが検知ルールの作成、検査、リプレイを担う。クローズドテストでは特化モデルが汎用フロンティアモデルを上回ったものの、モデルの重み、データセット、完全な評価プロトコルはまだ公開されていない。
最新模型
Atlasは、テキスト、画像、カメラ姿勢、深度データを単一の自己回帰型拡散アーキテクチャに統合し、制御されたカメラワークを生成するとともに、点群や3D Gaussian splatを出力できる。ベンダーによる評価では、疎視点再構築で専用モデルを上回ったが、論文や重み、物理シミュレーションの検証はまだ公開されておらず、現時点では早期アクセスに限定されている。