Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
推論系統
Nativ v0.0.1は、モデルのダウンロード、チャット、モニタリング、OpenAIおよびAnthropic互換エンドポイントをネイティブSwiftUIアプリに統合し、最近ローカルAIコミュニティで注目を集めている。初版はApple SiliconとmacOS 26のみをサポートし、モデル横断のパフォーマンス検証や互換性テストはまだ公開されていない。
推論系統
AMDはROCm Hyperloom 1.0.0a1を公開した。エージェントがパフォーマンスプロファイリングからカーネルおよびホストプログラムの修正までを実行し、正確性と速度のテストに基づいて変更を採用するか判断する。初版が対応するInstinct GPUは3モデルのみで、「数週間から数時間への短縮」も現時点ではAMDによる主張にとどまるため、導入者は自身のモデルで再現性を検証する必要がある。
AI 研究與訓練
新たな研究では、各問題について同数の推論軌跡を固定的に生成するのではなく、報酬のばらつきが大きいサンプルに追加の計算資源を集中させる。著者らは数学およびプログラミングタスクでrollout効率が向上したと報告しているが、コードはまだ公開されておらず、実際のGPU時間や大規模モデルへのスケーラビリティは今後の検証を待つ。
最新模型
AMDは、Instella-MoEの事前学習、長コンテキスト対応、SFT、DPO、強化学習など6段階のチェックポイントを公開し、トレーニングフレームワーク、データレシピ、推論コードも同時に提供した。モデルはGated MLAとFarSkip-CollectiveによってAttentionとGPU間通信のコストを削減するが、正式な技術レポートと独立評価はまだ完了していない。
最新模型
UK AISIと米国CAISIによる初期テストでは、Kimi K3のExploitBenchスコアは32%でGLM-5.2を上回ったものの、評価対象となった米国のフロンティアモデルには大きく後れを取った。同モデルは32ステップの模擬企業攻撃を一度完遂したが、評価条件とサンプル数が限られているため、現実世界での攻撃成功率を直接推定することはできない。
硬體
Ultralytics 8.4.105では、YOLO26深度推定モデルでHailo-8LとQualcomm QNNのサポートが追加され、CoreML、OpenVINO、NCNNなどのデプロイバックエンドも改善された。また、中断された知識蒸留チェックポイントを直接検証・エクスポートできるようになったが、性能向上についてはターゲットハードウェアごとに個別の測定が必要だ。
最新模型
AnthropicはClaude Opus 5をリリースした。100万tokenのコンテキストと最大12.8万tokenの出力に対応し、thinkingがデフォルトで有効になった。新モデルでは、プロンプトキャッシュを維持したままエージェントがツールを追加・削除できる一方、推論の無効化と高いeffortを組み合わせる設定には破壊的変更がある。
硬體
Microsoft ResearchはVibeVoice-ASR-BitNetを公開した。音声エンコーダーと言語モデルにそれぞれINT8量子化と三値重み量子化を適用し、GPUなしで多言語ASRを実行可能にする。公式テストでは、同程度のモデルサイズのWhisper.cppより1.6～2.3倍高速だが、現時点ではオフラインのバッチ文字起こしにのみ対応する。
AI 基礎設施
Hetznerは実験的なLLM推論サービスをひっそりと公開した。現在利用できるのはQwen3.6-35B-A3B-FP8のみで、既存のOpenAI SDKからbase URLを差し替えるだけで接続できる。コミュニティによる低負荷テストでは、最初のtokenが返るまでの時間の中央値は153ミリ秒、生成速度は約224 token/sだった。ただし、SLA、課金、プロダクション利用の保証はない。
推論系統
未公開の27Bハイブリッドモデルを対象とした推論時の実験では、約100万tokenにおける埋め込み情報の再取得率は21.4%にとどまり、3.3万token時の92.9%を大きく下回った。位置スケーリング、attention temperature、高精度KV cacheのいずれも問題を顕著には改善せず、検索能力は18個のattention headに高度に集中していた。
AI 安全
QuantiBiasはモデルとプロンプトを固定し、重みの精度のみを変更して、量子化前後における多言語の自由回答バイアス、回答拒否、選択式問題の性能を測定した。著者らは、一般的な短形式の安全性指標はおおむね横ばいだった一方、独立した評価モデルが自由回答の約24～27%をステレオタイプ支持と判定したことを明らかにした。
推論系統
Hugging Face DiffusersはNunchaku Liteのチェックポイントを直接読み込み、4-bitの重みとアクティベーションで拡散Transformerを実行できるようになった。公式の単一GPUテストでは、ピークVRAM使用量を最大で約半減し、1.8倍の高速化を達成したが、対応ハードウェアの範囲と画質検証は依然として限定的だ。