Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 基礎設施
SiFiveはBigSkyサーバー上でP870-D RISC-V CPUを使用してROCm 10を起動し、Radeon AI PRO R9700でGemma4-E2Bの推論を実行した。これは、x86でもArmでもないホストがAMDのGPUソフトウェアスタックに接続できることを示す一方、性能、再現可能なイメージ、正式なサポート範囲はまだ公開されていない。
推論系統
vLLMとRed Hat AIは、Kimi K3向けの50億パラメータDSparkドラフトモデルと、隠れ状態をノード間で抽出・転送するための完全な手順を公開した。公式テストでは、単一ユーザーの生成速度が約110 token/sから435 token/sへ向上したが、この結果はGB300クラスターと特定の推論ワークロードに依存する。
最新模型
SalesforceはNemotron 3 Superをベースに、合成した企業シナリオ、SFT、GRPOを通じて、初のCRM推論モデルKoaを訓練した。複数ターンのツール使用は大幅に改善したものの、論文では総合性能が依然として最先端モデルに及ばないことを認めており、公式発表の「エラーが3分の1」という数字も自社のCRM評価に基づく。
搜尋與推薦系統
Google Researchは、強化学習で生成した集合レベルの検索戦略を、複数のベクトルを並列出力できる軽量な拡散モデルへ蒸留した。実験では自己回帰的な展開より12～20倍高速だとしているが、現時点の証拠はファッションデータと非公開の音楽データセットに集中している。
推論系統
TypeSafe AIのJevは、事前定義されたブール値、選択肢、スコアのみを生成し、モデル推論をプログラムへ直接組み込める低レイテンシーの分岐へ変えようとしている。ただし、型が正しいことは判断が正しいことを意味せず、公式がうたう速度とコストの優位性も、自社製ワークフローと非公開モデルに基づいている。
AI 安全
新たな研究により、無害に見える表現でcontextに挿入された誤った計画を、モデルが取り込み、書き換え、実行に移し得ることが判明した。最も強力なmonitorでも、攻撃の少なくとも4分の1を見逃した。monitorに元の注入内容を見せたり、推論予算を増やしたりしても検出性能の向上は保証されず、agentの安全性を出力されたChain-of-Thoughtだけで証明することはできないと示唆される。
代理工具
新たにオープンソース化されたReefは、OpenAIおよびAnthropic互換の推論エンドポイントを通じて追跡可能なインタラクションを収集し、モデルの重みまたはエージェントharnessを非同期で更新する。ホットアップデートとバージョンロールバックに必要なコントロールプレーンを補完する一方、学習データの汚染、評価器のバイアス、本番環境での安定性は今後の検証を要する。
最新模型
Googleは2つのネイティブ音声モデルを発表した。Extended Thinkingでは、音声を継続的に出力しながらバックグラウンド推論と非同期ツール呼び出しを実行できる。新プロトコルは長時間の音声エージェント処理における並行性を高める一方、開発者にはセッション状態マシンと割り込み処理の書き直しを求める。
最新模型
ShadowPEFTは、タスク適応を凍結済みバックボーンと並行して動作する訓練可能な小型モデルとして構成し、PEFTの標準的な設定・保存・読み込みインターフェースに統合された。初期実験では、同程度のパラメータ数を持つLoRAとDoRAを上回った一方、追加メモリ、二重のKV cache、安定版にまだ含まれていない点がデプロイ上のコストとなる。
代理工具
Clineはオープンソースのデスクトップ版betaを公開した。複数のエージェントを独立したセッションで並列実行し、cronによる無人タスクのスケジューリングも可能になる。ただし、公式が示したモデルのスコアは既存のCLI harnessによるものであり、デスクトップ版を個別に評価した結果ではない。
推論系統
Portable Computerは、24GB以上のVRAMを搭載したWindows RTX PCでモデル、ツール、サンドボックスを実行できるようになった。ローカルで処理される作業の多くはクラウド利用枠を消費しない。一方、ユーザーの許可を得てクラウドモデルへ切り替えることができ、コネクターや外部操作も伴うため、完全なオフライン環境と同一視することはできない。
最新模型
新アーキテクチャは3層の共有ブロックを反復実行し、ルーターが token ごとに早期終了するか、潜在的な推論を継続するかを決定する。論文では約10億パラメータ規模の実験において、固定深度の looped Transformer をレイテンシと精度の両面で上回ったと報告しているが、フロンティアモデルや主要な推論エンジンではまだ検証されていない。