Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 基礎設施
Groq 3 LPXは、256基のLP30、128GBのSRAM、コンパイラによって事前スケジューリングされたチップ間転送を統合した低レイテンシdecodeシステムだ。第三者テストでは、長いコンテキストにおいて既存の公開endpointを上回る速度を示したが、コスト、並行処理時のthroughput、本番サービスでの性能はまだ公開されていない。
推論系統
SemiAnalysisは、AgentXのリアルタイム結果と完全なリプレイツールを公開した。複数ターンにわたるコーディングエージェントの軌跡を用いて、GPU、推論エンジン、キャッシュ設計を比較する。公開コーパスでは、リクエスト長、共有プレフィックス、休止、サブエージェントのトポロジーを維持しつつ、元のプロンプトとコードを合成コンテンツに置き換えている。
AI 安全
Google Cloud は Agent Identity auth manager と関連する2つの API の一般提供を開始し、エージェントが外部ツールを呼び出す際に必要な OAuth と API key を一元管理する。従来の IAM Connectors API は GA へ移行しないため、既存のプレビュー版統合は移行が必要となる。
推論系統
Rust／CUDA 推論エンジンの Atlas は、GB10 および AMD gfx1151 システムを使用して MLPerf Inference 6.1 に提出した。テスト対象は、単一アクセラレータ上での複数ターンのツール呼び出しだ。提出状況は公開されているものの、スループットとレイテンシの結果は依然としてエンバーゴ下にあり、現時点でクロスハードウェア性能を判断することはできない。
代理工具
Common Lisp製プログラミングエージェントのAutolithは、2日間で0.36から0.38までを相次いでリリースし、標準Agent Skills、NousおよびMistralバックエンド、クロスプラットフォーム配布パッケージを追加した。復旧・リプレイ可能な自己変更設計により検査可能性は高まるが、生成されたプログラムは依然としてユーザー権限で実行されるため、安全なサンドボックスとは見なせない。
推論系統
llama.cpp 0.2.0では、更新頻度を抑えた安定版をセマンティックバージョニングで正式に表記し、従来の`b[番号]`タグは各コミットに近い頻度で生成される開発ビルドとして維持する。新制度はDebian、Homebrew、各種ダウンストリームバインディングのバージョンリスクを軽減するが、「安定版」は長期サポートやハードウェアを横断した完全な検証を意味しない。
最新模型
独立したテストで、量子化版Qwen3.8-27Bに名称非公開の商用ソフトウェアを静的解析させたところ、約30分後に実用可能なライセンス回避プログラムが生成された。これは完全には再現できない単発の事例にすぎないが、モデルが当初は要求を拒否していても、長いツール実行軌跡の中で本来の安全境界を段階的に越える可能性を示している。
最新模型
Ox Alphaは、無料、長大なcontext、多モーダル対応のエージェントインターフェースを武器に、OpenRouterとOpenCodeでテストブームを巻き起こしている。一方、OpenRouterの現行ページには、匿名プロバイダーがpromptsとcompletionsを保持すると明記されており、初期にうたわれた「ゼロデータ保持」という説明を本番環境の判断材料にはできない。
最新模型
OpenAIはGPT-5.6 Sol APIの入力価格を20％、出力価格を33％引き下げた。キャンペーンは少なくとも11月21日まで継続する。入力が272K tokenを超えると、リクエスト全体に高い料金が適用されるため、長いコンテキストを扱うエージェントのコストは標準単価だけでは見積もれない。
代理工具
MidToolは、API、MCP、ドキュメント、コード、合成ワークフローを、事前学習後かつSFT前の専用段階に組み込んだ。データセットとモデルチェックポイントは公開されたが、deep-search評価は依然として0点であり、schemaの理解が長期的なリサーチ能力と同義ではないことを示している。
推論系統
FreeTokenは固定的なオフロードを採用せず、実測帯域幅に基づいて、キャッシュミスしたエキスパートをGPUへ転送するか、CPUで直接計算するかを決定する。論文では単一のワークステーションGPUによる753Bモデルのサービングも実演しているが、全重みには依然としてメインメモリが必要であり、「753Bモデル全体が1枚のGPUに収まる」という意味ではない。
生成式視覺與 4D 重建
固定長の参照コンテキストと、拡散プロセス中の視点再編成により、多視点動画を分割生成する際の構造的ドリフトを抑える。重みと推論パイプラインは公開されたが、4D Gaussian Splattingによる再構成の完全なオープンソース化と低メモリモードはまだ実現していない。