Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
代理工具
Open Code Reviewは、ファイルのフィルタリング、ルールのマッチング、コメント位置の特定を決定論的なプログラムに任せたうえで、LLMエージェントにリポジトリ内のコンテキストを検索させ、欠陥を判定させる。公式の自己評価では、token使用量はClaude Codeのおよそ9分の1だが、precisionと引き換えにrecallが低く、既存のテストや静的解析を直接置き換えるものではない。
最新模型
SGLang-OmniにMOSS-Transcribe-Diarizeのデプロイ経路が追加され、OpenAI互換エンドポイントからセグメントごとのタイムスタンプ、テキスト、話者ラベルを一度に出力できるようになった。これにより、0.9Bのオープンモデルをオンラインサービスへ導入しやすくなる一方、公式性能データに使用された3つの評価データセットは、現時点で完全には公開されていない。
最新模型
UpstageはSolar Open 2の重みを公開した。総パラメータ数250B、token当たりの有効パラメータ数15Bで、長時間にわたるエージェント型ワークフローを処理する。softmax attentionとKV cacheを維持するのは全レイヤーの4分の1にすぎないが、100万tokenの処理能力と韓国語オフィスエージェントでの性能は、依然として主にチームによる自己評価に基づいている。
AI 基礎設施
NVIDIAはModelExpressの転送経路全体を公開した。新しい推論レプリカは、既存のGPUからP2P RDMA経由で重みとコンパイルキャッシュを優先的に複製する。公式検証では、8基のB200上でDeepSeek-V4-ProのAPI利用可能までの時間を8分から1分44秒に短縮したが、この結果は同一種類のGPU、高速ネットワーク、互換性のあるテンソル構成に大きく依存する。
最新模型
Swiss AI InitiativeはApertus 1.5をリリースした。継続事前学習により、従来のテキストモデルを、テキストを出力するマルチモーダルモデルへと拡張している。重みと学習情報は公開済みだが、正式な技術レポート、完全なベンチマーク、アップストリームの推論フレームワーク対応はまだ整っていない。
最新模型
KAISTの研究チームは、音声から説明可能な映像tokenを入力段階で除去し、テキストプロキシによって物体の意味情報を保持する、学習不要のReMoを提案した。著者らの評価では、Qwen Omniシリーズで平均スコアを低下させることなく入力を半分以上圧縮したが、コードと独立した再現結果はまだ公開されていない。
最新模型
Hugging FaceとBigCodeは、次世代のオープンなコード事前学習コーパスを公開した。訓練データセットには約1億7,300万サンプル、4.9兆tokenが含まれる。新版ではユーザーがソースコードを別途取得する必要がなくなった一方、ライセンス、データ汚染、15.9 TBのストレージコストについては、引き続き訓練チーム側でのガバナンスが必要となる。
最新模型
新たな研究では、TensorRTとTensorRT-LLMを用いてIndexTTS-2のGPT、Diffusion Transformer、ボコーダーを再構築し、ストリーミング推論とバッチ推論にも対応した。英語・中国語のSeed-TTS実験ではGPTが最大5倍高速化したが、現時点の公開資料だけでは、最適化パイプライン全体を直接再現するには不十分だ。
開發者平台
DeepSeekは7月24日、互換モデル名の`deepseek-chat`と`deepseek-reasoner`を廃止した。移行していないAPIリクエストは、そのまま失敗する可能性がある。新しいインターフェースではモデル選択と推論モードが分離されており、アップグレードは単なるモデル文字列の置き換えでは済まない。
最新模型
InclusionAIは、124BパラメータのLing-3.0-flashを公開した。KDA、MLA、高度に疎なMoEを採用し、長いワークフローを伴うエージェント推論を主眼とする。APIはすでに提供されているが、weightsの公開は8月を予定しており、現時点では性能値を完全には再現できない。
最新模型
GoogleはGemini 3.6 Flashと3.5 Flash-Liteを安定版APIとして提供し、それぞれ複雑なエージェントのメインモデルと高スループットのサブエージェントをターゲットにしている。公式データでは、token使用量、コーディングタスク、コンピュータ操作で両モデルの改善が示されているが、比較の多くはGoogleまたは提携する評価機関によるものであり、実際のワークフローでの検証がなお必要だ。
最新模型
Multiverse Computingは、圧縮および修復学習を施したLlama 3.3 70Bを発表した。vLLM CPUとIntel AMXを利用してXeon 6上でサービングできる。公式テストではスループットがほぼ倍増したものの、出力速度は毎秒4 token未満で、チェックポイントと生データは公開されていない。