推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

代理工具

研究が明らかにしたマルチモデル査読パイプラインの参照ずれ:検証モデルが正しいロールバックを誤りと判定する可能性

新たな実験により、「ドラフト作成—検証—修訂」パイプラインでは、`previous` などの相対的な語の指示対象が、モデルの役割が切り替わる際に変化し得ることが示された。推論強度を高めることで一部のモデルは大幅に改善するものの、単にテスト時計算量を増やすことよりも、モデル選択のほうが重要だという。

GitHub Repo

OpenArch、読みやすいLLMアーキテクチャ実装でHacker Newsの注目を集めるも、本番推論フレームワークの代替には至らず

OpenArchは、Llama、DeepSeek、Gemma、Qwen、Kimiなどのモデルを、アーキテクチャ別の純粋なPyTorchサンプルとして書き直し、Attention、正規化、MoEルーティングを比較しやすくしている。プロジェクトは9月14日にHacker Newsで急速に注目を集めたが、大半のモデルはまだ未完成で、既存コードも性能や互換性を目標としていないことが明記されている。

推論系統

smolperfbenchmark、エッジLLMのエネルギー効率ベンチマークを公開。ただしライブ・リーダーボードの結果は現在0件

新たなオープンソースのベンチマークスイートは、小型モデルをJetson、Mac、Raspberry Pi、Androidデバイスで動かし、データセンターGPUのスループットだけでなく、デコード速度、tokens/J、レイテンシ、温度を測定する。作者は約1,000通りのJetson構成をテスト済みとしているが、現在、公開リーダーボードにはデータが1件も読み込まれておらず、ユーザーは当面、リポジトリ内のレポートとraw artifactsを参照して結果を検証する必要がある。

GitHub Repo

llama.cppのデイリービルド、旧世代GPU向けにF32フォールバックを導入し、Nemotron MTPウェイトのゼロ除算クラッシュを防止

9月13~14日のllama.cppプレリリースビルドでは、BF16が利用できない場合のCUDA F32経路が追加され、一部の旧世代GPUで即座に失敗する問題が回避された。別の修正では、Nemotron-HのNextN/MTPメタデータが不完全な場合、モデル読み込み時にSIGFPEを引き起こす代わりにエラーを報告する。

推論系統

Colibrìは兆パラメータ級MoEの重みをVRAM、RAM、NVMeに階層配置するが、低メモリだからといって高速推論とは限らない

最近コミュニティで注目度が高まっているColibrìは、純C製エンジンでスパースなエキスパートをオンデマンドに読み込み、744Bから2.8Tパラメータのモデルをデータセンター向けではないハードウェアでも起動可能にする。引き下げられるのはモデルの常駐メモリ要件であり、実際のデコード速度は依然としてSSD帯域幅、エキスパートのヒット率、量子化品質に大きく左右される。

代理工具

AlibabaのOpenCodeReviewがGitHub Trending入り、決定論的パイプラインでコードレビューエージェントを制御

Alibabaが社内で利用してきたOpenCodeReviewが今週、オープンソースとして急速に注目を集めている。ファイル選択、ルールマッチング、コメント位置の特定は決定論的なプログラムに任せ、LLMエージェントにはコンテキスト探索を担わせる設計だ。公式ベンチマークでは汎用coding agentと比べてtoken使用量を約90%削減した一方、recallは低い。

最新模型

MiniCPM5-2B、全トレーニング段階とエッジ向け形式を公開――16のRLエキスパートを単一モデルへ蒸留

OpenBMBはMiniCPM5-2B、トレーニングデータ、および事前学習からRLまでの各段階の重みを公開し、GGUF、MLX、GPTQ、投機的デコーディング版も提供した。モデルは標準のLlamaアーキテクチャと128Kコンテキストを維持する一方、ツール呼び出しに必要なSGLangパーサーは、現時点ではmainブランチからのインストールが必要となる可能性がある。

推論系統

Hugging Face、旧式kernelモデルリポジトリを閉鎖――未移行の推論プログラムが即座に動作不能になる可能性

Hugging Faceは9月13日から、通常のモデルリポジトリに保存されていた旧版の演算kernelを削除している。ユーザーは`kernels`をアップグレードし、新しいkernelリポジトリタイプへ移行する必要がある。この移行ではAPIバージョンの明示と信頼できる公開者への制限も必須となるが、ダウンロード時の署名検証はまだ自動的には有効化されていない。

最新模型

DeepSeek、本日 V4 Pro API を V4.1 Flash に切り替え——低価格な token でもエージェントタスクの総コストが下がるとは限らない

DeepSeek は9月14日04:00 UTCより、すべての `deepseek-v4-pro` リクエストを新しい V4.1 Flash に一時的にルーティングする。新アーキテクチャでは KV cache が token あたり890 bytes に圧縮された一方、独立評価では推論出力が長くなるため、タスク単位のコストが前世代の Flash を上回る可能性が示されている。

代理工具

NVIDIA、IMO金メダル級推論のレシピを完成:各問題でまず384件の証明を生成し、多段階の審査で選別

NVIDIAはNemotron IMO 2026のリソースを更新し、SFT/RLの重み、データ、プロンプト、再開可能な完全版推論プログラムを公開した。システムは30/42点を獲得したが、その成果は3つの561B checkpointと膨大なテスト時計算に大きく依存しており、単一モデルによる1回の回答能力とは見なせない。

最新模型

Pipecat 1.10、音声エージェントのプロバイダーインターフェースを再編――OpenAI 3へのアップグレードでTLSの挙動が変わる可能性

Pipecat 1.10は、フラグメントをまたぐ音声の連続性、サーバー側の発話分割、調整可能な音声バッファリングを追加し、新版のOpenAI、Anthropic、MCP SDKにも対応した。今回のアップグレードでは一部のHTTP、STT、推論のデフォルト値も変更されており、既存のコンテナや音声パイプラインの互換性は、パッケージテストだけでは判断できない。

最新模型

Togetherのファインチューニングサービス、LoRAでMoEエキスパートを直接訓練可能に――trainerへ実際に渡されるトークンの確認にも対応

Together AIは、Expert LoRA、サンプル単位の重み付け、学習前のデータ検証、リアルタイム指標を追加した。これにより開発者は、アテンションだけでなくMoEのエキスパート層も制御できる。公式実験では知識再現率が15%から最大89%に向上したが、比較の規模は限定的で、現時点ではエキスパート用adapterとアテンション用adapterを併用できない。