最新模型
Qwen3.8‑27B GGUFがテンソル単位の構成に移行、同じ量子化名でも旧版のビット割り当てを意味せず
BartowskiはQwen3.8‑27B GGUFを再アップロードし、各テンソルの感度に応じて量子化形式を割り当てるとともに、再構築可能な構成ファイルとKLD測定結果を公開した。新旧ファイルには一部同じ名称が使われているが、`_L`の意味と実際のビット構成は変更されており、デプロイ担当者はファイル名だけで比較できない。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
最新模型
最新模型
Wringerは低ランク蒸留の成果を低ビット重みに再圧縮、ただし現時点で削減できるのはストレージ容量のみ
Wringerは、一時的なLoRAで2.655 bpwモデルを修復した後、その補正を整数コードとscaleに再求解し、推論時にはadapterを保持しない。公開モデルは3つのベンチマークでBF16スコアの約94.65%を維持するが、モデル全体では実際には4.69 bpwで、ネイティブ低ビットkernelも存在しない。
推論系統
Xinference 3.4、prefill／decode 分離と worker 間のレプリカスケーリングを追加、モデルキャッシュの中断・再開にも対応
新版では、分離推論、vLLM のマルチプロセスルーティング、複数 worker にまたがるレプリカ管理を、単一のオープンソースサービス層に統合した。モデルの事前ダウンロード、既存キャッシュからの起動、ダウンロード再開も可能になったが、リリースノートにはスループットやレイテンシーの比較データは示されていない。
AI 安全
攻撃エージェントが盗用した379のLLMアップストリームを単一ゲートウェイに集約、自己フィードバック型の推論サプライチェーンを形成
SANSのハニーポットが半自動化されたワークフローを捕捉した。エージェントは認証の弱いLLM再販サービスを探索してキーを取得し、テスト後に統一APIへ集約する。完全な自律複製ではないものの、盗用された推論リソースが次のスキャンや侵入を支援できる段階に達していることを示している。
最新模型
SenseNova-U1.5、ネイティブ視覚統一アーキテクチャのレポートを公開。ただし完全な学習パイプラインは未公開
SenseNova-U1.5は、独立した視覚エンコーダーやVAEに依存しないMoTアーキテクチャを採用し、単一モデルで理解、推論、生成、編集を処理する。9月11日に追加された技術レポートでは学習手法と評価結果が開示された。既存の重みと推論コードは利用できる一方、SFT、RL、multi-expert distillationのコードはまだ完全には公開されていない。
推論系統
H3 Lightning、MiniMax H3の動画生成を4ステップに短縮。ただし12.2倍の高速化は未公開の重みに依存
RunningHubは、SGLang、ステップ蒸留、SageAttention2、Cache-DiT、`torch.compile`を組み合わせたMiniMax H3向けマルチGPU推論レシピを公開した。公式測定では5秒動画のレイテンシを348.8秒から28.7秒に短縮したが、鍵となる内部高速化用の重みはまだ公開されておらず、公開LoRAではこの数値をそのまま再現できない。
最新模型
T1、MoEルーティングの再生で長期シーケンス強化学習を安定化、Terminal-Bench 2.1のタスク解決率は64%に上昇
T1は各tokenでMoEのエキスパート選択を記録・再生し、数値差によってrollout側と訓練側が異なるサブネットワークを通る問題を回避する。公開weightsはセルフホストできるものの、ベンチマークおよび競合モデルとの比較は依然として主にチーム自身の評価に基づく。
最新模型
X-AuT、Qwen3-ASRの音声タワーを段階的に剪定し、車載環境でのエンコード遅延を21.4%削減
小鵬汽車（XPeng）は、行動プローブ、クロススケール蒸留、LoRAを用いて、Qwen3-ASR-0.6Bの音声エンコーダーを18層から14層へ縮小した。重みと推論コードは公開済みだが、完全な蒸留プロセスと28万時間超の学習データはまだ公開されていない。
推論系統
vLLM‑Omni 0.29 RC、全二重音声を統一ランタイムへ統合。ただしバージイン能力はモデルごとに異なる
新版は、MiniCPM‑o 4.5、PersonaPlex、Nemotron VoiceChatを共通のWebSocket実行レイヤーで提供し、diffusion batching、並列化、コンポーネントのオフロードも追加した。現時点ではまだプレリリース版であり、一部のエンドポイントは警告なしにターン制音声へフォールバックするため、接続の成功だけでは全二重対応と判断できない。
AI research
Looped Flows、局所的なノイズ除去で反復推論を訓練し、ARC-AGI-1のテスト精度58.8％を達成
新手法は、再帰型ネットワークの各更新をノイズから解答へ向かう連続的なフローとして構成する。これにより、すべての反復を完全に誤差逆伝播しなくても、複数ステップにまたがる状態を学習できる。推論時には積分ステップ数を増やして計算量を拡大でき、異なる初期ノイズから複数の解候補を生成することも可能だ。
最新模型
GPT‑Live‑1 API、全二重音声とバックエンド推論を分離――音声レイヤーは1分あたり0.05ドル
OpenAIは、聞き取りと発話を同時に行い、割り込みにも対応できるGPT‑Live‑1を開発者向けに公開した。音声フロントエンドから、複雑な推論やツール操作を別のモデルに委任することもできる。新しいアーキテクチャーはSTT、LLM、TTS間の不安定な受け渡しを減らすが、バックエンド推論、ツール、通話インフラストラクチャーには別途料金がかかる。
AI 安全
LiteLLMの実測で公開ゲートウェイの9.6%がデフォルトキーを受け入れ、MCPの脆弱性により任意のtokenが有効なセッションに
Wizが公開されている3,074件のLiteLLMインスタンスをスキャンしたところ、294件が`sk-1234`を受け入れるか、認証をまったく要求しておらず、そのうち191件は認証自体が設定されていなかった。新たに公開された実環境での測定結果は、旧バージョンのMCP認証バイパス、Pythonを実行可能なguardrail、クラウドメタデータへのアクセスを連鎖させ、レイヤーをまたぐ攻撃経路を構築できることを示している。