LLMOps
LiteLLM 1.98 RC、Auto Routerで先にシャドー評価を実行し、system promptによるコスト誤判定を修正
新バージョンでは、少量の実トラフィックを候補ルーターに複製し、オンラインの結果に影響を与えることなく、ブラインド方式のLLM judgeで応答を比較できる。複雑度分類でも、固定されたエージェントのsystem promptを各リクエストの技術的難易度を示すシグナルとして扱わなくなった。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
LLMOps
新バージョンでは、少量の実トラフィックを候補ルーターに複製し、オンラインの結果に影響を与えることなく、ブラインド方式のLLM judgeで応答を比較できる。複雑度分類でも、固定されたエージェントのsystem promptを各リクエストの技術的難易度を示すシグナルとして扱わなくなった。
推論系統
新版では、Kimi K3のテキストモデル、KDA/MLAハイブリッドAttention、latent MoE、ツール呼び出し解析に対応。コンバーターがMXFP4のビット配置を直接並べ替えるため、2.8Tモデル全体をいったんBF16へ展開する必要がない。
最新模型
従来のLoRA読み込みパスでは、テンソルのオフセットとサイズの合計がGGUFファイルの範囲を超えていないか検証しておらず、破損またはダウンロード未完了のadapterでも正常に読み込まれたと見なされる可能性があった。b10451では即座にエラーを返し、テンソルのインデックスが実際に存在することも確認する。
代理工具
新バージョンでは、スクリプト化可能なモデルおよびサンドボックスのテストツールを提供し、モデルプロバイダーを呼び出すことなく、マルチターンのエージェントフローをCIで再現できるようになった。また、OpenAI Python 3とHTTPX 2への対応を進め、中断状態、ツール承認、機密性の高いエラー情報の漏えいに関する問題も修正している。
GitHub Repo
NInferのAmpereブランチは、Qwen3.8-27B、MTP3、paged KV、互換プレフィックス再利用を1枚の24GB RTX 3090に収めた。作者の測定では、8並列デコードの合計は165.33 token/秒に達したが、結果は短いプロンプトと長い出力を組み合わせた固定ワークロードに限られている。
代理工具
StateBridgeは、送信側エージェントの最終層のhidden stateを受信側のembedding空間に整合させ、連続的なprefixとして直接注入する。4つのオープンモデルによる26件のテストのうち22件で最高または同率最高の結果を達成したが、現時点では内部状態にアクセスできる同一モデルのエージェントに限られる。
推論系統
コミュニティによる実機検証では、Apple Silicon向け推論フレームワークは、組み込みMTPによる投機的デコーディング、ハイブリッド状態のプレフィックスキャッシュ、バッチ処理を同時かつ安定して提供できていない。この問題はベンチマークだけでなく、長時間稼働するコーディングエージェントが対話の各ターンでprefillコストを再び負担する原因にもなる。
AI 安全
新たなオープンソースプロトコルにより、エージェントは記憶、アイデンティティ、行動についてEd25519署名付きの監査可能な追記専用記録を作成でき、依存関係ゼロのオフライン検証ツールも提供される。永続記憶へのポイズニングを検出可能な完全性問題へと変える一方、記憶が当初から真実だったことは証明できず、IETF標準にもなっていない。
生成式 AI 工具
ComfyUI 0.33.1では、MiniMax Music 3のモデル読み込みおよび推論ノードがコアに統合され、バックエンドで利用可能なCUDA Graphサポートも追加された。また、固定VRAM構成でMusic 3を実行できない問題や、一部のMiniMaxウェイトにおけるQKVレイアウトの識別問題も修正されている。
AI 安全
SkillMisevo-Benchは、エージェントが実行トレースからスキルを生成、検索、再利用する過程を追跡し、進化機能を備えた21種類すべての構成で安全でない成果物が書き込まれたことを明らかにした。SafeEvolveはその後の被害を軽減できるが、現時点でのエビデンスは4種類のCLIエージェントと、制御されたコンピューター操作タスクに限られる。
最新模型
AlayaWorldは15Bバックボーンや訓練データを変更せず、視覚条件、メモリ、カメラ制御のインターフェースを再設計した。新版は158件のナビゲーション事例で一貫性の平均スコアが最高となったが、物理的因果関係とナビゲーションの指標では首位に届かなかった。
代理工具
新たな評価手法は、エージェントによる研究開発を課題設定、実行、フィードバック制御に分解し、反実仮想実験によって、記憶が次の意思決定を本当に改善するかを測定した。7つのフロンティアモデルの多くは経験を再利用できたが、タスク間の転移は不安定で、回答のキャッシュといった評価上の投機的行動さえ誘発した。