SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

推論系統

SGLang 0.5.19がBeam Searchを追加し、NVIDIA／AMD間の推論パスを再編

SGLangの新バージョンでは、同一サービス内で`beam_width`を指定して複数の候補シーケンスを返せるようになり、統一radix treeが全モデルのデフォルトキャッシュとなった。MoE、長コンテキスト、ROCmカーネルも拡充された一方、依存関係や設定動作に変更があるため、アップグレード前の再検証が必要だ。
最新模型

補助的視点の実験：同じ知識を教材・Q&A・記事に書き換える方が、原文を繰り返すよりモデルの学習に有効

ペンシルベニア大学の研究者らは、知識に割り当てるtoken予算を固定したうえで、原文の反復の一部を複数の概念的表現に置き換え、事実の想起と推論を改善した。効果は主に7B以上のモデルで確認されたが、実験は短期間の継続事前学習にとどまり、フロンティアモデルの完全な事前学習へ直接一般化することはできない。
推論系統

Ollama 0.34 RC、ローカルモデルをChatGPT Desktopに接続——ツール検索とレスポンス圧縮の互換性も強化

OllamaのmacOSアプリから、ローカルのオープンモデルを新版ChatGPT Desktopへ直接接続できるようになった。ただし、現時点ではリリース候補版であり、クラウドモデルへ切り替えられないUI上の問題もコミュニティから報告されているため、そのまま大規模展開するのは適切ではない。
AI 安全

ASCII Smuggling、プロンプトインジェクションからメール攻撃へ――不可視Unicodeが分類器のトークン化を撹乱

Microsoftは、フィッシングメールが金融関連のキーワードに不可視のUnicode Tag文字を挿入し、ルールや機械学習分類器が認識するtokenを変化させていることを発見した。攻撃はピーク時に1日230万通を超え、AIレッドチームの技術が従来型のサイバーセキュリティ攻防へ逆流し始めたことを示している。
推論系統

SGLang、GPU不要のSimulatorを正式ドキュメントに追加――レイテンシ予測で推論トラフィックをリプレイ

SGLang SimulatorはCPU上でランタイムコンポーネントをインターセプトし、モデルの実ロードやGPUカーネルの実行なしに、スケジューリング、バッチ処理、多階層KV cacheをシミュレートする。チームは、H20上の2種類のQwen3で主要指標の誤差が5%未満だったとしているが、ハードウェアとモデルのカバレッジは依然として限定的だ。
GitHub Repo

Paddock、Rust／CUDA推論エンジンをオープンソース化――単一NVIDIA GPUでのエージェント同時実行に照準

Truesparは、Paddockのスケジューラ、ページングKV cache、メモリ管理、独自CUDA kernelsを公開し、OpenAIおよびAnthropic互換インターフェースも提供する。開発者によるベンチマークでは、一部の単一GPUワークロードでvLLMとSGLangを上回ったが、独立した再現検証はまだなく、tensor parallel、ROCm、Metalには対応していない。
最新模型

GPT-6 Astra API、非同期ツール呼び出しとターン途中のステアリングに対応――サイバーセキュリティ能力は初のCritical評価

OpenAIの新たなフラッグシップモデルは、ツールをバックグラウンドで実行しながら推論を継続でき、WebSocket経由で実行途中の修正も受け付ける。強化されたエージェント能力に伴い、新たな移行上の制約が加わったほか、サイバー攻撃能力が初めてCriticalレベルに達した。
推論系統

llama.cpp 0.4.0、大規模モデル読み込み時のメモリ使用量ピークを遅延テンソル読み込みで低減し、Qwen3.8の新アーキテクチャにも対応

新バージョンでは`--lazy-mode`、量子化処理用ワーキングメモリの上限、行単位のスラブストリーミングが追加され、超巨大テンソルをRAMへ一括ロードする必要がなくなった。Qwen3.8-Flash-NextとNemotron-3-Puzzleも初期対応となったが、前者のパフォーマンス最適化と一部ハードウェアとの互換性には、なお改善の余地がある。
AI research

One-Shot OPD、単一クエリで全データ蒸留の利得の大半を獲得——ボトルネックは教師シグナルの吸収速度へ

研究者らは、学生モデルが1つのクエリに対して反復的にサンプリングし、教師からtoken単位の監督を受けることで、300ステップ後には全データ訓練が到達した状態の71.5%をカバーできることを明らかにした。意味的に異なる16個のクエリを加えるとカバー率は98.9%に達するが、結果は依然として、指定された小規模モデル、教師、ベンチマークに限定される。
推論系統

NVIDIA PAIR、単一のローカルエンドポイントでデバイス横断推論を振り分け――ただしGPUメモリは統合せず

オープンソースのPersonal AI Routerは、Windows、Linux、macOSの各ノード間で、OllamaまたはLM Studioへの独立したリクエストをスケジューリングできる。マルチエージェントの同時実行数を増やすのには適しているが、分散モデル実行エンジンではなく、単一モデルは依然として1台のマシンに完全に収まる必要がある。