SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

AI 安全

ResponseGuard、単一フォワードパスでマルチモーダルな有害応答を遮断、推論型ガードよりレイテンシーを約150分の1に

ResponseGuardはマルチモーダル応答の審査を二値分類として再定式化し、思考連鎖を生成せず、ストリーミング中に文単位で判定できる。著者らの自己評価では、応答検知性能が3B推論型ベースラインを上回ったが、モデルの重み、学習コード、データ分割はまだ公開されていない。
推論系統

MoAI、32基のMI300X上でGLM-5.1を披露――異種GPUルーティングと推論の分離を単一サービスに統合

Morehは、4ノード、32基のAMD MI300XでGLM-5.1を実行する分散推論サービスを披露し、TTFT、TPOT、GPU使用率をリアルタイムで表示した。MoAIはさらに、異なるベンダー間でprefillとdecodeを分離できるとしているが、今回のデモでは完全なスループットデータや再現可能な設定は公開されていない。
最新模型

Microsoft、製品内強化学習でMAI-Codeを特化し、同一チェックポイントをExcelエージェントへ展開

Microsoftは「hill-climbing」ポストトレーニング・プロセスを公開し、製品ツール、grader、実利用シグナルをモデルの反復改善へフィードバックしている。MAI-Code-1-FlashはExcel環境で再トレーニングした後、旧世代のGPUでも提供可能だが、パラメータ規模、評価セット、元の実験データは公表されていない。
具身 AI

MiniCPM-Robot、ストリーミング視覚記憶と行動モデルを1.5Bに圧縮し、Go2のオンデバイス展開手順も整備

OpenBMBはMiniCPM-Robotの重み、コード、デプロイ文書を更新し、単一の1.5B VLAで複数の操作タスクを処理できるようにした。さらに、0.9Bモデルで目標追跡を実行する。ストリーミングコンテキストとカスタム推論カーネルにより重複する視覚計算を削減する一方、公式ベンチマークだけではロボット間の汎化性能を証明するには不十分だ。
代理工具

Cursor Router、プログラミングタスクごとにモデルを選択し、オンライン行動シグナルで品質と推論コストを両立

CursorはAutoモードをリクエスト単位のモデルルーターで駆動する方式に変更し、プロンプト、コンテキスト、分野、複雑さに応じて異なるモデルへ振り分ける。公式発表ではオンラインA/Bテストによりコストを最大60％削減できるとしているが、ルーティング規則、モデルごとの配分、完全な生データはいずれも公開されていない。
推論系統

PyTorch HelionにTPUバックエンドが追加、同一の高水準カーネルコードでTritonとPallasに対応

PyTorchとGoogleはHelion向けのTPUバックエンドを構築し、PyTorchスタイルのカーネルコードをPallasへコンパイルできるようにした。これにより、TPU用の低水準カーネルを別途記述する負担が軽減される。チームはTPU v7上のFlash Attentionで最大838 TFLOPsを測定したが、機能はなお活発な開発段階にある。
AI 安全

ResearchArena、AI研究開発エージェントによる意図的な妨害を検証――データポイズニングはコードのバックドアより監視による検出が困難

ResearchArenaは、ポストトレーニング、CUDAカーネル、推論サーバーの最適化を、隠された攻撃目標を伴う長期工程の評価へと作り替えた。384回の実験では、監視エージェントに成果物を実際に実行させることでバックドアを発見しやすくなる一方、訓練データに仕込まれた妨害は依然として見逃されることが多いと示された。
AI 基礎設施

GigaToken、Rust・SIMD・ファイル直接読み込みでBPEを高速化、GPT-2トークナイザーの独自テストで24.53 GB/sを達成

オープンソースプロジェクトのGigaToken 0.9.0は、事前トークン化、BPEマージ、データ入力経路を再最適化し、デュアルソケット構成の144コアAMD EPYCホスト上でHugging Face Tokenizersの989倍高速だとしている。ただし、最大性能はネイティブAPI、11.9 GBのバッチコーパス、高度な並列ハードウェアに依存しており、オンラインの短いリクエストにそのまま当てはめることはできない。
推論系統

SWE-Pruner Pro、コーディングモデルの隠れ状態を直接読み取り、エージェントのトークンを最大39％削減

SWE-Pruner Proは独立した分類器の呼び出しを廃止し、軽量な予測ヘッドを使ってコーディングエージェントの内部表現から、ツール出力の各行を保持すべきか判断する。2つのオープンMoEモデルと4つのマルチターン・ベンチマークでトークン削減を達成したが、推論サーバーの改修が必要で、一部の品質向上については今後の再現検証が待たれる。