SURL AI News
繁中English日本語

Archive

推論系統

推論 runtime、量化、 serving、KV cache、成本與效能。

最新模型

PertMind、細胞摂動のエンドポイントで4Bモデルを訓練し、1億件の単一細胞データを強化学習の報酬に変換

PertMindはQwen3-4Bをベースに、遺伝子応答、パスウェイの方向性、出力形式から計算可能な報酬を構成し、人手で大量の生物学的推論軌跡を作成する必要をなくした。モデルは摂動の逆推定や二重摂動タスクにもゼロショットで転移できるが、自然言語によるメカニズムの説明を因果関係の証明とみなすことはできない。
推論系統

FreeToken、MoEキャッシュミスを動的に分割し、8GBのRTX 4060で35Bモデルを39.3 token/sで実行

FreeTokenは、ホストメモリとPCIe帯域幅に基づき、キャッシュミスしたエキスパートをGPUへ転送するか、CPUで直接計算するかを動的に決定する。論文では、5種類のコンシューマー向けシステムにおいて、最も強力なベースラインの1.3～2.1倍のデコードスループットを報告しているが、リンク先のコードリポジトリは現時点で公開アクセスできない。
推論系統

DriveCache、予定車両軌跡に基づきノイズ除去キャッシュを配分し、Wan2.2 A14Bで高い忠実度を維持しながら1.97倍に高速化

DriveCacheは、生成前に既知の車両の並進と回転を利用し、さまざまな運転シーンに応じて拡散モデルの特徴量再利用をスケジューリングする。Wan2.2 A14Bでは、SeaCacheとほぼ同等の高速化を達成しつつ、PSNRが1.276 dB高かったが、コードはまだ公開されていない。
AI 安全

Model Hypnosis、無関係なテキスト手がかりの重ね合わせで推論モデルの二択回答確率を大幅に反転

新たな研究では、加法的な対数オッズモデルを用いて、言い換え、誤字、動物名、JSONフィールドがもたらす微弱なバイアスを測定し、同じ方向に作用する手がかりを組み合わせてプロンプトを作成した。最適化されたプロンプトの一部はモデル間で転移したが、現時点の実験は人為的に設計された二者択一問題に集中している。
代理工具

マルチエージェントチーム、個別メッセージを共有ファイルに置き換え、8エージェント構成で出力tokenを約42％削減

UCLの研究チームは、エージェント、ファイル、メッセージ、読み書きイベントを時間ネットワークとしてモデル化し、1,902件の統制されたプログラミングタスクを分析した。その結果、協調トポロジーは主にタスク構造によって決まり、プロンプト内でコーディネーターを指定するだけでは、実際のハブは形成されないことが示された。
AI 安全

コンプライアンス検出器、ルールを与えても主に文脈を読み、交差ルールテストではほぼランダムに

新たな研究により、複数のguard modelとactivation probeは、ルールを削除、シャッフル、置換しても判定精度がほとんど変わらないことが分かった。テキスト上のショートカットを排除するために設計された交差テストでは、高速な検出器の成績はランダムに近く、ルールと文脈を組み合わせる能力が明確に回復したのは、段階的推論モデルだけだった。
推論系統

ParaTempo、時間的信頼度で推論ブランチを非同期に刈り込み、Qwen3.5のレイテンシを21.8%削減

ParaTempoは各推論パスの暫定回答分布を定期的にプローブし、その結果に基づいて刈り込み、早期終了、分岐を個別に実行する。Qwen3.5-35B-A3Bでは、4つのベンチマークにおける平均精度が固定16パスのself-consistencyを1.1ポイント下回った一方、レイテンシと生成token数をそれぞれ21.8%と30.3%削減した。
推論系統

llama.cpp b10472、AMD APUのメモリ判定を修正し、Strix Haloに存在しない空き容量が割り当てられる問題を回避

新版では、Linux HIPビルドにおいてシステムの`MemAvailable`でGPUメモリ情報を上書きする処理を廃止し、`hipMemGetInfo`の値を信頼するよう変更した。この修正は、UMA carveoutを調整可能なAMD APUを対象としており、モデルローダーが容量を過大評価し、後から失敗するリスクを軽減する。
訓練基礎設施

Rollplex、VLM強化学習のプレフィックス計算をrolloutの空き時間に組み込み、32基のH800で最大1.30倍の学習高速化

Rollplexは、参照モデルと学習用actorの動画エンコードおよびprompt prefillを自己回帰デコード中に先行実行しながら、同期on-policyのセマンティクスを維持する。CUDA VMMでフェーズをまたぐメモリを管理し、テンソル並列度が異なる学習プロセスと推論プロセス間で互換性のある重みを共有する。
推論系統

llama.cpp b10456、SYCLの量子化変換スケジューリングを修正——Arc 70のQ4_0→FP32スループットが158.19 GB/sに向上

新版では量子化ブロックのサイズに応じてスレッド数とワークグループ数を設定し、SYCL copy kernelの過剰または不十分なサブスクリプションを回避。Arc 70のマイクロベンチマークではスループットが20.21 GB/sから158.19 GB/sに向上したが、これはモデル全体のtoken生成速度が同じ比率で向上することを意味しない。