硬體
ETHEREAL、時空間イベントキャッシュでVGAイベントビジョンを処理、イベント当たりの推論実測値は25.6マイクロ秒
28nm ETHEREALチップは、不規則なイベントグラフアクセスと規則的なspline convolutionを分離して処理し、レイヤーごとの4／8ビット精度にも対応する。DAGr-GNNの実測値はイベント当たり25.6マイクロ秒、1.6マイクロジュールだが、検出ヘッドの最後の3層は依然としてチップ外で評価されている。
Archive
硬體
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
硬體
最新模型
OYS、拡散モデルのノイズ除去タイムステップを直接探索し、5ステップで50ステップ時の品質の89〜94%を維持
OYSはモデルの変更や蒸留を行わず、ベイズ最適化によってモデルとタスクごとに少ステップのノイズ除去スケジュールを探索する。研究では6種類のtext-to-imageモデルと画像修復タスクで改善が報告されたが、探索コストを多数の事前生成サンプルによって償却する必要がある。
推論系統
Qwen3.8-27B 在 RTX 4090 上可達 70 tok/s，主流部署仍依賴量化與 MTP 調校
Qwen3.8-27B 讓 27B 級模型進入單張 24GB 消費級 GPU 的可用範圍。公開資料顯示，一般 GGUF 部署約落在 30 至 60 tok/s；在 RTX 4090 上啟用 KV cache 量化、MTP 與新版 llama.cpp 後，社群實測可提升至 70 至 85 tok/s，但這仍不是開箱即得的基準。
推論系統
TensorRT Model Connect パブリックプレビュー：Hugging FaceモデルをONNX経由なしでネイティブC++推論向けにパッケージ化
NVIDIAはTensorRT Model Connectをオープンソース化した。2つのコマンドで、サポート対象のHugging Faceモデルまたはローカルcheckpointを、C++アプリケーションに引き渡せるバージョン管理されたbundleとしてビルドできる。モデル移植の工程を短縮する一方、現時点ではreference implementationという位置付けであり、対応範囲と性能はモデル、精度、ハードウェアごとに検証する必要がある。
硬體
PTXBenchがLLMによるH100／B200専用PTXの直接生成を実測、最先端カーネルライブラリに安定して追いつけるモデルはなし
PTXBenchは、生成されたカーネルの正確性、指定された命令が実際に実行されたか、さらにcuBLAS、cuDNN、FlashInferに対する速度を同時に検証する。その結果、新アーキテクチャ向け命令を生成できても、それを実効的な高速化につなげられるとは限らず、特にB200のAttentionカーネルが難しいことが示された。
代理工具
StagedWorkspace、コンテンツハッシュでエージェントの解析ビューとネイティブファイルを同期し、OfficeQA Pass@1を8.3～12.1ポイント向上
新システムは、ドキュメントエージェントの検索結果、ネイティブファイル、diffビュー、最終提出物を明示的なバージョンに結び付け、古い解析内容を読んだエージェントが新しいファイルを編集する事態を防ぐ。固定したフレームワークでのアブレーションでは、解析ビューとネイティブビューを併用する方が、いずれか一方だけを使う場合より優れていた。一方、完全なコードとフレームワークをまたぐ再現結果は、まだ十分に提供されていない。
推論系統
MoNe、長文コンテキストをテスト時ニューラルメモリに書き込み、128K推論の総FLOPsを81%削減
Qualcomm AI Researchは、凍結したTransformerの各層に高速重みを追加し、コンテキストを512-token単位で取り込む手法を開発した。クエリ時に原文を再読み込みする必要はない。Qwen2.5-0.5Bを用いた128Kの実験では、メモリ使用量を一定に保ちながらICLとRAGを上回ったが、現時点でのエビデンスは3つの合成検索タスクに限られる。
硬體
rl-triton、7種類の強化学習リターン計算をGPU scanに統合し、関数呼び出し全体で最大5.70倍高速化
オープンソースライブラリのrl-tritonは、GAE、V-Trace、Retraceなどの信用割り当てにおける再帰計算を、Tritonによるassociative scanへと書き換え、系列依存の深さをO(T)からO(log T)へ削減した。4,096環境、128ステップのテストでは、すでにベクトル化されたtorch.compileベースラインより1.6～5.70倍高速だった一方、大規模ポリシーにおけるend-to-endのPPO高速化は約1.02倍にとどまった。
推論系統
FluxBin、二値基底と LUT CUDA kernel により、単一 A100 で最大 5.92 倍の推論高速化を報告
FluxBin は超低ビット重みを FP16 に再展開せず、二値パターンを使って事前計算済みの部分和を直接参照する。論文では単一 A100 で最大 5.92 倍の高速化と 10.19 倍のエネルギー効率改善を報告しているが、現時点では公開コードへのリンクにアクセスできない。
推論系統
FreeToken、MoEキャッシュミスを動的に分割し、8GBのRTX 4060で35Bモデルを39.3 token/sで実行
FreeTokenは、ホストメモリとPCIe帯域幅に基づき、キャッシュミスしたエキスパートをGPUへ転送するか、CPUで直接計算するかを動的に決定する。論文では、5種類のコンシューマー向けシステムにおいて、最も強力なベースラインの1.3～2.1倍のデコードスループットを報告しているが、リンク先のコードリポジトリは現時点で公開アクセスできない。
代理工具
Quipu、エージェントによる知識グラフへの書き込みを「検証後にコミット」へ転換、拒否記録もバージョンをまたいでリプレイ可能に
Quipuは、データ、信頼ラベル、ルール、裁定をまとめて二重時間軸の対象とし、エージェントの書き込みをコミットする前に候補状態を検査する。作者による欠陥注入テストでは、ゲートなしの場合に6件すべてが残存したのに対し、残存数はゼロになった。ただし、証拠は依然として主にシステム作者が設計した単発の決定論的評価に基づく。
推論系統
llama.cpp b10472、AMD APUのメモリ判定を修正し、Strix Haloに存在しない空き容量が割り当てられる問題を回避
新版では、Linux HIPビルドにおいてシステムの`MemAvailable`でGPUメモリ情報を上書きする処理を廃止し、`hipMemGetInfo`の値を信頼するよう変更した。この修正は、UMA carveoutを調整可能なAMD APUを対象としており、モデルローダーが容量を過大評価し、後から失敗するリスクを軽減する。