推論系統
TensorRT Model Connect 公開預覽：Hugging Face 模型可免經 ONNX 打包成原生 C++ 推論
NVIDIA 開源 TensorRT Model Connect，以兩道指令把受支援的 Hugging Face 或本機 checkpoint 建成可移交 C++ 應用的版本化 bundle。它縮短模型移植路徑，但目前定位仍是參考實作，支援範圍與效能須按模型、精度及硬體逐項驗證。
Archive
硬體
AI 晶片、GPU、資料中心、邊緣裝置與硬體安全。
推論系統
硬體
PTXBench 實測 LLM 直接寫 H100／B200 專用 PTX，沒有模型能穩定追上前沿核心庫
PTXBench 同時檢查生成核心是否正確、指定指令是否真的執行，以及相對 cuBLAS、cuDNN 與 FlashInfer 的速度。結果顯示，會寫出新架構指令不代表能把它轉成有效加速，B200 注意力核心尤其困難。
代理工具
StagedWorkspace 以內容雜湊同步代理的解析檢視與原生檔案，OfficeQA Pass@1 增加 8.3 至 12.1 點
新系統把文件代理的搜尋結果、原生檔案、差異檢視與最終提交綁定至明確版本，避免代理讀到舊解析內容卻編輯新版檔案。固定框架消融顯示，同時提供解析與原生檢視優於任一單一檢視，但完整程式與跨框架重現仍待補足。
推論系統
MoNe 將長上下文寫入測試時神經記憶，128K 推論總 FLOPs 減少 81%
Qualcomm AI Research 為凍結的 Transformer 外掛逐層快速權重，以 512-token 分段吸收上下文，查詢時不再讀取原文。Qwen2.5-0.5B 的 128K 實驗維持固定顯存並勝過 ICL、RAG，但證據目前限於三項合成檢索任務。
硬體
rl-triton 將七種強化學習回報計算統一為 GPU scan，完整呼叫最高加速 5.70 倍
開源函式庫 rl-triton 把 GAE、V-Trace、Retrace 等信用分配遞迴改寫成 Triton 關聯式掃描，將序列依賴深度由 O(T) 降至 O(log T)。在 4,096 個環境、128 步的測試中，它較已向量化的 torch.compile 基線快 1.6 至 5.70 倍，但大型策略的端到端 PPO 加速僅約 1.02 倍。
推論系統
FluxBin 以二元基底配合 LUT CUDA kernel，單張 A100 報告最高 5.92 倍推論加速
FluxBin 不把超低位元權重重新展開成 FP16，而是用二元圖樣直接索引預先計算的部分和。論文在單張 A100 報告最高 5.92 倍速度與 10.19 倍能源改善，但目前公開程式碼連結仍無法存取。
推論系統
FreeToken 動態拆分 MoE 快取失誤，8GB RTX 4060 跑 35B 模型達 39.3 token/s
FreeToken 依主機記憶體與 PCIe 頻寬，動態決定未命中專家應傳入 GPU 或直接由 CPU 計算。論文在五款消費級系統報告較最強基線高 1.3 至 2.1 倍解碼吞吐，但所連結的程式碼庫目前尚無法公開存取。
代理工具
Quipu 把代理寫入知識圖譜改為先驗證後提交，拒絕紀錄亦能跨版本重播
Quipu 將資料、信任標籤、規則與裁決一併納入雙時間軸，並在代理寫入提交前檢查候選狀態。作者的植入缺陷測試由未設閘門時的 6 項全數殘留降至零，但證據仍主要來自系統作者設計的單次確定性評測。
推論系統
llama.cpp b10472 修正 AMD APU 記憶體判定，避免 Strix Halo 被錯配不存在的可用容量
新版在 Linux HIP 建置中停止以系統 `MemAvailable` 覆寫 GPU 記憶體資訊，改為信任 `hipMemGetInfo`。修正針對可調 UMA carveout 的 AMD APU，可降低模型載入器高估容量後才失敗的風險。
訓練基礎設施
Rollplex 將 VLM 強化學習的前綴計算塞進 rollout 空檔，32 張 H800 訓練加速最高 1.30 倍
Rollplex 把參考模型與訓練 actor 的影片編碼、prompt prefill，提前至自回歸解碼期間執行，同時維持同步 on-policy 語義。系統以 CUDA VMM 管理跨階段記憶體，並讓不同張量平行度的訓練與推論程序共用相容權重。
代理工具
ScienceFlow 將可執行工作區納入代理記憶，75 題 MLE-bench Any-Medal 率達 70.22%
ScienceFlow 不只保存對話摘要，而是把程式、驗證證據、資源紀錄與工作區快照封裝成可恢復階段。官方在完整 MLE-bench 報告 70.22% Any-Medal 率，但跨系統比較仍受模型、硬體與時間預算差異影響。
推論系統
llama.cpp b10456 修正 SYCL 量化轉碼排程，Arc 70 的 Q4_0→FP32 吞吐提高至 158.19 GB/s
新版依量化區塊大小配置執行緒與工作群組，避免 SYCL copy kernel 過度或不足訂閱。Arc 70 微基準吞吐由 20.21 升至 158.19 GB/s，但這不是完整模型的 token 生成加速比。