代理工具
Strands 推出通用代理執行框架，結合上下文卸載與提示快取
Strands harness 將工具、記憶與上下文管理組成可直接部署的代理，並提供 Python 與 TypeScript 介面。官方公布成本比較，但實際效益仍取決於任務、模型及快取條件。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
代理工具
最新模型
NVIDIA 公布八人語者分離模型，最低建議緩衝延遲為 320 毫秒
Nemotron 3 Diarization 以一億參數處理串流與錄音，沿用說話者快取維持跨片段標籤。延遲數字僅計音訊緩衝，實際部署仍須量測辨識、傳輸與後處理成本。
最新模型
GPT-6 Sol、Luna 上線，降低 token 單價並擴充代理快取控制
Sol 的標準輸入與輸出單價較前代促銷價減半，Luna 也同步降價。快取更新讓代理調整推理與工具使用時保留前綴，但寫入費率及任務重試仍影響總成本。
推論系統
ComputeArena 公開本機推論測速流程，以簽章報告記錄模型與環境
工具以固定負載比較 BaseRT 與 llama.cpp，並保留檔案雜湊和逐次耗時。跨執行環境的預熱差異與自報資料可信度，仍限制榜單的解讀。
AI 研究
遞迴模型延長推論至 512 步，數獨累積解題率測得提高
研究以相同權重延長運算，觀察到部分原先失敗的題目後續完成。結果提供停止條件的研究線索，但尚未證明真實服務的成本效益。
AI 研究
GPU 拓撲研究調整記憶體配置，H200 解碼吞吐量測得提升 14.3%
研究將運算單元位置與記憶體分區納入推論配置，在特定 Qwen3-8B 負載下改善解碼吞吐量。原型需要修改驅動，結果仍待程式公開與跨環境重現。
AI 研究
代理自我修正研究加入外部驗證，揭示規則更新的回歸風險
研究觀察到，部分修正规則改善了原先失敗，卻破壞已成功的案例。公開實作提供重驗入口，但角色分工與論文描述有差異，成效及成本仍須按版本核對。
AI 研究
AISI 將推論算力評測接入 Evaluation Cards，公開設定供跨報告比較
AISI 與 EvalEval 以共同格式整理既有研究的結果與設定，涵蓋五項主實驗基準及相關資安評測。資料有助追查預算與回饋條件，但格式驗證不等於獨立重現。
GitHub Repo
vLLM 被回報外部 KV 快取讀取失敗會終止引擎，影響範圍仍待確認
混合注意力模型的一份開發版回報顯示，單筆請求失敗後，排程器也觸發致命斷言。官方失敗策略原應限制於請求層級，目前尚無公開修補或跨環境驗證。
最新模型
Claude Opus 5.5 調降 token 單價，代理 API 加入多項不相容變更
新版降低輸入、輸出與快取讀取價格，並固定啟用自適應思考。強制工具呼叫、歷史訊息修改與串流進度顯示均須重新驗證。
GitHub Repo
vLLM 公開 Qwen3.8-2.4T 分離式推論測試，每 GPU 總吞吐量約五千 token／秒
團隊以 GB300 NVL72 測量預填充與解碼分離配置，並提供版本資訊及配置庫。最高吞吐量與每人每秒約 180 個生成 token 來自不同配置，仍須依實際負載驗證。
GitHub Repo
Transformers 整合 ggml 量化核心，Apple Silicon 可直接執行壓縮 GGUF
Hugging Face 公布主分支的 GGUF 推論整合，讓壓縮權重沿用 Python 與 PyTorch 工作流程。初期支援集中於 Apple Silicon 與 Qwen3.5 架構，測速結果也有比較口徑差異。