AI 基礎設施
Hetzner 試行 OpenAI 相容推論 API，以單一 FP8 MoE 模型測試歐洲託管需求
Hetzner 悄然開放實驗性 LLM 推論服務，目前僅提供 Qwen3.6-35B-A3B-FP8，現有 OpenAI SDK 可透過替換 base URL 接入。社群低負載測試錄得 153 毫秒中位首 token 延遲與約 224 token/s，但服務沒有 SLA、計費或生產保證。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 基礎設施
推論系統
百萬 token 不等於可用記憶：實測鎖定少數 retrieval heads 為長上下文瓶頸
一項針對未發布 27B 混合模型的推論端實驗顯示，模型在約 100 萬 token 只找回 21.4% 的植入資訊，遠低於 3.3 萬 token 時的 92.9%。位置縮放、注意力溫度與更高精度 KV cache 均未顯著修復問題，檢索能力則高度集中於 18 個注意力頭。
AI 安全
QuantiBias 指出量化模型可通過短式安全測試，開放式回答卻仍產生約四分之一刻板印象
QuantiBias 將模型與提示固定，只改變權重精度，測量量化前後的多語開放式偏見、拒答與選擇題表現。作者發現常見短式安全指標大致持平，但獨立評審模型仍把約 24% 至 27% 的開放式回答判為支持刻板印象。
推論系統
Diffusers 原生接入 Nunchaku Lite，以 W4A4 核心降低擴散模型顯存與延遲
Hugging Face Diffusers 現可直接載入 Nunchaku Lite 檢查點，以 4-bit 權重與啟用值執行擴散 Transformer。官方單機測試最高把峰值顯存約減半並達 1.8 倍加速，但硬體覆蓋及畫質驗證仍有限。
代理工具
阿里巴巴開源 Open Code Review，以確定性管線約束 LLM 的審查範圍與留言位置
Open Code Review 將檔案篩選、規則匹配和留言定位交給確定性程式，再讓 LLM 代理搜尋儲存庫上下文並判斷缺陷。官方自測顯示其 token 用量約為 Claude Code 的九分之一，但以精確率換取較低召回率，不能直接取代既有測試與靜態分析。
最新模型
SGLang-Omni 接入 MOSS-Transcribe-Diarize，將多說話人轉錄納入連續批次服務
SGLang-Omni 新增 MOSS-Transcribe-Diarize 部署路徑，透過 OpenAI 相容端點一次輸出逐段時間戳、文字與說話人標籤。這讓 0.9B 開放模型更容易進入線上服務，但官方效能資料使用的三個評測集目前不是完全公開。
最新模型
Solar Open 2 以混合線性注意力把 250B MoE 的上下文擴至 100 萬 token
Upstage 開放 Solar Open 2 權重，以 250B 總參數、15B 每 token 啟用參數處理長流程代理工作。模型只在四分之一層保留 softmax 注意力與 KV cache，但百萬 token 能力及韓文辦公代理成績仍主要來自團隊自評。
AI 基礎設施
NVIDIA ModelExpress 以 GPU 對 GPU 傳送權重，將 806 GiB 模型擴容時間壓至兩分鐘內
NVIDIA 公開 ModelExpress 的完整傳輸路徑，讓新推論副本優先透過 P2P RDMA 從既有 GPU 複製權重與編譯快取。官方在 8 張 B200 上把 DeepSeek-V4-Pro 的 API 就緒時間由 8 分鐘縮至 1 分 44 秒，但結果高度依賴同型 GPU、高速網路與相容的張量配置。
最新模型
Apertus 1.5 加入原生影像與音訊理解，8B、70B 開放模型支援 26 萬 token
瑞士 AI Initiative 釋出 Apertus 1.5，以持續預訓練將原本的文字模型擴充為文字輸出的多模態模型。權重與訓練資訊已公開，但正式技術報告、完整基準及上游推論框架支援仍待補齊。
最新模型
ReMo 跨音訊與文字重分配視覺資訊，Omni-LLM 輸入 token 減少 54%
KAIST 團隊提出免訓練的 ReMo，在輸入端移除可由音訊解釋的畫面 token，並以文字代理保留物件語義。作者自測在 Qwen Omni 系列壓縮逾半輸入且未降低平均分數，但程式與獨立重現結果尚未公開。
最新模型
The Stack v3 開放近 5 兆個程式 token，修正舊版去重錯誤並內嵌原始碼
Hugging Face 與 BigCode 釋出新一代開放程式預訓練語料，訓練集包含約 1.73 億筆樣本及 4.9 兆個 token。新版不再要求使用者另行回抓原始碼，但授權、資料污染與 15.9 TB 儲存成本仍須由訓練團隊自行治理。
最新模型
Faster IndexTTS-2 將自回歸語音管線移植至 TensorRT，端到端最高加速 3.6 倍
新研究以 TensorRT 與 TensorRT-LLM 重構 IndexTTS-2 的 GPT、擴散 Transformer 和聲碼器，並加入串流及批次推論。中英文 Seed-TTS 實驗顯示 GPT 最高加速 5 倍，但目前公開材料仍不足以直接重現整套最佳化管線。