所有文章 · SURL AI News

Aleph Alpha 公開 Kolibri-1，78B MoE 模型以混合注意力支援百萬 token 上下文

Kolibri-1 以 Apache 2.0 公開權重，每個 token 啟用約 3.46B 參數，主攻德英雙語、文件處理與工具呼叫。百萬 token 視窗來自超出原生 256k 訓練長度的延伸，官方仍建議複雜任務使用較短上下文。

一組大詞彙表重現測試顯示，vLLM V1 CPU 採樣器可能偏離模型原本的機率分布。問題涉及固定 Gumbel 亂數表，實際模型影響與正式修補仍待確認。

美團新預覽模型延續百萬 token 上下文，提供圖片理解與編程代理整合。官方文件已列出推論控制方式，但視覺輸入格式與實際任務表現仍待驗證。

雙節點 H100 測試中，加入不搬移資料的 KV 連接器，特定負載的每 token 延遲增加約 87%。調查指向回覆聚合與執行緒等待，成因及修補仍待上游確認。

MI355X 上的重現案例顯示，編譯後的特定運算可能把應為零的機率算成一。回報者提供暫時解法，但影響範圍與正式修補仍待確認。

新版保留雲端 OAuth 狀態，搭配 SDK 修正權杖更新端點與回寫流程。完整效果仍取決於後端部署，既有連線須驗證跨對話續用。

合作團隊針對 2,812 組病毒蛋白質體，公開高信心複合體預測及 GPU 運算流程。部署仍需大型 GPU 與叢集配套，結構預測也須經實驗驗證。

系統以實測 GPU 核心時間預測服務瓶頸，再由代理把候選優化落實到推論框架。團隊已公開程式碼與測試案例，但收益受模型和負載限制，部分修補仍待上游審查。

研究讓代理讀取整份逐字稿，再重轉錄可疑片段，修正跨段不一致的專有名詞。官方已公開實作，但最大增益限於特定模型組合，部署仍須衡量誤改率與推論成本。

約 2.8 億參數的草稿模型替 LFM2.5-VL-3B 加入推測解碼，已提供公開權重與框架整合。官方測試限特定硬體與設定，視覺編碼、預填充及併發負載仍會限制整體收益。

新版以背景執行緒預先載入下一批圖片，減少 GPU 等待資料的時間。公開測速涵蓋特定 YOLO26n 配置，發布摘要與合併歷程的適用範圍仍有落差。

架構透過兩級 KV 共享，讓長輸入的預填充提前結束。五倍差距來自運算量分析，品質評估最高到 256k，實際服務延遲仍待驗證。