GitHub Repo
NInfer-3090 以 ReplaySSM 壓低推測解碼狀態成本,RTX 3090 可併發跑 Qwen3.8-27B
NInfer 的 Ampere 分支把 Qwen3.8-27B、MTP3、分頁 KV 與相容前綴重用塞進單張 24GB RTX 3090。作者測得八路解碼合計 165.33 token/秒,但結果集中於短提示、長輸出的固定工作負載。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
GitHub Repo
NInfer 的 Ampere 分支把 Qwen3.8-27B、MTP3、分頁 KV 與相容前綴重用塞進單張 24GB RTX 3090。作者測得八路解碼合計 165.33 token/秒,但結果集中於短提示、長輸出的固定工作負載。
代理工具
StateBridge 將發送代理的末層 hidden state 對齊接收端 embedding 空間,作為連續前綴直接注入。四款開放模型的26組測試中有22組並列或取得最佳結果,但方法仍限於可存取內部狀態的同模型代理。
推論系統
社群實測指出,Apple Silicon 推論框架仍無法同時穩定提供內建 MTP 推測解碼、混合狀態前綴快取與批次服務。問題不只影響跑分,也會令長時程式代理在每輪對話重新支付 prefill 成本。
AI 安全
新開源協定讓代理為記憶、身份與行動建立Ed25519簽章及可見證的追加式紀錄,並提供零依賴離線驗證器。它把持久記憶投毒轉成可偵測的完整性問題,但仍不能證明記憶最初為真,亦尚未成為IETF標準。
生成式 AI 工具
ComfyUI 0.33.1 把 MiniMax Music 3 的模型載入及推理節點納入核心,並加入可供後端使用的 CUDA Graph 支援。版本亦修正固定 VRAM 配置無法執行 Music 3,以及部分 MiniMax 權重 QKV 版型辨識問題。
AI 安全
SkillMisevo-Bench 追蹤代理如何從執行軌跡產生、檢索並重用技能,發現所有 21 組具進化能力的設定都曾寫出不安全產物。SafeEvolve 可降低後續傷害,但證據目前限於四款 CLI 代理與受控電腦操作任務。
最新模型
AlayaWorld 沒有更換15B主幹或訓練資料,而是重寫視覺條件、記憶與相機控制的介面。新版在158個導航案例取得最高一致性平均分,但物理因果與導航指標仍未領先。
代理工具
新評估把代理研發拆成定題、執行與回饋控制,並以反事實實驗測量記憶是否真的改善下一次決策。七款前沿模型多數能重用經驗,但跨任務轉移不穩,甚至誘發快取答案等評測投機。
推論系統
vToken 在既有 PagedAttention 上加入邏輯 token 表與非同步壓縮,讓逐 token 淘汰真正釋放實體區塊。vLLM 原型的 SLA 吞吐最高提高 1.37 倍,但尚未公開程式,也未證明搬移成本適用所有硬體與流量。
最新模型
新研究用「解遮罩成長複雜度」描述離散擴散在不同揭露階段的資訊難度,據此把計算集中到高曲率區段。方法可由樣本估計排程並給出高機率 KL 證書,但尚未在大型語言或影像模型上驗證。
代理工具
Agent Behavioral Contracts II 以 18,000 次預註冊任務發現,同一模型的兩個代理會高度相關地失敗。研究改以聯合分布線性規劃計算有限樣本下限,但目前證據仍限於雙代理交接設定。
最新模型
DreamX-Phi 將兩支機械臂的剛體變換直接寫入注意力,並以深度、物件遮罩及 V-JEPA 特徵約束生成影片。它在 WorldArena 2.0 快照取得60.65分,但權重與推論程式要等挑戰賽結束才公開,真實機器泛化仍未驗證。