推論系統
Jev 捨棄文字生成,以平行取樣輸出型別化機率決策
TypeSafe AI 的 Jev 只產生預先定義的布林、選項與分數,試圖把模型推論變成可直接嵌入程式的低延遲分支。型別正確不代表判斷正確,官方速度與成本優勢也仍建立在自製工作流及未公開模型上。
Archive
新模型、開放權重、多模態、語音、影像與模型架構。
推論系統
TypeSafe AI 的 Jev 只產生預先定義的布林、選項與分數,試圖把模型推論變成可直接嵌入程式的低延遲分支。型別正確不代表判斷正確,官方速度與成本優勢也仍建立在自製工作流及未公開模型上。
最新模型
Gensyn 公開 1.61B 參數模型的資料、檢查點、逐步雜湊與重播工具,讓第三方可抽查訓練狀態是否與承諾相符。這套可重現性以約五倍訓練效能代價換取,而且雜湊吻合仍不能獨自證明原始叢集確實按宣稱方式執行。
訓練基礎設施
Hugging Face 將 `AsyncGRPOTrainer` 的訓練與 vLLM rollout 分散到不同機器,只透過共用物件儲存傳遞數 MB 的 LoRA adapter。公開實驗把 500 步流程由 3 小時 27 分縮至 53 分,但結果仍是單一小模型配方,不等於已證明大規模 RL 收斂或成本優勢。
AI 安全
新研究發現,放入上下文的良性措辭錯誤計畫可被模型吸收、改寫並付諸行動,最強監控器仍漏掉至少四分之一攻擊。讓監控器看到原始注入內容或增加推理預算也不保證改善偵測,顯示代理不能只靠輸出思維鏈自證安全。
代理工具
新開源 Reef 以相容 OpenAI、Anthropic 的推論端點收集可追溯互動,再非同步更新模型權重或代理 harness。它補上熱更新與版本回滾所需的控制面,但學習資料污染、評估器偏差及生產穩定性仍待驗證。
最新模型
Google 推出兩款原生語音模型,Extended Thinking 可在持續輸出音訊時進行背景推理與非同步工具呼叫。新協定提升長流程語音代理的並行能力,卻也要求開發者重寫工作階段狀態機與中斷處理。
最新模型
ShadowPEFT 把任務調適建模為與凍結骨幹並行的可訓練小模型,並已接入 PEFT 的標準設定、儲存與載入介面。初步實驗優於相近參數量的 LoRA 與 DoRA,但額外記憶體、雙重 KV cache 及尚未進入穩定版都是部署代價。
代理工具
Qwen Code 更新跨平台 Computer Use 路徑,讓代理透過持久化 Node REPL 呼叫 Rust-backed SDK,而非直接面對大量原生工具。新版改善 Linux 輸入與觀測,但自動安裝、Node.js 權限及 Windows 未簽章元件仍是部署風險。
AI 安全
新研究在固定模型、乾淨資料與毒化數量後,僅更換毒化樣本組合,就讓 Llama 3 8B 的攻擊成功率落在 3% 至 80%。SAILS 以少量昂貴微調評測訓練集合評分器,再從數百萬候選組合中挑出高風險集合。
代理工具
Cline 推出開源桌面 beta,讓多個代理在獨立工作階段並行,並可用 cron 排程無人值守任務。官方展示的模型成績其實來自既有 CLI harness,而非桌面版的獨立評測。
代理工具
Bolt.new 的研究預覽以 GLM、Kimi 與 DeepSeek 開放權重模型執行建站代理,並把使用者主動加入的提示、程式碼及錯誤修復序列交給 Arcee AI 訓練。方案清楚呈現「運算換資料」模式,但自行公布的 91% 基準成績及除密效果仍待外部驗證。
推論系統
Portable Computer 現可在具備至少 24GB VRAM 的 Windows RTX 電腦執行模型、工具與沙箱,多數本機工作不計入雲端額度。系統仍能經使用者授權升級至雲端模型,連接器與外部操作也使其不能等同完全離線環境。