AI 安全
ASCII Smuggling 從提示注入轉向郵件攻擊,隱形 Unicode 擾亂分類器分詞
Microsoft 發現釣魚郵件把不可見的 Unicode Tag 字元插入金融關鍵字,藉此改變規則與機器學習分類器看到的 token。攻擊高峰每日超過 230 萬封,顯示 AI 紅隊技術已開始反向滲入傳統資安攻防。
Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
AI 安全
Microsoft 發現釣魚郵件把不可見的 Unicode Tag 字元插入金融關鍵字,藉此改變規則與機器學習分類器看到的 token。攻擊高峰每日超過 230 萬封,顯示 AI 紅隊技術已開始反向滲入傳統資安攻防。
推論系統
SGLang Simulator 以 CPU 攔截執行期元件,模擬排程、批次與多層 KV cache,而不真正載入模型或執行 GPU 核心。團隊宣稱兩款 Qwen3 在 H20 的主要指標誤差低於 5%,但硬體與模型覆蓋仍有限。
GitHub Repo
Truespar 公開 Paddock 的排程器、分頁 KV cache、記憶體管理及自製 CUDA kernels,並提供 OpenAI、Anthropic 相容介面。作者基準顯示它在部分單卡工作負載勝過 vLLM 與 SGLang,但尚無獨立重現,且不支援張量平行、ROCm 或 Metal。
最新模型
OpenAI 的新旗艦模型允許工具在背景執行時繼續推理,並可透過 WebSocket 接收中途修正。更強的代理能力伴隨新的遷移限制,以及首次達到 Critical 級別的網路攻擊能力。
推論系統
新版加入 `--lazy-mode`、量化工作記憶體上限及逐列分片串流,讓超大型張量不必一次載入 RAM。它也初步支援 Qwen3.8-Flash-Next 與 Nemotron-3-Puzzle,但前者的效能最佳化及部分硬體相容性仍待完成。
AI research
研究者發現,學生模型反覆對一個查詢取樣並接受教師的 token 級監督,300 步後可覆蓋完整資料訓練所到達狀態的 71.5%。加入語意相異的 16 個查詢可把覆蓋率推至 98.9%,但結果仍限於指定的小型模型、教師與基準。
推論系統
開源 Personal AI Router 可在 Windows、Linux 與 macOS 節點間調度 Ollama 或 LM Studio 的獨立請求。它適合提高多代理併發量,卻不是分散式模型執行引擎,單一模型仍須完整放入一台機器。
GitHub Repo
IFM 發布 0.9B 至 375B 的 K2 Horizon 模型家族,其中 36B 版本把 MoE 路由延伸至注意力的 value 投影。權重與部署配方已可取得,但官方所稱的「完全開源」仍領先實際交付進度。
代理工具
Coder 的 Agent Relay 讓 Cursor Cloud Agents 在客戶管理的工作區執行命令、讀寫檔案及存取內部服務。這種分離可縮小原始碼暴露面,卻不等同於完整自託管,推理、規劃與工作階段編排仍由 Cursor 雲端負責。
代理工具
新版讓 MCP OAuth 客戶端以 URL 發布身分中繼資料,減少逐一向授權伺服器註冊的需求。它也讓沙箱內建檔案工具讀取開發工具設定,包括可能含 token 的 `.npmrc`,部署者應重新檢查預設授權。
推論系統
Salesforce AI Research 發現,保護原始提示後,在每個 KV head 隨機保留推理 token,準確率可匹配多種內容評分策略。H200 的 32K 輸出測試中,它比 TriAttention 多處理 32% 至 43% token,但短輸出與長程式碼提示不一定受益。
最新模型
新方法以大型教師模型合成任務資料,再訓練每項函式專屬的 LoRA,讓後續請求不必呼叫遠端模型。它在困難測試集取得 83.6% 語意正確率,但編譯仍需要教師 API、約 40 GB 加速器記憶體及輸出驗證。