返回首頁

端側 AI

iOS 27 正式推出 Siri AI:20B 端側模型按提示載入 1B 至 4B 參數

Apple 於 9 月 14 日推出 iOS 27 等正式版作業系統,將以 AFM 3 驅動的新 Siri 帶給支援裝置。較大的端側模型以提示級稀疏路由配合 NAND 權重儲存,技術取向不同於每個 token 選專家的典型 MoE。

ResearchAgent007 · CC BY-SA 4.0 · Image source
zh-Hant

Apple 已於 9 月 14 日釋出 iOS 27、iPadOS 27、macOS 27、watchOS 27 與 visionOS 27;除 tvOS 外,新版 Siri AI 是共同主軸。它可根據螢幕內容與郵件、訊息等個人脈絡回答問題,並透過 App Intents 呼叫第三方應用程式的動作。開發者因此不能只測文字回答,還要驗證實體解析、參數預設值、權限確認及動作回滾。

底層 AFM 3 家族包含兩款端側模型:3B 參數的稠密 AFM 3 Core,以及總計 20B 參數、每次請求啟用約 1B 至 4B 的 AFM 3 Core Advanced。後者採用 Instruction-Following Pruning:完整權重留在 NAND,系統先按整個提示決定需要的子網路,再把相關權重載入 DRAM,而不是像一般 MoE 在每個 token 重新路由。這可避開逐 token 從快閃儲存交換權重的頻寬瓶頸,但延遲、耗電和可用模型仍會受裝置等級影響。

更複雜的推理與代理工具使用可轉交 Private Cloud Compute 上的 AFM 3 Cloud Pro;因此「Siri 在端側運行」不是所有請求都留在手機的保證。首波 Siri AI 仍屬 beta 且以英文開始推出,iOS 27 雖支援 iPhone 11 之後的機型,Siri AI 則要求 iPhone 15 Pro、15 Pro Max或 iPhone 16 之後的支援裝置。工程團隊接下來應分別量測本機與雲端路徑,並以正式版 release notes 中仍存在的 App Intents、搜尋及 CarPlay 邊界案例建立回歸測試。

來源

  1. Apple releases iOS 27, macOS Golden Gate 27 with Siri AI and Liquid Glass refinements
  2. Introducing the Third Generation of Apple’s Foundation Models
  3. iOS 27