開源 AI 工具
OpenArch 因可讀版 LLM 架構實作登上 Hacker News，但尚不能取代生產推論框架
OpenArch 把 Llama、DeepSeek、Gemma、Qwen、Kimi 等模型改寫成逐架構的純 PyTorch 範例，方便比較注意力、正規化與 MoE 路由。專案 9 月 14 日在 Hacker News 快速獲得關注，但多數模型仍未完成，現有程式也明確不以效能或相容性為目標。
OpenArch 於 9 月 14 日登上 Hacker News 首頁，提供一種與 Transformers 等生產函式庫不同的 LLM 原始碼閱讀方式：每個模型以相對獨立的 PyTorch `model.py` 呈現，刻意拿掉分散式載入、量化核心、推論伺服器整合及大量向後相容邏輯，讓研究者能直接比較架構選擇。現有可執行條目涵蓋 GPT-2 XL、Llama 2／3、OLMo 2、DeepSeek R1、Gemma 3、Mistral 3、Llama 4、Qwen 3、Kimi K2、GLM-4.5、GPT-OSS 與 PaliGemma；Grok 2.5、Qwen3 多模態及 DALL-E 等仍標為施工中。
專案特別把差異拆成幾個對部署很實際的軸：MHA、GQA、MLA、滑動視窗或線性注意力；pre-norm、post-norm、RMSNorm 與 QK-Norm；RoPE、NoPE、partial RoPE；以及 dense、稀疏 MoE、共享專家和 multi-token prediction。其資料來源主要是原始論文、模型 `config.json` 與 Sebastian Raschka 的 LLM Architecture Gallery。後者目前已列出 103 種模型，而 OpenArch README 仍稱目標清單對應 72 種，顯示程式覆蓋速度尚未追上參考目錄。
對研究與教學而言，價值在於把容易藏在大型框架條件分支中的設計決策變成可逐行檢查的實作，也可作為撰寫小型 forward-pass 測試的起點。不過維護者明確表示它不與 Transformers 競爭；倉庫目前沒有發布套件、正式版本或跨架構一致的權重對齊結果，部分實作亦只標示「可做 forward pass」。工程師不應據此推斷訓練穩定性、數值等價、吞吐或記憶體效率。下一步要看的是專案能否加入以官方權重逐 token 對照的測試、固定依賴版本，以及對 MLA、混合線性注意力與 MoE 通訊路徑的更完整驗證。