開源 AI 工具
OpenArch、読みやすいLLMアーキテクチャ実装でHacker Newsの注目を集めるも、本番推論フレームワークの代替には至らず
OpenArchは、Llama、DeepSeek、Gemma、Qwen、Kimiなどのモデルを、アーキテクチャ別の純粋なPyTorchサンプルとして書き直し、Attention、正規化、MoEルーティングを比較しやすくしている。プロジェクトは9月14日にHacker Newsで急速に注目を集めたが、大半のモデルはまだ未完成で、既存コードも性能や互換性を目標としていないことが明記されている。
OpenArchは9月14日にHacker Newsのトップページに登場し、Transformersなどの本番向けライブラリとは異なるLLMソースコードの読み方を提示した。各モデルは比較的独立したPyTorchの`model.py`として実装され、分散ロード、量子化カーネル、推論サーバーとの統合、大量の後方互換ロジックを意図的に省くことで、研究者がアーキテクチャ上の選択を直接比較できるようにしている。現在実行可能な項目には、GPT-2 XL、Llama 2／3、OLMo 2、DeepSeek R1、Gemma 3、Mistral 3、Llama 4、Qwen 3、Kimi K2、GLM-4.5、GPT-OSS、PaliGemmaが含まれる。一方、Grok 2.5、Qwen3のマルチモーダル版、DALL-Eなどは、依然として開発中と記載されている。
このプロジェクトでは、差異をデプロイに直結する複数の軸に分解している。具体的には、MHA、GQA、MLA、Sliding Window Attention、Linear Attention、pre-norm、post-norm、RMSNorm、QK-Norm、RoPE、NoPE、partial RoPE、さらにdense、Sparse MoE、Shared Experts、Multi-Token Predictionなどだ。主な情報源は、原論文、モデルの`config.json`、Sebastian RaschkaのLLM Architecture Galleryである。同ギャラリーには現在103種類のモデルが掲載されている一方、OpenArchのREADMEは依然として対象リストを72種類としており、コードの対応ペースが参照カタログに追いついていないことが分かる。
研究や教育における価値は、大規模フレームワークの条件分岐に埋もれがちな設計判断を、行単位で確認できる実装として示している点にある。また、小規模なforward passテストを作成する際の出発点としても利用できる。ただし、メンテナーはTransformersと競合するものではないと明言している。現時点でリポジトリには、公開パッケージ、正式リリース、アーキテクチャ間で統一された重みのアラインメント結果がなく、一部の実装も「forward passが可能」とだけ記載されている。エンジニアは、これを根拠に学習の安定性、数値的等価性、スループット、メモリ効率を推定すべきではない。今後の焦点は、公式の重みを用いたtoken単位の比較テスト、依存関係のバージョン固定、そしてMLA、ハイブリッドLinear Attention、MoEの通信パスに対する、より包括的な検証を追加できるかどうかだ。