Needle 3、単一の重みセットで複数の層数に対応、ローカルのツール呼び出しモデルを8–29 MBに圧縮

Cactusは9月17〜18日にNeedle 3のアーキテクチャとデプロイに関するドキュメントを公開し、チームはHacker Newsでこのオンデバイス自動化モデルを紹介した。主眼は、約8–29 MBの量子化済み重みでツールの選択と引数の設定、構造化データの抽出を実現し、スマートフォン、ウェアラブル端末、小型コンピューターで指示をローカルに処理できるようにすることだ。[チームによる発表](https://news.ycombinator.com/item?id=49748553)

新版は同じ重みセットで2〜20層のサブネットワークに対応する。切り出す際は先頭と末尾のブロックを残し、中間のブロックを段階的に追加するため、浅いモデルでも前段と後段の計算を含む。学習時には異なる層数をサンプリングし、全層を使うモデルの予測を用いて自己蒸留を行う。エンジニアはまずファインチューニングを行い、その後、端末のリソースに合わせて異なる層数のモデルをエクスポートできるため、複数のモデルを個別に維持する負担を減らせる。現在、層数は主にデプロイ時に選択する。リクエストごとに層数を動的に切り替える機能は、公式にはまだ未提供とされている。[アーキテクチャのドキュメント](https://cactuscompute.com/blog/intelligence-ladders)

モデルカードには、通常のフィードフォワード層をMonarch Hadamard演算に置き換え、グループ化クエリアテンションやルックアップテーブル式メモリを組み合わせる設計などが記載されている。出力側では、ツールスキーマからバイトレベルの文法をコンパイルし、生成するJSONの構造を制約する。これにより形式がパース可能であることは保証できるが、指示の意味を正しく解釈しているか、引数の値が正しいかは別途検証が必要だ。公式には、重み、ファインチューニング用チェックポイント、各プラットフォーム向けの実行エンジンがすでに提供されている。[モデルカード](https://huggingface.co/Cactus-Compute/needle3)

性能に関する主張の範囲はかなり限定的だ。公式によると、4層以上のモデルはDroidCallでファインチューニングした後、DeepSeek V4 Flashを上回るという。ただし、この比較では呼び出しを強制的に生成する設定を採用している。一方、ファインチューニングしていない2層モデルでは、信頼度のしきい値を有効にすると、ほぼすべての呼び出しが抑止された。これは、ファイルサイズが最小のモデルでも特定タスク向けの学習が必要であり、この結果から汎用的なエージェント能力があるとは判断できないことを示している。[評価条件](https://cactuscompute.com/blog/intelligence-ladders)

導入時には、さらに2点に注意が必要だ。ローカルでのファインチューニングでエクスポートされるのは4ビットの重みで、公式の2ビット化の後処理はCactusプラットフォームに依存する。また、GitHubにはバイナリ形式で配布されるエンジンのテレメトリーがデフォルトで有効になっていると明記されており、オフライン動作やプライバシーの要件に合うか、設定を別途確認する必要がある。[デプロイの説明](https://github.com/cactus-compute/needle)

チームはコミュニティへの返信で、暗黙の意図や複数ステップにまたがる関係の処理は依然として難しく、直接的で明確な指示に適していると認めている。現在挙げられている7つの対応言語にも、中国語は含まれていない。中国語の製品を開発するチームは、次の段階として、まず繁体字中国語、複数言語が混在する入力、呼び出しを拒否すべきケースのテストセットを整備し、そのうえで信頼度のしきい値や人による確認フローを決めるべきだ。形式が正しいことを、動作が正しいことと取り違えないためである。[メンテナーによる説明](https://news.ycombinator.com/item?id=49748553)