NInfer、2つのQwen3.6向けに推論パスをハードコード――RTX 5090単体で長文デコード毎秒543 tokenを達成

オープンソースプロジェクトの[NInfer](https://github.com/Neroued/ninfer)が最近、LocalLLaMAで検証ブームを巻き起こしている。作者はllama.cppやvLLMを拡張するのではなく、固定推論パイプラインをC++／CUDAで一から書き直し、Qwen3.6-27BとQwen3.6-35B-A3B、およびRTX 5090のsm_120aアーキテクチャ専用に設計した。公開されている最高記録では、単一リクエストで65,536 tokenを生成し、35B-A3Bの平均デコード速度は542.8±12.5 token/秒、MTP acceptance rateは73％だった。より短い構造化出力では約661 token/秒に達する。

性能の源泉には、約4.97 bits-per-weightのカスタム量子化、カーネルのアクセス方式に合わせた重みの再配置、operator単位の最適化、kernel fusion、専用のLM headドラフトパスが含まれる。公開済みモデルのサイズは約20.84 GiB。INT8 KV cacheと組み合わせることで、32GBのVRAM内でモデルネイティブの262,144-tokenコンテキストを利用できる。テキスト、画像、動画入力に加え、OpenAIおよびAnthropic互換のHTTPインターフェースも提供する。作者はさらに、量子化後に能力が著しく損なわれていないかを確認するため、AIMEとGPQA-Diamondの単発評価結果も公開している。

コミュニティによる初期の再検証では、同じモデルで約448 token/秒を達成した一方、テンプレート処理が誤ってprefix cacheを消去していた問題も見つかった。また、NInferの27B prefillは、NVFP4を採用したvLLMを必ずしも上回らないとの指摘もある。これはNInferの技術的価値を明確に示している。モデル、重み形式、単一GPUを一体として最適化すれば、一部のデコードパスで汎用ランタイムを大幅に上回れるが、その代償としてポータビリティとサービング機能が犠牲になる。現時点でサポートするcheckpointは2つだけで、主な対象はRTX 5090に限定され、continuous batchingも備えていない。今後は、同等の量子化品質におけるブラインドテスト、標準化されたprefill／decode比較、複数ユーザーによる同時実行後も優位性が維持されるかが焦点となる。