推論系統
TileMix、アテンション行列内でFP16/INT8を混在させ、A100の4K prefillスループットでFlashAttentionの2.22倍を達成
TileMixはtoken間の接続を削除せず、単一の融合kernel内でアテンションスコアのtileごとにFP16またはINT8 Tensor Coreの経路を選択する。LLaMA 3.2 3Bの4Kテストでは31.80K token/sを達成したが、現時点での結果はA100、静的ルーティング、prefill段階に限定される。