模型評測與安全
英米共同評価：Kimi K3は模擬企業侵害を完遂するも、41件の脆弱性悪用はいずれも任意コード実行に至らず
UK AISIと米国CAISIによる初期テストでは、Kimi K3のExploitBenchスコアは32%でGLM-5.2を上回ったものの、評価対象となった米国のフロンティアモデルには大きく後れを取った。同モデルは32ステップの模擬企業攻撃を一度完遂したが、評価条件とサンプル数が限られているため、現実世界での攻撃成功率を直接推定することはできない。
英国のAI Security Instituteと米国のCenter for AI Standards and Innovationは、Kimi K3のサイバーセキュリティ能力に関する共同初期評価を公表した。評価には、ExploitBenchの41件の脆弱性悪用タスクと、The Last Ones（TLO）と呼ばれる模擬企業ネットワークが使用された。その結果、Kimi K3はExploitBenchで約32%を記録し、GLM-5.2の24%を上回った。しかし、41件のサンプルのうち、最上位段階に当たる任意コード実行を達成したケースは一度もなかった。一方、評価対象中で最も高性能なモデルは、平均20件で任意コード実行を達成した。
ExploitBenchは最終的な成功・失敗だけを判定するのではなく、ブラウザの脆弱性悪用を、コードカバレッジの拡大、クラッシュの誘発、読み書きプリミティブの構築、制御フローの掌握、任意コード実行といった段階に分解して評価する。したがって、32%というスコアは、Kimi K3が一部の攻撃チェーンで進展できたことを意味するにすぎず、標的の32%への侵入に成功したという意味ではない。これは、同モデルが有望な方向性を見つけながらも、中間プリミティブを安定して組み合わせ、完全なexploitに仕上げられなかった理由も説明している。
TLOの32ステップからなる攻撃経路では、Kimi K3は平均で第17ステップまで到達し、10回の試行のうち1回は1億tokenの上限内で全行程を完遂した。GLM-5.2の平均到達点は第11ステップで、先行モデルは平均第28.5ステップに達した。また、Kimi K3に組み込まれた安全対策は、テスト中のexploit開発や攻撃操作を阻止しなかった。これは、オープンウェイト化が予定されているモデルでは特に注目すべき点だ。デプロイ担当者は、ベンダー側の応答拒否を主要なセキュリティ境界として頼ることができないためである。
ただし、この報告は依然として初期的な結果にすぎない。Kimi K3はホスティング上の制約から限定的なテストしか受けておらず、その総合的な能力推定は主に単一のExploitBenchに基づく一方、他のモデルにはより幅広いタスクセットが使用された。また、米国のクローズドソースモデルは、システムレベルの安全対策を無効化した状態で評価されている。TLOには能動的な防御者、アラート発生のコスト、ネットワークのランダム化が存在せず、実行可能な攻撃経路も意図的に残されている。今後、エンジニアが注視すべきなのは、ウェイト公開後の独立した再現検証、異なるエージェントフレームワークやtoken予算が結果に与える影響、そして脆弱性発見能力とエンドツーエンドの脆弱性悪用能力との隔たりが引き続き存在するかどうかである。