AI coding tools
AlibabaがOpen Code Reviewをオープンソース化、決定論的パイプラインでLLMのレビュー範囲とコメント位置を制約
Open Code Reviewは、ファイルのフィルタリング、ルールのマッチング、コメント位置の特定を決定論的なプログラムに任せたうえで、LLMエージェントにリポジトリ内のコンテキストを検索させ、欠陥を判定させる。公式の自己評価では、token使用量はClaude Codeのおよそ9分の1だが、precisionと引き換えにrecallが低く、既存のテストや静的解析を直接置き換えるものではない。
Alibabaは、社内で使用していたAIコードレビューツールOpen Code ReviewをApache 2.0ライセンスでオープンソース化した。このGo製CLIはGit diffを読み取り、コメントを具体的なコード行に紐付ける。また、利用可能なdiffがない場合でも、`ocr scan`でファイル全体やディレクトリをスキャンできる。モデル側ではOpenAIおよびAnthropic互換インターフェースをサポートし、GitHub Actions、GitLab CI、Gerrit、そのほかのデリバリーワークフローに統合できる。
技術上の要点は、単にプロンプトのラッパーを追加したことではなく、レビュー処理を決定論的パイプラインとエージェントの2つに分割した点にある。プログラムロジックがファイルの選択、無関係な変更の除外、依存ファイルをまとめたレビュー単位の構成を担い、拡張子やパスに応じてnull pointer、thread safety、XSS、SQL injectionなどのルールを適用する。その後、各レビュー単位はコンテキストが分離されたサブエージェントに渡される。LLMはファイル全体の読み取り、リポジトリの検索、ほかの変更の確認を行うことができ、最後に独立した位置特定モジュールとreflectionモジュールがコメントの位置と内容を修正する。この役割分担は、大規模な変更でのファイルの読み落とし、行番号のずれ、プロンプトの微妙な変更による結果の不安定化を抑えることを目的としている。
公式ベンチマークは、50件のオープンソースリポジトリ、200件の実際のpull request、10言語、80人を超えるシニアエンジニアが相互検証した1,505件の問題を対象としている。チームは、同一の基盤モデルを使用した場合、Open Code ReviewのprecisionとF1はClaude Codeを上回り、平均token使用量はおよそ9分の1だったとしている。一方、メンテナーはrecallが低いことも明示しており、誤検知を減らす代わりに、より多くの実在する欠陥を見逃す可能性があることを意味する。これらの結果はまだ独立したチームによって再現されておらず、比較結果はモデルのバージョン、ルールセット、リポジトリの種類にも左右される。エンジニアリングチームは次の段階として、ベンチマークデータを公開して再実行できるか、中国語コメントや社内フレームワークに対するルールのカバレッジ、そして低いrecallによってリスクが人手によるレビュー工程まで気付かれないまま持ち越されないかを確認すべきだ。