Claude Code と Codex のレビュー機能は脆弱性をどれだけ見つけられるかをOWASP Benchmark で検証

最近、プログラミングをする上で「AIにコード（プログラムの設計図）を見てもらう」という使い方が、ちょっとしたブームになっているのを知っていますか？ 昔は「え、AIにコードレビューをさせるなんて、うまくいくの？」なんて思っていた人も多いかもしれませんが、今では実際にAIを使っている開発者も増えています。便利ですよね！

でも、こうしたAIによるコードレビュー、本当に「安全なコード」を作ってくれているのでしょうか？ 特に、プログラムに潜む「弱点」、つまり「脆弱性（ぜいじゃくせい）」を見つけてくれるのかどうか、気になりませんか？ 脆弱性があると、悪意のある人にそこを突かれて、情報が盗まれたり、システムが壊されたりする恐れがあります。これは、私たちユーザーにとっても他人事ではありません。

そこで今回、ある研究では、この「AIによるコードレビューが、どれだけちゃんと脆弱性を見つけられるのか？」を、ちょっと専門的な「OWASP Benchmark」というテストを使って検証してみました。OWASP Benchmarkというのは、プログラムによくある安全性の問題（＝脆弱性）が、どれだけたくさん用意されているかの「ものさし」のようなものです。このものさしを使って、AIたちがどれだけ多くの脆弱性を見つけられたかを比べることで、AIの「見つける力」を測ったわけです。

AIにコードレビューを任せると、開発スピードが上がったり、人手では見落としがちな小さなミスを発見してくれたりするメリットがあります。でも、その一方で、AIが見逃してしまう脆弱性がないとは言い切れません。特に、まだ新しいタイプのAIや、特定の種類の脆弱性に対しては、得意不得意があるかもしれません。

今回の検証で、どのAIが、どれだけ多くの脆弱性を見つけられたのか、その結果が気になるところです。これが分かれば、私たちがAIにコードレビューをお願いする時に、「このAIなら、このくらいの安全性を期待できるな」とか、「このAIは、こういうタイプの脆弱性を見つけるのが得意なんだな」といった、より具体的な判断ができるようになります。開発者にとっては、より安全で信頼できるソフトウェアを作るための強力なサポートになるはずですし、私たちユーザーにとっても、より安心してサービスを使えるようになる、そんな未来につながる研究と言えるでしょう。

AIはあくまでツールなので、最終的にコードの安全性を保証するのは人間の開発者です。しかし、AIをうまく活用することで、開発プロセス全体の安全性と効率を大きく向上させることができる可能性を秘めています。今回の検証結果は、その可能性を探る上で、とても重要な一歩となりそうです。