より良いツールがコパイロットのコードレビューを悪化させた。どのように改善したか。

「より良いツール」のはずが、なぜかAIによるコードレビューの質を下げてしまった…そんな経験、開発者の皆さんなら一度はあるかもしれません。GitHubのAIツール「Copilot」も、まさにそんな状況に直面しました。

もともと、Copilotはコードレビューの作業を助けるために使われていました。ところが、ある時、もっと便利で高機能なコード探索ツールに切り替えたところ、なぜかレビューの質が落ちてしまったのです。まるで、最新の高性能な道具を手に入れたのに、かえって作業がやりにくくなるような、不思議な現象が起きました。

この原因を探ると、AIがコードレビューを行う際の「やり方」に問題があることが分かりました。AIは、コードがどのように変更されたか（これを「プルリクエスト」と呼びます）を、過去のたくさんの情報から学んでレビューを行います。ところが、新しいツールに変わったことで、AIが参照すべき「証拠」となる情報がうまく集められなくなり、レビューの精度が落ちてしまったのです。

そこでGitHubのチームは、AIがレビューを行う「流れ」そのものを見直すことにしました。具体的には、AIが「プルリクエスト」という変更履歴を中心に情報を集め、それを元にレビューを行うように、AIの仕組みを再構築したのです。まるで、AIに「この資料のこの部分を見て、この質問に答えてね」と、より的確な指示を出すようにしたイメージです。

この再構築によって、AIは必要な情報を効率的に集められるようになり、コードレビューの質が再び向上しました。さらに、AIがレビューにかかる時間やコストも減らすことができたそうです。これは、AIを開発現場でうまく活用していく上で、非常に参考になる事例と言えるでしょう。単に新しいツールを導入するだけでなく、AIがどのように情報を処理し、学習しているのかを理解し、そのワークフローを最適化することが、AIの真の力を引き出す鍵となることを示しています。