AIのコード修正、ドキュメント網羅性が鍵も実用化は壁

AIがますます身近になる中で、プログラムのコードに潜む間違いを見つけ出し、それを直してくれる「コーディングエージェント」の活躍が期待されています。こうしたAIの能力を助けるものとして、人間が書く「ドキュメント」、つまりプログラムの仕様や説明書きがどれだけ役立つのか、最新の研究でその実力が測られました。

研究チームは、AIが書いたコードが、元のプログラムのテストをどれだけクリアできるかを調べるための新しい方法（ベンチマーク）を開発しました。ここで分かったのは、ドキュメントが長ければ長いほど良いというわけではなく、問題解決に必要な情報がどれだけしっかり書かれているか、つまり「網羅性」こそがAIのコード修正能力に大きく影響するということでした。

さらに、この「網羅性」をAIがもっと高められるように、研究チームはドキュメント作成のコツを探りました。その結果、どんなコードの間違いにも対応でき、これまで見たことのないファイルでも使えるような、完璧に網羅されたドキュメントを作る方法が見つかったのです。これは、AIがどんな状況でも的確にコードを修正できるようになるのでは、と期待させる発見でした。

しかし、ここからが意外な結果です。せっかく見つけた「完璧なドキュメント作成法」を使っても、実際のソフトウェア開発の現場で起こる、もっと複雑で多様なコードの問題をAIが解決する力は、思ったほど伸びなかったのです。これは、AIがドキュメントを理解してコードを修正する能力には限界があること、あるいは、実際の開発現場の課題が、単純なドキュメントの網羅性だけでは解決できないほど複雑であることを示唆しています。AIによるコーディング支援は、まだまだ発展途上であることが浮き彫りになった形です。