成功率を超えて：攻撃・防御セキュリティエージェントのコストを考慮した評価

皆さんは、コンピューターのセキュリティを守る「セキュリティエージェント」について、どれくらい知っていますか？最近、東京大学の研究チームが、このセキュリティエージェントを評価する新しい方法を提案しました。これまでの評価方法だと、AIがどれだけうまく悪いハッカー（攻撃者）の侵入を防げたか、あるいはどれだけうまくシステムに穴を見つけられたか、といった「成功率」ばかりが注目されてきました。でも、現実の世界では、AIが何かをするたびに、コンピューターの力（計算資源）を使うわけです。この「使う力」にも、実はコストがかかっています。例えば、AIに複雑な計算をさせればさせるほど、電気代もかかりますし、高性能なコンピューターも必要になります。この研究では、単にAIが成功したかどうかだけでなく、その成功のためにどれだけの「コスト」がかかったのか、という点に注目したのです。

研究チームは、攻撃と防御、この二つの立場でAIの性能を調べました。攻撃というのは、システムに侵入しようとする側。防御というのは、それを食い止めようとする側ですね。攻撃のタスクでは、AIが使う計算資源を増やせば増やすほど、よりうまく攻撃できるようになった、つまり性能が上がることが分かりました。これは、なんとなくイメージしやすいかもしれません。よりたくさんの力を使えば、より強力な攻撃ができる、というわけです。

しかし、防御のタスクでは、少し面白い結果が出ました。攻撃の時と同じように計算資源を増やしても、性能の上がり方が、攻撃の時とは違う「スケール特性」を示したのです。これは、防御側では、ただ力を増やせばいいわけではなく、どういう風に力を配分するかが重要になる、といった可能性を示唆しています。例えば、AIが防御に使う計算資源の量を少し増やしただけでは、あまり性能は変わらないけれど、ある一定量を超えると急に性能が上がる、といった具合かもしれません。

この研究のすごいところは、実際のサイバーセキュリティの現場で起こっていることを、よりリアルに評価できる点です。これまでのように、単に「できたか、できなかったか」だけでなく、「どれくらいのコストでできたか」まで考慮することで、より賢く、より効率的なセキュリティエージェントの開発につながることが期待されています。将来、私たちのインターネット生活が、より安全で、しかも無駄なコストのかからないものになるかもしれませんね。