ステートフルなオンライン監視が分散型エージェント攻撃を検出

生成AI時代のセキュリティが新たな局面を迎えています。研究者たちが警告する「分散型エージェント攻撃」という新しい脅威は、私たちが想像していたサイバー犯罪よりも巧妙で、かつ検出しにくいものなのです。

これまでのサイバー攻撃は、一つのアカウントで直接的に悪いことをしようとするパターンが多かったです。でも今回の攻撃手法は全く違う。複数の別々のユーザーアカウントに仕事を分け与え、個々の会話では何も悪いことをしていないように見せかけながら、全体で有害な目的を達成する——これが「分散攻撃」です。

簡単な例で説明すると、一人で「爆弾の作り方を教えて」と聞くのは目立ちます。でもAさんが「化学反応について教えて」、Bさんが「タイマー機能の仕組みを」、Cさんが「配線方法を」と別々に聞けば、個々には普通の質問に見えます。でもその情報を組み合わせると…という具合です。

従来のAI安全監視システムは、基本的に「一人のユーザーとの会話」という単位で判断していました。だから複数アカウント間に散らばった悪意には気付きません。たとえるなら、図書館の監視カメラが各利用者を個別に見守るだけで、複数人が協力して何かしようとしているパターンまでは見抜けない、そんな感じです。

今回の研究では、この穴を塞ぐ新しい防御方法が提案されました。複数の会話記録をリアルタイムで集めて、その中から疑わしいシグナルを統計的に探し出す——つまり「会話の繋がり」を検出する技術です。アカウントAとBとCの会話内容を同時に分析することで、一見バラバラな質問が実は同じ目的に向かっているかどうかを判断するわけです。

この研究が重要な理由は、生成AIの利用が爆発的に増える中で、悪用のパターンも進化し続けているからです。企業がAIに安全対策を施しても、攻撃者はそれを回避する新しい方法を考える——いわゆるイタチごっこが起きています。分散攻撃はその最新の形態であり、これを検出できるシステムがあるかないかで、AIプラットフォームの安全性が大きく変わります。

ただし課題もあります。複数アカウントを監視する時、正当なユーザーの行動まで疑われないか。プライバシーと安全のバランスをどう取るか。こうした問題への答えがこれからの実装では問われることになるでしょう。