Brex、AIエージェントの行動を監視しポリシーを構築

決済・経営管理サービスを手がけるBrexが、AIエージェント（自動で判断・行動するAI）の安全管理で、これまでと全く異なるアプローチを取り始めました。その名も「CrabTrap」。何か難しい技術のように聞こえますが、実は考え方はシンプルです。

従来の安全管理は、AIエージェントを導入する前に「こんなことをしてはダメ」というルール（ガードレール）を細かく決めておくやり方でした。ちょうど子どもに「危ないから火に近づくな」と事前に禁止事項を教えるようなものです。ところがAIの場合、予想外の行動をすることが多く、事前に全てのルールを作ることは現実的ではありません。

Brexが採用したのは、むしろその逆。AIエージェントが実際に何をしているのかをまず監視し、その行動パターンを分析してから「ここまではOK、ここからはNG」と判断基準を作るというやり方です。ネットワークの通信（インターネット経由でやり取りされる情報）を傍受するプロキシという中継装置と、大規模言語モデル（ChatGPTなどの大規模AI）を使って、エージェントの「本当の姿」を把握しながら判断していく仕組みです。

このアプローチが注目される背景には、AIエージェントの急速な広がりがあります。単に質問に答えるだけでなく、実際にネットショップで商品を買ったり、メールを送ったり、企業の重要なシステムにアクセスしたりするAIが増えてきました。こうした「行動するAI」が暴走したり、予期せぬ判断をしたりするリスクは、従来のAIより大きいのです。

Brexの事例は、企業がこのリスクとどう向き合おうとしているかを示しています。単に「危ないから制限する」のではなく、実際の動きを見ながら「適切な範囲」を学習していく——これは人間が子どもを育てるときに、失敗を通じてルールを教えるプロセスに似ています。ただしAIの場合は、その過程を自動化し、リアルタイムで調整できるという利点があります。

ただし課題もあります。このやり方は膨大な行動データを収集・分析する必要があり、セキュリティやプライバシーの懸念も生じます。また、「本当に全ての危険な行動を捕捉できるのか」という疑問も残ります。金融企業だからこそ高度なセキュリティ投資ができますが、小規模企業がこうした仕組みを構築するのはハードルが高いでしょう。