TRACES：軌跡状態モデリングによるマルチターンLLMエージェント向けプロアクティブセーフティ監査

ニュース概要

LLMエージェントはマルチターンツール使用と環境相互作用を通じてますます動作していますが、安全リスクは最終結果に表面化する前の中間ステップから生じることが多いです。したがって、リアクティブ監査は不十分です。事後診断はリスクを指摘する機会を逃すことが頻繁にあります。