次トークン予測を超えて： Atlassianワークフローにおけるツール使用エージェントのためのRLVR証明

皆さんは、ChatGPTのようなAIを使ったことがありますか？これらのAIは、まるで人間のように文章を読んだり書いたりできますよね。でも、実はAIの得意なことと、私たちがAIにさせたいことの間には、ちょっとしたズレがあるんです。

AIは、次にどんな言葉が来るかを予測するように作られています。文章をスムーズにつなげるのが得意なんです。ところが、仕事で使うような特別なシステム、例えば「Jira」や「Confluence」といった、Atlassian社が提供するプロジェクト管理ツールのような場面では、単に言葉をつなげるだけではうまくいきません。これらのツールでは、正しい順番で、必要な情報（引数といいます）を、正しい場所（APIといいます）に送る必要があります。もし間違った情報や順番で送ってしまうと、AIは「あれ？何かおかしいぞ」と気づかずに、間違った処理をしてしまうことがあるんです。例えば、必要な情報が足りなかったり、存在しない機能を呼び出そうとしたり、途中で勝手に作業を終えてしまったり…といった、静かに、でも確実に間違った結果になってしまう「サイレントエラー」が起こりやすいのです。

そこで、今回の研究では、この「目的のズレ」をどうにかできないかと考えました。具体的には、「検証可能報酬付き強化学習（RLVR）」という、AIに「正解」を教えながら学習させる方法を試しています。この方法は、AIが正しい行動をとったら「ご褒美」を与え、間違ったら「罰」を与えるようなイメージです。そして、その「ご褒美」や「罰」は、実際のJiraやConfluenceのシステムに繋がなくても、AIの学習だけで判断できるように工夫されています。これにより、AIは本物のシステムに迷惑をかけることなく、安全に正しい使い方を学べるようになります。

研究者たちは、JiraやConfluenceの実際の機能を真似した5つの仮想的な学習環境を作り、このRLVRを適用しました。この方法で、AIはツールを正しく使えるようになるのか、そして、これまで起こりがちだった「サイレントエラー」を減らすことができるのか、その可能性を探っています。もしこの研究が成功すれば、AIがビジネスの現場で、より信頼されて、もっとたくさんの仕事を任せてもらえるようになるかもしれませんね。