より少ないことはより多く：エッジデバイスでの質問応答アプリケーションにおける軽量プロンプト圧縮

最近のAI技術、特に質問応答（QA）の分野では、より賢く、より的確な答えを出すために、たくさんの情報を読み込ませる工夫がされています。その代表的なものが、「検索拡張生成（RAG）」と呼ばれる方法です。これは、AIが質問に答える際に、あらかじめ用意された膨大なデータの中から関連性の高い情報を探し出し、それを参考にしながら回答を作成する技術です。まるで、あなたが図書館で調べ物をする時に、関連する本を何冊か手元に集めて、それを見ながらレポートを書くようなイメージですね。

しかし、このRAG、便利な反面、ちょっと困った問題も抱えています。探し出してきた情報の中に、質問とはあまり関係ない、無駄な情報がたくさん混じってしまうことがあるのです。これは、情報を探す時の「粒度」が粗すぎたり、検索システム自体の「ノイズ」があったりするためです。AIにしてみれば、たくさんの情報の中から「これぞ！」という部分だけを選び出すのは大変な作業。無駄な情報が多いと、AIは余計な計算をたくさんしなければならなくなり、応答に時間がかかったり、処理能力を無駄に使ったりしてしまいます。これは、まるでたくさんの資料の中から、本当に必要な一文を探すのに苦労するようなものです。

そこで、この「無駄な情報」を減らして、AIがもっと効率的に動けるようにするための「プロンプト圧縮」という技術が研究されています。これまでの方法では、圧縮するために、さらに別の小さなAI（補助的な言語モデル）を使って、情報の重要度を判断していました。しかし、この方法だと、AIを動かすのに必要な「メモリ」や「計算能力」がさらに必要になってしまい、特にスマートフォンやスマートウォッチのような、性能に限りがある「エッジデバイス」で使うには、ちょっと重すぎるという課題がありました。エッジデバイスとは、インターネットにつながった身の回りの小さなコンピューターのことですね。

今回注目したいのは、そんな課題を解決する新しい方法「CORE」です。COREは、この補助的なAIを一切使わない、2段階の圧縮方法を提案しています。まず、最初のステップで、回答に直接関係しそうな「固有表現」（人名、地名、組織名など）を見つけ出し、それを「回答セット」とします。次に、質問との関連性が高そうな情報を「手がかりセット」として集めます。この2つのセットをうまく組み合わせることで、AIはより的確で、かつ無駄のない情報だけを基に回答を作成できるようになる、というわけです。これにより、エッジデバイスのような限られた環境でも、AIの質問応答能力を効果的に高めることが期待されます。