知識蒸留によるLLMの効率的なクロスエンコーダーへの変換とRAGリランキングへの応用

AIを使った文章作成や情報検索の分野で、日々すごい技術が登場していますね。今回は、AIが情報を探してくる仕組みを、もっと賢く、もっと速くするための新しい研究についてお話ししましょう。

皆さんが何かを知りたいときに、インターネットで検索しますよね？AIも同じように、大量の情報の中から必要なものを見つけ出す「検索」をします。その検索結果を、さらに精度良く並べ替えるのが「リランキング」という作業です。

今回紹介する研究は、このリランキングの精度を上げつつ、AIの計算にかかる時間（推論コスト）を劇的に減らす方法を提案しています。具体的には、今話題の大きなAIモデル（LLM）を、もっと小さくて速い「クロスエンコーダー」という形に変換する技術です。

クロスエンコーダーは、検索結果の精度を高めるのにとても役立つのですが、一つ大きな問題がありました。それは、情報量が増えると計算量が急に増えてしまい、リアルタイムで使うのが難しくなることです。例えるなら、たくさんの本を調べるために、いちいち全てのページを丁寧に読み返すようなもので、時間がかかってしまうのです。

そこで研究チームは、LLaMA 3というAIモデルを使い、この問題を解決しようとしました。彼らは「Unsloth」という特別なフレームワークと「LoRA」という効率的な学習方法を組み合わせて、AIに「クエリ（検索したい内容）」と「ドキュメント（情報源）」の関連性を学習させました。さらに、学習させた後で「4ビット量子化」という、AIの情報を圧縮して軽くする技術を使いました。これにより、AIはより少ない計算量で、かつ高速に動作できるようになります。

こうして作られたAIは、従来の検索方法（BM25や密ベクトル検索）と組み合わせて使うことで、RAG（Retrieval-Augmented Generation）という、AIが情報を検索して文章を作るシステムのリランキング部分を効率的に置き換えることができます。RAGは、AIに最新の情報や専門的な知識を基に回答させるために使われることが多いのですが、この研究のおかげで、もっと速く、より正確な回答が期待できるようになるかもしれません。

この技術が進むと、私たちがAIに質問したときに、より的確な情報が、より早く返ってくるようになる可能性があります。例えば、カスタマーサポートでAIが質問に素早く的確に答える、あるいは、複雑な専門文書から必要な情報を瞬時に見つけ出す、といった応用が考えられます。AIの「検索能力」が、さらに私たちの生活を便利にしてくれそうですね。