CoreMem：対話エージェントにおける長期記憶のためのリーマン幾何学的検索とフィッシャー情報量誘導蒸留

最近、スマートフォンやスマートスピーカーなど、身近なデバイスでAIアシスタントと会話する機会が増えましたよね。彼らが私たちの好みを覚えていてくれたり、以前の会話の内容を踏まえて話してくれたりすると、なんだか嬉しいものです。これは「長期記憶」と呼ばれる機能のおかげ。でも、この長期記憶、実はとっても大変な技術なんです。

私たちがAIと会話するたびに、AIは膨大な量の情報を記憶しようとします。これを、スマホやタブレットのような、それほど高性能ではないデバイス（「エッジデバイス」と呼びます）で実現しようとすると、すぐに「メモリがいっぱい！」とか「処理が遅すぎる！」という問題にぶつかってしまいます。まるで、小さなカバンにたくさんの荷物を無理やり詰め込むようなものです。

これまでのAIの記憶方法には、いくつか課題がありました。例えば、「コサイン類似度」という方法で情報を探し出すやり方。これは、例えるなら、図書館で本を探すときに、本のタイトルやキーワードが似ているかどうかだけで判断するようなもの。確かに便利ですが、たくさんの本の中から本当に求めている一冊を見つけるのは難しいことがあります。特に、AIが記憶する情報が増えれば増えるほど、「似ているけれど、実は全然違う情報」がたくさん出てきてしまい、本当に必要な情報が埋もれてしまう「ハブネス問題」という現象が起きていました。

今回発表された「CoreMem（コアメム）」という新しい技術は、この問題を解決しようとしています。彼らが注目したのは「情報幾何学」という考え方。これは、情報を「形」や「空間」として捉え、その中での距離や関係性を測ることで、より効率的に情報を整理・検索しようとするアプローチです。従来のコサイン類似度が「見た目の似ている度合い」で判断していたのに対し、CoreMemは「情報の意味的な関連性」や「重要度」を考慮して探し出すことができるようになりました。例えるなら、図書館で本を探すときに、本のタイトルだけでなく、内容の深さや専門性、他の本との関連性まで考慮して、本当に必要な本を素早く見つけ出すことができるようになった、というイメージです。

特に注目すべきは、「リーマン幾何学検索」という技術。これは、情報の空間を柔軟に変形させながら検索することで、より正確に、そして効率的に必要な情報を見つけ出すことを可能にします。これにより、メモリの消費量を抑えつつ、AIが過去の会話をより深く理解し、私たち一人ひとりに合わせた、より自然で一貫した対話を提供できるようになることが期待されます。小さなデバイスでも、賢いAIがもっと身近になる未来が、CoreMemによって一歩近づいたと言えるでしょう。