Akashic：MemAttention を活用した低オーバーヘッド LLM 推論サービス

最近のAI、特に「大規模言語モデル（LLM）」を使ったシステムは、まるで人間のように色々なことを覚えて、仕事を進められるようになってきました。例えば、お店の予約をしたり、インターネットで調べ物をしたり、それらを組み合わせて複雑な作業をこなしたり。これらのAIは、何回もやり取り（マルチターン対話）を重ねるうちに、どんどん「記憶」をため込んでいきます。でも、この「記憶」が問題になってきているんです。

AIに毎回、全部の「記憶」を「はい、これ全部です！」って見せると、すごく時間がかかってしまいます。まるで、昔の分厚い辞書を毎回全部開いて、探している言葉を見つけるようなもの。そうすると、AIが処理するのに時間がかかるだけでなく、そもそもAIが覚えられる「記憶の量」を超えてしまうこともあります。さらに困ったことに、たくさんの情報がごちゃ混ぜになると、本当に大事な情報が埋もれてしまって、AIの答えの質まで下がってしまうんです。

そこで登場したのが、「Akashic（アカシック）」という新しい仕組みです。これは、AIの「記憶」を、もっと効率的に管理するためのアイデアなんです。Akashicは、AIの「記憶」を「チャンク」と呼ばれる小さな塊に分けます。そして、これらのチャンク同士がどういう関係にあるかを、AIが理解できるようにします。一番すごいのは、全部の記憶を毎回見直すのではなく、必要なチャンクだけを選んで、その関係性を保つことができる点です。これにより、AIは過去のやり取りを何度も「書き直す」必要がなくなり、処理が速くなります。

さらに、Akashicは「ハードウェアとソフトウェアを一緒に設計する」という、ちょっと高度な工夫も取り入れています。これは、AIがよく使う「記憶の塊」を、コンピューターの中で近くに配置することで、情報を探し出すときの無駄な手間（I/Oオーバーヘッド）を減らすというものです。例えるなら、よく使う調味料をキッチンのすぐ手の届く場所にまとめておくようなイメージですね。これにより、AIはよりスムーズに、より賢く情報を活用できるようになるというわけです。