モデルはプリフィル時にメモを取る：KVキャッシュは編集可能かつ合成可能に

皆さんはAI、特にChatGPTのような大規模言語モデル（LLM）と話すときに、途中で「やっぱりこの部分だけ直したいな」と思ったことはありませんか？実は、今のLLMの仕組みでは、たった一文字直すだけでも、AIは最初から全部考え直すような、ちょっと非効率な動きをすることがありました。

今回ご紹介する研究は、この「非効率」の根本原因を突き止め、もっと賢く、効率的にAIを動かすためのヒントを与えてくれるものです。

現在のAIが文章を生成する際、「プレフィックスキャッシング」という技術が使われています。これは、AIが一度考えた内容（プレフィックス）を記憶しておき、同じ質問が来たらその記憶を再利用することで、処理を速くする仕組みです。例えるなら、料理のレシピで「ここまで作った下準備は共通だから、あとは味付けを変えるだけ」というイメージです。しかし、これまでのAIは、「下準備」の一部が少しでも変わると、たとえ他の部分は同じでも、「全部やり直し！」となってしまっていました。例えば、レシピの材料を一つ変更しただけで、最初から全ての工程を見直すようなものです。これは非常に手間がかかりますよね。

研究者たちが発見したのは、AIが質問の冒頭（プリフィル）を処理する時点で、すでに「結論」のようなものを「ノート」に書き込んでいる、という驚きの事実です。まるで、人間が「この情報が来たら、こういう結論になりそうだな」と、早々に仮説を立ててメモを取るようなものです。そして、この「メモ」が一度書かれると、後から元の情報（キー/バリューベクトル）を少しだけ変更しても、AIはこの「メモ」に書かれた古い結論に基づいて動いてしまうことが判明しました。元の情報自体が意思決定に与える影響は、なんと1%未満だったというから驚きです。

この発見は、AIの「思考プロセス」を理解する上で非常に重要です。AIは単に情報を順番に処理しているだけでなく、初期段階で「要約」や「結論」のようなものを生成し、それを後の処理に強く影響させている、ということです。この「ノート」の存在を理解することで、AIの振る舞いをより細かく制御できるようになる可能性があります。

この研究は、AIの「ノート」を「編集可能」かつ「合成可能」にする2つの新しい機能を生み出すと述べています。特に注目すべきは「編集可能」な点です。もしAIが書いた「ノート」を、人間が直接修正できるようになれば、AIは変更された部分だけを考慮して、効率的に修正された回答を生成できるようになります。まるで、料理のレシピで「この材料だけ変えて、あとは同じ工程でOK」と指示できるようなものです。これにより、AIの修正にかかる計算量を大幅に削減できる可能性があるのです。ただし、この「編集可能性」を最大限に引き出すには、「連鎖思考（chain-of-thought）」と呼ばれる、AIに思考のプロセスを段階的に示させる手法が重要になる、とも指摘されています。これは、AIに「なぜそうなるのか」という理由付けをさせることで、より柔軟な修正が可能になる、ということでしょう。