クエリ可視性の変化がKVキャッシュ圧縮のランキングに与える影響：マッチドバジェット監査

AIが一度にたくさんの情報を覚えておけるようにする技術、「KVキャッシュ圧縮」。これは、AIが長い文章を読んだり、たくさんの質問に答えたりする際に、記憶の容量を節約するための工夫です。まるで、たくさんの本を効率よく本棚にしまうようなイメージですね。

これまで、このKVキャッシュ圧縮の性能を評価する時は、圧縮する前にAIに質問をさせて、その質問に合わせて圧縮する方法が一般的でした。これは、AIが質問を理解してから記憶を整理する、という流れを想定していたからです。

しかし、AIが「一度覚えたことを、後からたくさんの質問に何度も使う」という、より実用的な使い方を考えると、話は少し変わってきます。この場合、圧縮は質問が来る前に行われるべきですよね。つまり、質問の内容に関係なく、効率よく記憶を整理する能力が重要になるわけです。

今回、研究者たちは、この「質問が来る前に圧縮する」という、より実用的な状況を想定して、いくつかのAIモデル（7〜9Bという規模のもの）と、6種類の圧縮技術、そして3つの基本的な評価方法を比較しました。具体的には、AIモデルの種類、圧縮の度合い、そして評価に使うデータセットなどを固定し、評価のルールだけを変えて、どの圧縮技術が一番優れているかを調べたのです。

その結果、驚くべきことが分かりました。圧縮する前にAIに質問を見せるかどうかで、圧縮技術の「ランキング」、つまり優劣が変わってしまうのです。これは、これまで当たり前だと思われていた評価方法では、AIの本当の能力を見誤ってしまう可能性があることを示唆しています。AIの記憶術を正しく評価するためには、新しい、より実用的な視点からの評価方法が必要だと言えそうです。