Dustin：投機的デコーディングによる効率的な長文脈生成のためのドラフト拡張スパース検証

最近のAI、特に文章を作るのが得意な「大規模言語モデル（LLM）」は、長い文章を一度にたくさん作るのが苦手という課題がありました。例えるなら、一度にたくさんの単語を思い出せない、といった感じです。これを解決するために「投機的デコーディング」という技術が使われるようになりました。これは、AIが次の単語をいくつか「予想」して、その予想が当たれば一気に進む、という仕組みです。でも、この予想をする時にもっとも時間がかかるのが、AIが過去に覚えた情報を引っ張り出してくる作業（KVキャッシュのロード）でした。

既存の方法では、この問題をうまく解決できませんでした。情報を単純にカットしてしまうと、AIの文章の質が落ちてしまいます。かといって、毎回どの情報を使うか細かく選ぼうとすると、今度は予想する作業自体に時間がかかってしまうのです。

そこで登場したのが「Dustin」という新しい技術です。これは、長い文章を作るための「投機的デコーディング」に特化した、賢いやり方です。Dustinは、文章を作る「下書き用AI（ドラフトモデル）」からのヒントと、文章を作る「本番AI（ターゲットモデル）」が過去の情報をどれだけ覚えているかの情報を組み合わせます。これにより、文章をいくつか先まで作る間でも、本当に大事な情報や、どれくらい前の情報を使えばいいかを正確に見つけ出すことができるのです。

さらにDustinは、この「大事な情報を見つける」作業を、AIが持っているたくさんの「注目ポイント（アテンションヘッド）」のうち、ごく一部だけに絞って行います。これにより、無駄な計算を減らし、文章を作るスピードをさらに速くすることを目指しています。長い文章を効率よく、しかも正確に作れるようになる、そんな期待が持てる技術と言えるでしょう。