SageMaker HyperPodでのLLM推論向けに、プリフィルとデコードを分離

インターネットの裏側で動いている大規模言語モデル（LLM）は、私たちが質問を入力してから答えが返ってくるまでの時間が、実はかなり長いという課題を抱えていました。特に多くの人が同時に使っている場合、応答時間はさらに遅くなります。AWSが発表した新しい手法は、この「待ち時間」を大幅に短縮できるかもしれません。

わかりやすく説明すると、AIが回答を生成する過程には2つのステップがあります。まず、ユーザーが入力した質問全体を読み込んで理解する「準備段階」があり、その後、単語を1つずつ生成していく「回答作成段階」があります。従来の方法では、1台のコンピュータがこの両方を順番に、さらに他のユーザーの分も順番に処理していました。

AWSが紹介する「プリフィルとデコード分離」という技術は、これを工場のベルトコンベアのように分担させるというアイデアです。異なるサーバーを使って「質問を読み込む係」と「答えを作成する係」に分けてしまえば、複数のユーザーの質問を並列処理でき、全体の効率が上がるというわけです。

この技術がなぜ今注目されているかというと、ChatGPTをはじめとする生成AIの利用が爆増する中で、企業向けのAIサービスの応答速度が競争力になってきたからです。金融機関が顧客対応に使う場合、1秒の遅延が体験の質を大きく左右します。Amazonがこの実装方法を公開することで、他の企業も同じ高速化を実現しやすくなり、AI活用の競争がさらに加熱することが予想されます。

ただし、この仕組みを導入するには、複数のサーバーを適切に組み合わせる手間と、その管理に必要な技術知識が必要です。だからAWSは自社のクラウドサービス上で、この設定を簡単にできるツール（HyperPod Inference Operator）を提供しているわけです。つまり、大企業だけでなく、中堅企業でもこの高速化の恩恵を受けやすくなる可能性があります。