精度とコストを超えて：動的ワークロードのためのレイテンシを考慮したLLMクエリルーティング

最近のAI、特にChatGPTのような大規模言語モデル（LLM）は、私たちの質問に答えてくれたり、文章を作成してくれたり、とても便利ですよね。でも、このAIがどうやって動いているのか、ちょっと気になりませんか？

実は、AIに質問（クエリ）が届くと、それをどのAIモデルに処理させるか決める「AIクエリルーター」というものが働いています。今のルーターは、AIの「応答の良さ」と「どれくらいお金がかかるか」のバランスを取るように頑張っています。例えば、ちょっとした質問なら安くて速いモデルに、難しい質問なら高性能だけど高価なモデルに、といった具合です。これで、AIを効率よく、無駄なく使うことを目指しているんです。

ところが、最近の研究で、この「応答の速さ」、つまり「レイテンシ」が、今のルーターではあまり考慮されていないことが分かってきました。AIが質問に答えるまでの時間（レイテンシ）は、AIモデルの種類だけでなく、そのモデルが今どれくらい忙しいか、どういう設定で動いているか、といった色々な要因で変わってきます。今のルーターは、こうした「AIの忙しさ」や「設定」までは見ておらず、単純な順番待ち（ラウンドロビン）や、一番空いているところに順番に割り振る（ジョイン・ザ・ショート・キュー）といった方法で応答速度を調整していることが多いんです。これだと、AIモデルの性能やコストを最大限に活かせない可能性があります。

この問題点を解決するために、今回の研究では、AIの応答速度を予測する新しい仕組みを開発しました。AIが質問を受け取ってから、最初の単語（トークン）を生成するまでの時間（タイム・トゥ・ファースト・トークン、TTFT）を、AIモデルの現在の負荷や、AIを動かすシステムの設定などを考慮して、素早く予測するんです。この予測機能を持つ「レイテンシ対応ルーター」は、AIに質問を割り当てる際に、応答の速さ、応答の質、そしてコストの３つを同時に最適化できるようになります。これにより、AIの利用効率がさらに向上し、より快適にAIを使えるようになることが期待されます。