InferenceBench：AIエージェントによるオープンエンドなLLM推論最適化のためのベンチマーク

AI（人工知能）の進化は目覚ましいものがありますが、その能力を正しく測るのが難しい、という課題が出てきています。特に、AIエージェントが研究開発のような複雑なタスクを自動でこなす能力は、私たちの仕事のやり方を大きく変える可能性を秘めています。しかし、これまで使われてきたAIの性能を測るための「ベンチマーク」と呼ばれるテスト方法には、ちょっとした落とし穴がありました。

多くのベンチマークは、あらかじめ決められた手順や、限られた範囲の行動しか試せないように作られていました。たとえるなら、料理のレシピが決まっていて、調味料の量だけ少し変えてみる、といった具合です。これでは、AIが本当に賢くなって新しい方法を見つけ出したのか、それとも、単に学習済みの答えをうまく使っているだけなのか、区別がつきにくかったのです。まるで、テストで満点を取った生徒が、自分で問題を解いたのか、それとも答えを丸暗記してきたのか分からないようなものです。

そこで今回、新しい評価方法「InferenceBench（インファレンスベンチ）」が提案されました。これは、AIエージェントに「大規模言語モデル（LLM）の推論速度をできるだけ速くしてほしい」という課題を与えるものです。LLMというのは、ChatGPTのような、文章を作ったり質問に答えたりするAIのこと。その「推論速度」というのは、AIが考えたり、答えを出したりする速さのことです。

このInferenceBenchでは、AIエージェントは、まるで自分でサーバーを立ち上げるかのように、OpenAIと互換性のある推論サーバーをデプロイ（展開・設定）する必要があります。そして、与えられたタスクは、決められたLLMと、高性能なGPU（コンピューターの頭脳のようなもの）、そして「2時間」という時間制限の中で、推論速度を最適化すること。これは、AIが限られたリソースの中で、いかに効率よく仕事を進めるかを試す、実践的なテストと言えるでしょう。

さらに、このベンチマークには、推論速度のボトルネック（遅くなる原因）を3つに分けて評価するシナリオが用意されています。具体的には、最初の文章を読み込む速さ（プリフィルレイテンシ）、単語を一つずつ生成する速さ（デコードレイテンシ）、そして同時にたくさんのリクエストを処理する能力（同時リクエストスループット）です。さらに、これら全てをバランス良く最適化する、4つ目のシナリオもあります。これにより、AIエージェントの推論最適化能力を、より多角的かつ詳細に評価できるようになります。この新しいベンチマークが、AIエージェントの真の性能を引き出し、今後の研究開発の自動化をさらに加速させる鍵となるかもしれません。