AIモデル選び、トークン代だけじゃダメ？賢い選び方

AI（人工知能）の進化は目覚ましく、私たちの生活や仕事にもどんどん取り入れられています。特に、文章を作ったり、質問に答えたりする「生成AI」は、その活躍の場を広げていますね。

Amazon Bedrockというサービスを使うと、OpenAIが開発した高性能なAIモデルを簡単に利用できます。これは、まるで専門的な道具がたくさん揃った工房のようなものです。でも、工房にある道具の中から、自分のやりたい作業に一番合うものを選ぶとき、一番安いものを選ぶだけでは、かえって効率が悪くなったり、思ったようなものができなかったりしますよね。

AIモデル選びもこれと似ています。多くの人が、AIが一度に処理できる文字数（トークン）あたりの料金（単価）でモデルを比較しがちです。確かに料金は大切ですが、それだけでは「本当にコストパフォーマンスが良いか」は分からない、というのが今回のAWS Machine Learning Blogの記事の主張です。

例えば、あるAIモデルはトークン単価は安いけれど、複雑な問題を解くのに何度もやり取りが必要で、結局トータルで高くつく、なんてこともありえます。また、AIが指示を理解して実行するまでの「道のり」や、最終的に出てくる答えの「質」も、モデル選びでは非常に重要です。

そこで、この記事では、より実用的な評価方法を提案しています。それは、「問題解決1回あたりのコスト」「AIが指示をこなす過程（軌跡）にかかるコスト」、そして「評価基準に基づいた成果物の品質」といった、実際の仕事でAIを使う場面を想定した評価です。

さらに、これらの評価を簡単に行うための「オープンソースのベンチマーキングツール」も紹介されています。これは、例えるなら、色々な道具の切れ味や使いやすさを試せる「試し切り場」のようなものです。このツールを使えば、単にトークン単価の安いモデルを選ぶのではなく、実際に使ってみて、どれが自分の目的に一番合っているか、効率よく良い結果を出せるか、といったことをしっかり比較検討できます。

AIモデルを選ぶ際には、料金だけでなく、実際の作業効率や成果物の質をしっかり見極めることが、賢くAIを活用するカギとなる、というわけです。