「Amazon Bedrock」でAI利用料が大幅減？新機能解説

皆さんは、AIに何かを質問したり、指示を出したりする時、同じような内容を何度も送ることはありませんか？例えば、AIに毎回「今日の天気は？」と聞いたり、特定のキャラクターになりきって話してもらうために、そのキャラクター設定を毎回入力したり。実は、こうした「繰り返し」が、AIを利用する上でのコストや、返ってくるまでの時間（レイテンシ）に影響を与えているんです。

そんな悩みを解決してくれるかもしれないのが、Amazon Web Services（AWS）が提供する、AIサービス「Amazon Bedrock」に新しく搭載された「プロンプトキャッシュ」機能です。これは、AIに送る「指示（プロンプト）」の内容を一時的に記憶しておいて、もし同じ指示が来たら、AIに再度計算させるのではなく、記憶しておいた回答を使い回そう、という仕組みです。

これにより、同じ入力情報に対してAIに何度も計算をさせる必要がなくなるため、AIに指示を送る際にかかる「入力トークン」という部分のコストを、なんと最大で90%も削減できる可能性があるとのこと。AIをビジネスで活用する上で、コストは大きな課題の一つですから、これは嬉しいニュースですね。AIの返答が返ってくるまでの時間も短くなることが期待できるので、ユーザー体験の向上にもつながりそうです。

AWSのブログでは、このプロンプトキャッシュが具体的にどう役立つのか、6つのケーススタディも紹介されています。例えば、AIとの会話で毎回送るメッセージ内容をキャッシュしたり、AIに特定の役割をさせるための「システムプロンプト」を効率化したり。さらには、AIが外部のツールを使えるようにする「ツール定義」の管理や、キャッシュする期間を柔軟に変える「混合TTL」、複数のユーザーが同時に使う場合に、それぞれに合わせた回答を返す「テナント分離」、そしてAI開発でよく使われる「LangChain」というツールとの連携まで、幅広い活用方法が示されています。これらの具体例は、AI開発者にとって、プロンプトキャッシュを自分のサービスにどう組み込めば良いかのヒントになりそうです。

AIの利用が広がる中で、こうしたコストやスピードを改善する技術は、今後ますます重要になっていくでしょう。Amazon Bedrockのプロンプトキャッシュは、AIをより身近で使いやすいものにするための、大きな一歩と言えそうです。