トークンの節約法を「VS Code」開発チームが解説、OpenAI、Anthropicそれぞれのポイントも／「GitHub Copilot」のコストと遅延を大幅削減、プロンプトキャッシュの活用や遅延読み込みなど

最近、プログラマーの皆さんの間で話題になっているのが、AIによるコード生成ツール「GitHub Copilot」の料金体系変更です。これまで定額制だったものが、6月1日から使った分だけ支払う「従量課金制」に切り替わったことで、「どうすれば効率よく使えるか」という点に注目が集まっています。

この変更で特にキーワードになっているのが「トークン」という言葉です。AIにとってのトークンは、人間でいうところの「単語」や「文字」のようなものだと考えてください。AIが何かを理解したり、文章やコードを生成したりする際に、このトークンを消費します。つまり、多くのトークンを使えば使うほど、料金も高くなるというわけです。

まるで水道や電気のように、使えば使うほど料金がかかるようになったことで、開発者たちは「無駄なくAIを使おう」と工夫を凝らし始めています。例えば、同じ質問を何度もAIに投げかけるのは、その都度トークンを消費してしまうので、一度質問した内容や生成されたコードはしっかり保存しておくといった対策が考えられます。また、AIに与える指示（これを「プロンプト」と呼びます）を、より簡潔で的確なものにすることも重要です。だらだらと長い指示を出すよりも、ポイントを絞って伝える方が、AIも効率よく処理でき、結果的にトークンの節約につながります。

さらに、AIモデル自体も日々進化していますが、皮肉なことに、より賢くなったAIほど、一つのタスクをこなすために多くのトークンを消費する傾向があると言われています。これは、より複雑な思考や多くの情報を処理するためと考えられます。そのため、AIの進化を享受しつつも、コストを抑えるための知恵がこれまで以上に求められるようになっているのです。

今回の料金体系変更は、単にコストの問題だけでなく、開発者がAIとの付き合い方を見直す良い機会になるかもしれません。AIを賢く使いこなすための知識やテクニックが、これからの開発現場ではより一層重要になってくるでしょう。