月 100万件・ 50億トークンをローカルLLMで捌く - 明細名のストア情報マッピング

最近、「LLM」という言葉をよく耳にしませんか？これは「大規模言語モデル」の略で、まるで人間のように文章を理解したり、生成したりできるAIのことです。グーグルやオープンAIといった大手企業が開発しているものが有名ですが、実はこのLLM、自分の会社のパソコンやサーバーの中で動かす「ローカルLLM」という使い方も注目されています。

今回ご紹介するナウキャストさんの事例は、まさにこのローカルLLMを賢く活用して、とんでもない量のデータを処理しているという話です。彼らが取り組んでいるのは、クレジットカードや電子マネーの利用明細に書かれている「お店の名前（明細名）」を、正確な店舗情報に結びつけるという作業。例えば、「アマゾン」とだけ書かれていても、それがどこのアマゾンなのか、あるいは「〇〇マート」が特定のお店を指すのかをAIが判断するわけです。

この作業、手作業でやろうとすると膨大な時間と手間がかかります。しかも、お店の名前の書き方は千差万別で、表記ゆれも多い。そこでLLMの出番です。LLMは文章の「意味」を理解するのが得意なので、多少の表記ゆれがあっても、それが指し示す本質的な情報を読み取ってくれます。

ナウキャストさんでは、毎月100万件もの明細を処理し、50億もの「トークン」（AIが情報を処理する際の最小単位のようなもの）を扱っているそうです。これだけの規模の処理を、一般的なクラウド上のLLMサービスに頼ると、コストが跳ね上がってしまいます。そこで彼らは、自社で構築したローカルLLMを使うことで、コストを抑えつつ、高速かつセキュアにデータを処理することに成功しました。

この取り組みのすごいところは、ただAIを使うだけでなく、データ処理の「職人技」とでも言うべき工夫が凝らされている点です。例えば、一度にたくさんの情報をAIに与えすぎると、かえって間違いが増えることがあるため、AIが処理しやすいように情報を小分けにしたり、重要な情報を強調したりする「プロンプトエンジニアリング」という技術を駆使しています。また、AIが判断に迷ったときに、人間が介入して正しい情報を教え込む「ヒューマン・イン・ザ・ループ」という考え方も取り入れています。これにより、AIの精度をどんどん高めていっているわけです。

この事例は、AI技術を単なる流行で終わらせず、実際のビジネス課題を解決するための強力なツールとして、いかに賢く、そして実用的に導入できるかを示しています。特に、個人情報を含むような機密性の高いデータを扱う企業にとって、ローカルLLMの活用は、セキュリティ面でも大きなメリットがあると言えるでしょう。