LLMの堅牢性を測る診断的ストレステスト「デコーディングレベルタブー」

スマートフォンやパソコンのアプリは、開発者が想定した通りの操作をされたときは快調に動きます。ところが、変わった使い方や想定外の入力をされると、時々エラーが起きたり、おかしな反応をしたりすることがあります。それはLLM（大規模言語モデル）、つまりChatGPTなどの対話型AIでも同じ。正常な会話ならスムーズですが、実社会で使われるときには、誤字やフィルタリングを回避しようとする質問、複雑な組み合わせなど、想定外の入力に直面することがよくあります。

東京大学の研究者たちが発表した新しい評価手法「デコーディングレベルタブー」は、この問題に目を向けています。簡単に言えば、「AIが普通じゃない状況でも、ちゃんと動き続けるか」を診断するテストです。

これまでのAI評価は、主に「正しい答えを出したか」という点に絞られていました。でも現実はそうじゃない。例えば、医療系のチャットボットが医師の指示を受け、複雑な症状の説明に対応しなければならない場面では、通常の学習では想定されていない文脈や表現に直面します。金融アドバイスのAIも、市場が急激に変わったときのストレス下での回答の質が重要です。こうした「想定外の中での信頼性」を測ることが、安全なAI運用に不可欠なのです。

研究で興味深いのは、単に「AIを大きくすれば堅牢になる」とは限らないという発見。むしろ、AIの学習方法——人間の指示にどの程度従うように学習させたか——が、予期せぬ状況への耐性に大きく影響することが分かったということです。つまり、開発者がAIをどう「育てるか」が、実社会での使い勝手を左右するということ。

このテストが普及すると、企業がAIを導入する際の判断基準が変わる可能性があります。「精度が何パーセント」という数字だけでなく、「不測の事態にも対応できるか」という視点が加わるからです。ユーザー側も、気になるAIサービスがどの程度の『弱点診断テスト』に合格しているか確認してから使う、といった時代が来るかもしれません。