CELEUS：Eプロセスによる認定可能で効率的なLLM評価

AI（人工知能）がすごいスピードで進化していて、私たちの生活にもどんどん身近になってきました。特に、文章を生成したり、質問に答えたりしてくれる「大規模言語モデル（LLM）」は、まるで人間のように自然な言葉を操るため、その能力に驚かされるばかりです。でも、ここで一つ疑問が浮かび上がります。「このLLMって、本当に私たちの期待通りの働きをしてくれるの？」と。AIの評価は、そのAIが現実世界でどれだけ役に立つかを測る大切な指標ですが、実はこれがなかなか難しいのです。

これまで、AIの評価では、いくつかのテスト問題（評価サンプル）をAIに解かせ、その正解率などから「このAIは〇〇％の確率で、これくらいの性能が出せるはずだ」という「信頼区間（CI）」というものを計算してきました。これは、まるで「このテストの点数なら、本番の試験でも〇〇点くらいは取れるだろう」と予測するのに似ています。しかし、この従来のやり方には、ある落とし穴がありました。それは、テストを繰り返していくうちに、計算された「信頼区間」が理論通りに機能しなくなってしまう可能性があることです。つまり、最初は「95％の確率で性能を保証します！」と言っていても、何度もテストを繰り返すと、その保証が外れてしまうかもしれない、という理論的な厳密さと、実際の運用との間にズレが生じていたのです。

この論文で提案されている「Celeus（セレウス）」という新しい評価フレームワークは、この問題を解決しようとするものです。Celeusは、「Eプロセス」という特別な仕組みを使うことで、何度テストを繰り返しても、理論通りの「信頼区間」を保ち続けられるように設計されています。これは、AIの評価に「保証」という、より確実なものをもたらすことを目指しています。

Celeusのすごいところは、単に信頼性を高めるだけでなく、「効率性」も追求している点です。具体的には、AIの性能を測る上で、特に「情報量が多い」と考えられるテストサンプルを賢く選び出す「不確実性ガイドサンプリング」という技術を使います。さらに、まだテストしていない問題についても、すでにテストした問題の結果から「こんな感じだろう」と推測する「代理近似」という方法も組み合わせます。これにより、少ないテスト問題数でも、AIの実際の性能をより正確かつ効率的に把握できるようになるのです。AIの評価がより正確で信頼できるものになれば、私たちの日常生活でAIを安心して活用できる場面も、ますます広がっていくことでしょう。