Ko-WideSearch: 韓国の網羅的集合列挙のための広範囲探索ベンチマーク

AI（人工知能）が、私たちの代わりに色々な作業をしてくれる「エージェント」の能力を測る新しい方法が提案されました。これまでのAIの能力を測るテストって、なんだか「一つの正解を見つける」ことに集中しすぎていたみたいなんです。例えば、ある質問に対して「これ！」という答えを一つ見つけられたら、それでOK、みたいな。でも、世の中には「このリストにあるもの全部を調べ上げて、それぞれの細かい情報まで埋めてね」というような、もっと広範囲で網羅的な作業ってたくさんありますよね。例えば、あるテレビ番組の全シーズンをリストアップして、それぞれのシーズンのエピソード数や放送日を調べる、といった具合です。

特に、日本語のような英語以外の言語では、こうした「網羅的な探索」ができるAIの能力をちゃんと評価するテストが、これまでほとんどありませんでした。なぜなら、そういうテストを作るのがすごく大変だからです。全部の答えが正しいか、一つ一つチェックするのは、単に一つの答えが合っているかを見るよりも、ずっと手間がかかります。まるで、百科事典の全項目をチェックして、間違いがないか確認するようなものですよね。

そこで今回、韓国語に特化した、この「広範囲探索」の能力を測るための新しいテスト（ベンチマーク）が作られました。その名も「Ko-WideSearch（コー・ワイドサーチ）」です。このテストでは、テレビ番組のシーズン、歴史上の王朝、スポーツのリーグ、行政区分、選挙といった、たくさんの項目がある「集合」を対象にします。そして、その集合に属する全てのメンバーをリストアップし、さらにそれぞれのメンバーが持つ属性（例えば、テレビ番組ならエピソード数、リーグなら所属チーム数など）を詳しく調べる能力を評価します。採点は、見つけた項目の精度や、リストの網羅性など、いくつかの指標で行われます。

このKo-WideSearchは、3段階の難易度で、16のカテゴリー、190の対象、そして228ものテーブル（表）にわたる、とても大規模なものです。面白いのは、テストの「幅」や「複雑さ」を調整できる仕組みがあることです。これにより、単純なリストから、まるで全ての組み合わせを網羅するような複雑なものまで、AIの能力を段階的に試すことができます。これまで評価が難しかった「網羅性」を、韓国語のデータを使って、しっかり測れるようになるわけです。これは、AIがもっと多様で複雑な現実世界のタスクをこなせるようになるために、とても重要な一歩と言えるでしょう。