プロジェクト・オートワールド：ニューラル関係推論の自動ベンチマークに向けて

AI（人工知能）の世界では、コンピューターが人間のように物事を「理解」し、そこから新しいことを推測する能力が常に求められています。特に、物事の「関係性」を捉えて、それに基づいて推論する力は、AIにとってまだまだ難しい課題の一つです。例えば、ある情報が与えられたときに、その情報から隠されたルールを見つけ出したり、未知の状況に知識を応用したりする能力ですね。

この「関係性推論」の進歩が遅れている理由の一つに、AIがどれだけ賢くなったかを測る「ものさし」作りが難しいことが挙げられます。どういう問題がAIにとって「難しい」のか、事前に正確に予測するのが難しいため、AIの能力を公平に評価し、さらに伸ばしていくための新しい問題（テストケース）をどう作れば良いのか、研究者たちを悩ませてきました。

そんな中、この研究では、この「ものさし」作りをAI自身に手伝ってもらおうという、面白いアプローチを提案しています。具体的には、AIの中でも特に文章を理解したり生成したりするのが得意な「大規模言語モデル（LLM）」という技術を使います。このLLMに、どんどん難しくなっていく問題（テストケース）を自動で作らせることで、AIの関係性推論能力をより正確に評価し、向上させようというのです。

研究チームは、LLMに「Datalog」という、関係性を表現するのに適したルールに基づいた仮想世界（ワールド）を与えました。そして、AIの推論能力を評価する役割として「Edge Transformer」という別のAIモデルを使います。この組み合わせで、LLMが「FunSearch」という、AIが自ら新しいプログラム（この場合は、難しい問題を作るための「サンプリング関数」）を発見していく手法や、自律的に探索するエージェントの力を借りて、AIにとって手ごわい問題インスタンスを自動生成することに成功しました。

さらに興味深いのは、このようにしてAIが作った「難しい問題」のデータを使って、評価役のEdge Transformer自身を鍛え直すこともできるという点です。これにより、Edge Transformerは、たとえ少しデータが変化したり、予期しない形になったりしても、うまく対応できる「一般化能力」を高めることができたとのこと。これは、AIが現実世界の複雑な状況にもっと柔軟に対応できるようになるための、大きな一歩と言えるでしょう。