MindAlign：限定データ下でのマルチモーダル埋め込みアライメントによるfMRI信号からの内的音声のデコード

私たちの頭の中で思い描いている言葉、つまり「内的言語」を、脳の活動から読み取って文章にするというのは、SFの世界の話だと思っていました。しかし、最新の研究では、それが現実のものになりつつあるようです。

これまで、脳の活動を読み取って言葉にする試みはいくつかありました。しかし、いくつかの大きな壁にぶつかっていたのです。まず、脳の信号から直接、頭の中の言葉を正確に捉えるのが難しいこと。次に、AIに学習させるためのデータが限られていること。そして、人によって脳の活動のパターンが大きく違うため、一人ひとりに合わせた調整が必要になること。これらの問題のために、新しい人に試すたびに、AIをゼロから調整し直す必要があり、とても手間がかかっていたのです。

そこで今回、研究チームは「MindAlign（マインドアライン）」という新しい方法を提案しました。これは、脳の活動を読み取る部分と、言葉を作り出す部分を切り離した、2段階の仕組みになっています。この方法のすごいところは、AIの根本的な部分をいじらなくても、脳の活動から自由な文章を作り出せる点です。

第1段階では、まず脳のfMRI（エフエムアイ）という装置で測った活動パターンと、頭の中で思い描いている言葉の意味が、うまく「そろう」ように学習させます。これは、脳の活動から、言葉の「意味のかたまり」のようなものを、その人専用に抽出するイメージです。

第2段階では、こうして抽出された「意味のかたまり」と、静止画を見たときにその画像について考えていた言葉の意味を合わせて、あらかじめ用意しておいた「マルチモーダル言語モデル」という賢いAIに「こういう意味の文章を作って」と指示（プロンプト）を出します。このAIは、画像と文章の意味を理解できる特別なAIで、指示された意味に沿った自由な文章を生成してくれるのです。

実際に、静かな部屋で画像を見ながらその画像について考えているときのfMRIデータを使い、このMindAlignを試したところ、脳の活動だけで文章を生成するよりも、ランダムに文章を作るよりも、はるかに正確に頭の中の言葉を文章化できることがわかりました。これは、私たちの思考をより深く理解し、コミュニケーションのあり方を変える可能性を秘めた、大きな一歩と言えるでしょう。