高次元におけるグリッドベース近似最近傍探索のスケーリング則

AIの世界で、たくさんのデータの中から「似ているもの」を素早く見つけ出す技術は、私たちの生活を便利にする上で欠かせません。例えば、ネットショッピングで「この商品を買った人はこんな商品も買っています」と表示されるのも、この技術のおかげです。この「似ているもの探し」を、専門用語では「近似最近傍（ANN）探索」と呼びます。たくさんのデータ（N）や、データの持つ情報量（次元数d）が増えると、この「似ているもの探し」がどんどん難しくなるのが悩みでした。

今回ご紹介するのは、この「似ているもの探し」の新しいアプローチです。特に「グリッドベース」と呼ばれる方法に注目し、データ数や情報の量が増えても、どれくらい効率が落ちないのかを詳しく調べました。まるで、広大な土地に区画整理をして、探し物をしやすくするようなイメージです。

実験してみると、驚くべき発見がありました。GloVeという、単語の意味を数値で表す技術（埋め込みファミリ）を使ったデータで調べたところ、情報の量（次元数）が増えていくと、効率の落ち方が変わる「クロスオーバー」という現象が見られたのです。これは、これまであまり知られていなかった現象でした。

このクロスオーバーを超えると、今回注目した「マルチプローブグリッド」というグリッドベースの方法は、他の多くの方法とは一味違った動きを見せました。他の方法では、情報の量が増えると「似ているもの探し」のスピード（スループット）がガクンと落ちてしまうことが多いのですが、マルチプローブグリッドは、そのスピードの落ち込みがほとんどありません。まるで、どんなに複雑な地形でも、一定のスピードで進める特別な乗り物のようです。

この「似ているもの探し」が速いというメリットは、データ数（N）が増えても、ほぼ直線的に速さが保たれることや、事前に「似ているもの」を探すための準備（インデックス作成）にかかる時間が、他の方法に比べて少ないことと引き換えに得られます。つまり、少し手間（インデックス作成）はかかるけれど、一度準備ができれば、たくさんのデータに対しても効率よく「似ているもの」を見つけ出せる、というわけです。

この研究結果は、特に「再構築が多い」つまり、データを作り直す機会が多い場合や、「高次元」つまり、データの情報量が非常に多い場面で、グリッドベースの方法が非常に有効になる可能性を示しています。このような設定では、準備にかかる時間と、情報の量が増えても性能が落ちにくいかが、全体のパフォーマンスを左右するからです。最近では、AIの「自己注意機構」という、重要な情報に注目する仕組みも、この「似ているもの探し」の技術として捉え直す研究も進んでおり、この分野の重要性がますます高まっていることがうかがえます。