APIアクセス制限下でのLLMアーキテクチャ特性のブラックボックス推論

最近、AIの進化は目覚ましいものがありますが、その裏側、つまりAIがどうやって動いているのか、その「設計図」とも言えるアーキテクチャは、多くの会社が秘密にしています。まるで、美味しい料理のレシピを公開しないシェフのようなものですね。でも、研究者たちは、たとえレシピの全貌が見えなくても、限られた情報からその秘密を探ろうとしています。

これまでの研究では、AIに少しだけ「ヒント」を与えることで、AIの内部構造、例えば「フィードフォワードネットワークの隠れ次元」といった、AIの性能を左右する重要な部分の大きさを推測できることがわかっていました。これは、料理で言えば、完成した料理の味や見た目から、使われている材料や調理法の一部を推測するようなものです。この「ヒント」というのは、AIが次にどんな言葉を出すかの候補（トップkロジット）や、特定の言葉を出しやすくする指示（ロジットバイアス関数）といった、API（AIとやり取りするための窓口）を通じて得られる情報のことです。

しかし、多くのAIサービスを提供する会社は、この秘密がバレないように、APIの公開情報をさらに制限しました。具体的には、AIが出力する一つの単語（トークン）に対して、たった一つの「候補」の情報しか公開せず、さらに「ロジットバイアス関数」のような、構造を探るのに役立つ機能も使えなくしてしまったのです。これは、料理で言えば、完成品を見せてもらうだけで、材料リストや調理手順は一切教えてもらえない、という状況に似ています。

そんな厳しい制限の中でも、今回の研究では、なんと、まだAIのアーキテクチャの一部を推測できることを発見しました！この研究チームは「NightVision」という新しい攻撃手法を提案しています。これは、制限されたAPIアクセス、つまり「ブラックボックス」状態のAIに対して、その内部の隠れ次元、AIの「層の数」（深さ）、そして全体の「パラメータ数」（AIの賢さの総量のようなもの）を推定しようとするものです。

NightVisionのすごいところは、「コモンセットプロンプティング」という新しい技術を使っている点です。これは、AIにいくつかの「お題」（プロンプト）を出したときに、それらがすべて同じ「答えの単語」（出力トークン）にたどり着くように工夫することです。そして、それぞれの「お題」に対する「答えの単語」が出る確率（対数確率）を分析します。この分析結果を「スペクトル分析」という数学的な手法で調べることで、AIの隠れ次元の大きさを推測できるというわけです。まるで、様々な角度から光を当てて、隠された形を見つけ出すようなイメージですね。この研究は、AIの内部構造を完全に秘密にすることがいかに難しいか、そして、AIの透明性を確保するための新たな課題を示唆しています。