ai2026/6/20 13:00:00

クエリはどこに配置すべきか？デコーディングダイナミクスによる拡散LLMにおけるコンテキスト内学習のポジショナルバイアスの解明と緩和

ニュース概要

コンテキスト内学習（ICL）は自己回帰（AR）LLMで広く研究されているが、拡散大規模言語モデル（dLLM）におけるそのメカニズムはほとんど未解明のままである。ARモデルは単方向の因果マスキングに制約されるのに対し、dLLMは本質的に双方向アテンションを利用し、クエリ配置に広範な空間的柔軟性を提供する。しかし、現在の実践ではARスタイルの後続クエリテンプレートが慣習的に継承されており、構造的なパラダイムシフトが見過ごされがちである。本稿では、クエリ位置がdLLMにおいて実際に一次変数であることを明らかにする包括的な分析を提示する。経験的な分離を通じて、位置の変動が例のセマンティック品質と同等に生成品質に影響を与えることを実証する。内部的には、この位置的感度は、アテンションフローにおける空間的な「新近性効果」と、デコーディング軌跡におけるタスク依存的なシフトに起因する。正解ラベルなしでこの不安定性を緩和するために、従来の単一ステップ信頼度（C_decoded）がdLLMでは失敗することを明らかにする。

解説

最近、私たちの身の回りでもAIが文章を生成する場面が増えましたね。その中でも特に注目されているのが、文章の続きを予測して生成する「自己回帰型（AR）大規模言語モデル（LLM）」、例えばChatGPTのようなAIです。

一方で、画像生成AIで使われる「拡散モデル」の技術を応用して、文章全体を一度に生成する「拡散型LLM（dLLM）」という新しいタイプのAIも研究されています。AR型LLMは、まるで私たちが文章を読むように、左から右へ、単方向に情報を処理していきます。そのため、「この単語の次に何が来るかな？」という予測を積み重ねて文章を作ります。対して、dLLMは文章全体を俯瞰して、まるで絵を描くように、全体像から細部へと文章を完成させていきます。この違いは、文章の生成の仕方に大きな影響を与えます。

今回の研究では、このdLLMが文章を生成する際に、私たちがAIに与える「クエリ（質問や指示）」をどこに配置するか、つまり「文章のどの部分に質問を置くか」が、AIが生成する文章の質に大きく影響することが明らかになりました。AR型LLMでは、質問は基本的に文章の最後に置くのが一般的でしたが、dLLMは文章全体を双方向に見渡せる特性を持っています。それなのに、これまでのdLLMの研究では、AR型LLMのやり方をそのまま踏襲して、質問を最後の方に置くのが通例だったのです。

研究者たちは、この「クエリの位置」が、文章の質にどれほど影響するかを詳しく調べました。その結果、質問を置く位置を変えるだけで、まるで文章の内容そのものが変わってしまうかのように、生成される文章の質が大きく変動することが判明したのです。これは、AIが文章を生成する過程で、質問に近い部分の情報に強く引きずられる「新近性効果」と呼ばれる現象と、AIが何を重視して文章を作るかという「タスクごとの傾向」が原因だと考えられています。

この発見は、dLLMをより効果的に使うための重要な一歩と言えるでしょう。これまでは「とりあえず質問は最後でいいか」と思っていたところを、今後は「どこに質問を置けば最も良い文章が生成されるか」を意識してAIに指示を出す必要が出てくるかもしれません。これは、私たちがAIとどのようにコミュニケーションを取るべきか、という問いにもつながる興味深いテーマです。

今後の予測

この研究成果は、今後のdLLMの活用においていくつかのシナリオを示唆しています。

**シナリオ1：AIとの対話方法の進化** 私たちはAIに何かを尋ねる際、これまで以上に「どこに、どのように質問を配置するか」を工夫するようになるでしょう。例えば、特定の情報を強調したい場合は、その情報の近くに質問を置く、といった具体的なテクニックが開発されるかもしれません。これにより、AIがより意図を正確に汲み取り、質の高い文章を生成できるようになる可能性があります。AIプロンプトエンジニアリングの分野で、dLLM特有の最適化手法が確立されることも考えられます。

**シナリオ2：dLLMの性能向上と応用拡大** 研究が進めば、AI自身が最適なクエリ位置を判断し、自動的に調整するような機能が搭載されるかもしれません。これにより、ユーザーはクエリ位置を意識することなく、常に高品質な文章生成の恩恵を受けられるようになります。特に、小説や詩、脚本など、全体的な構成やトーンが重要な長文生成において、dLLMの精度が飛躍的に向上し、よりクリエイティブな分野での応用が加速するでしょう。

**シナリオ3：AR-LLMとdLLMの融合** 将来的には、AR-LLMの持つ逐次的な生成能力と、dLLMの持つ全体的な構造把握能力を組み合わせた、ハイブリッド型のLLMが登場する可能性もあります。部分的にはAR型のように流れを重視しつつ、全体としてはdLLMのように構造を最適化する、といった柔軟な生成が可能になれば、さらに多岐にわたるタスクで高性能を発揮するAIが生まれるかもしれません。