タイムライン検索

2026年5月29日

拡散モデルは効率的な並列テキスト生成を約束していますが、双方向アテンションに依存しており、事前学習済みの自動回帰（AR）モデルとの構造的な不一致を生じています。この非互換性はロバストなAR事前知識の再利用を排除し、スクラッチからの禁止的な事前学習が必要になります。

arXiv cs.CL

2026年6月1日

arXiv:2605.30690v1 長期メモリはLLMエージェントが拡張インタラクション全体で一貫性のある推論を行い、応答をパーソナライズし、過去の経験を再利用するために不可欠である。しかし既存のメモリ拡張手法は通常、メモリを固定リソースとして扱っている。テキスト空間アプローチは取得したメモリをコンテキストに連結する。

arXiv cs.CL

2026年6月1日

arXiv:2605.30479v1 ラベル空間が無制限の可能性がある普遍的推移的オンライン分類の問題を考察する。この設定はオンライン学習を考慮し、インスタンスの列（ラベルなし）が学習者に事前に既知である。概念クラスが学習可能とは学習アルゴリズムが存在することを意味する。

arXiv cs.LG

2026年6月2日

大規模言語モデル(LLM)の効率化に関する新たなアプローチが提案された。従来の圧縮手法は層単位での処理が主流だったが、研究チームは冗長性がモデル内で均等に分布していないことを発見。特にアテンション層とフィードフォワード層では、その性質が大きく異なることを明らかにした。 この知見に基づき、研究チームが開発した「SubFit」は、従来の層単位ではなく、サブモジュール単位での選別が可能。各サブモジュールに軽量なバイパス機構を加える設計となっており、より細粒度な最適化を実現している。 注目すべきは、このアプローチが較正用データのみで動作し、複雑な再学習プロセスが不要という点。複数のLLMでの検証により、実用的な効果が確認されている。モデル圧縮の高度化を示す研究成果として、今後の言語モデル軽量化に貢献する可能性がある。 (arXiv cs.CL)

2026年6月5日

大規模言語モデルの長文処理において、推論速度の向上と精度のバランスを実現する新たな手法がarXivで発表された。 従来のスパースアテンション技術は、処理対象となるトークンを限定することで速度向上を図ってきたが、精度低下のリスクを抱えていた。新しい提案手法「You Only Index Once」は、複数のニューラルネットワーク層でキャッシュデータとルーティング指標を共有する仕組みを採用することで、この課題に対処している。 層ごとに異なるトークン選択を行う際の計算コストを複数層で分散させることにより、個別の層でのコスト増加を抑制。結果として、推論速度を維持しながら出力精度を保つことが可能になったという。 この改善は、医療文書要約や法的文書処理など、長い入力文の理解が必要なAI応用への活用が期待される。言語モデルのデコード効率向上は、実用的なAIシステム構築における重要な課題であり、今後の実装応用が注視される。 （arXiv cs.CL）

2026年6月8日

リサイクルプラスチックの品質と安全性を確保するためのポリマー識別は重要だが、従来の分別および分光技術は堅牢な判別をもたらすのに苦労している。テラヘルツ双櫛分光法（THz-DCS）は、迅速で高解像度かつ非破壊測定を提供する有望な代替手段となる。本研究では、THz-DCSを利用して純粋なポリマー、多層フィルム、商用ブレンド、およびバイオポリマーを含む12種類のポリマーを分類する。これらのスペクトル信号の複雑性に対処するため、THz-DCSデータ向けに設計された新しいディープラーニングアーキテクチャである多スケール特徴注意ネットワーク（MSFAN）を提案する。このフレームワークは信号再キャリブレーション用の特徴ゲーティングと多様な周波数パターンを捉えるための多スケール並列畳み込みを統合している。これらの特徴は交差特徴注意と注意プーリングを通じてさらに洗練され、モデルが最も有用なテラヘルツ領域を本質的に強調することを可能にする。MSFANは最先端モデルを一貫して上回り、85.2%の分類精度に達する。

arXiv cs.LG

2026年6月8日

英語データで主に学習した大規模言語モデル（LLM）は豊富な世界知識を保有していますが、他言語での信頼性のある表現に失敗することが多いという言語間事実的矛盾の問題に対処するため、本研究ではPolyFactという大規模並列多言語事実的質問応答データセットを導入しました。12の言語的に多様な言語にわたり、ウィキデータに基づく100Kの事実を含みます。PolyFactを用いて、Qwen-2.5-7BとOLMo-2-1124-7Bの言語間事実的リコール性能を改善するため、軽量継続的事前学習（CPT）、教師あり微調整（SFT）、およびグループ相対方針最適化（GRPO）を比較しました。GRPOは一貫してSFTを上回り、言語間の一貫性と未見言語への汎化性能を改善しますが、並列データへのCPTは限定的な追加利得しかもたらしません。機構的分析により、GRPOはMLP層とアテンションヘッドの言語特殊化を削減することで多言語ルーティングを再編成し、より共有された言語間表現を促進することが示されました。本研究ではコード、モデル、およびデータセットを公開します。

arXiv cs.CL

2026年6月9日

言語モデルのタスク学習に必要なデータ量を厳密に評価するため、研究チームは確率的有限オートマトンから生成される形式言語を使用しました。 従来の評価方法には欠陥があることを示し、因果分析を可能にする「ビニング半環」を導入しました。 実験結果は、因果的介入なしに学習可能性を評価することの限界を浮き彫りにしています。

arXiv cs.CL

2026年6月9日

言語モデルの効率化を目指し、新たなツール「Express」が導入されました。このExpressは、これまで非因果的アテンションの近似に用いられていた手法を、因果的アテンションの近似へと転換させる機能を持ちます。 具体的には、既存の「Thinformer」という近似手法と組み合わせることで、因果的アテンションの近似精度を向上させることが期待されています。これにより、言語モデリングにおいて課題となっていた四つのリソースボトルネックの克服に貢献すると考えられます。これらのボトルネックには、長いコンテキストの事前処理やKVキャッシュの圧縮などが含まれており、Expressの活用によって、より効率的な言語モデルの開発が進む可能性があります。 arXiv cs.LG

arXiv cs.LG

2026年6月10日

１０日放送のＴＢＳ系情報番組「ゴゴスマ」（月～金曜・午後１時５５分）では、スマホ疲れした若者の間でＸ（旧ツイッター）やインスタグラムなどのＳＮＳの評価や視線から少し距離を置く「アテンション・デトック

Yahoo!ニュース エンタメ

2026年6月11日

arXiv:2606.11445v1 発表タイプ: new 概要: AIシステムへの信頼は、その仕組みの説明に基づいて構築され、それを利用して新しい入力に対する挙動を予測します。大規模推論モデル（LRM）にとって、この従来の方法は特に困難です。単一トークン生成の説明方法は、長い軌跡に自然に一般化せず、軌跡自体も自然言語で読んだ場合に忠実でないことが多いです。そこで、説明ステップを回避する代替案を提案します。すなわち、行動予測を学習可能なタスクとみなし、単一の推論軌跡に対して、説明から通常得られるであろう予測と同じ予測を行う「行動予測器」を訓練します。予測器の訓練データは、人間による注釈なしでLRMに問い合わせることで取得され、推論は単一のフォワードパスで行われます。このアプローチを、LRMが再実行時に回答を繰り返す可能性、および入力の一部を削除した場合に回答がどのように変化するかという2つのタスクに適用します。

arXiv cs.AI

2026年6月17日

深層ニューラルネットワーク（DNN）は、L2正則化強度の変化に伴い一次相転移を示し、各転移は新しい学習可能特徴の出現をマークします。臨界正則化強度を下回ると、すべての特徴は原理的に学習可能ですが、エネルギー障壁によって隔てられた共存するメタステーブル状態がネットワークを閉じ込め、収束を妨げる可能性があります。DNNの強みはその汎化能力にありますが、いわゆるグロッキング、すなわち長期間の過学習後の異常な、遅延した汎化の開始など、多くの未解決の問題が残っています。線形DNNにおいて、グロッキングは一次L2相転移におけるヒステリシスと一致することを示します。L2正則化を用いて意図的な閉じ込めを設計することにより、低精度のメタステーブル状態にあるモデルは、SGDノイズがエネルギー障壁を横切るまで脱出せず、脱出時間はアレニウス則に従うことを実証します。メタステーブル相への意図的な閉じ込めにより、脱出時間の2桁にわたるグロッキング様遅延収束を再現します。スパースサブサンプリングを用いることで、最終的な訓練誤差に最終的に近づくテスト誤差という、代表的なグロッキング曲線も再現します。

arXiv cs.LG

2026年6月18日

微分幾何学、リー群論、流体力学に基づき、衝撃波理論と確率的勾配降下法の対称性商化学習ダイナミクスとの間の数学的に明確な関連性を開発しました。具体的には、パラメータ対称性を商化し、局所エントロピー粗視化を適用すると、有効ダイナミクスは商多様体上の粘性ハミルトン--ヤコビ方程式を満たします。さらに、生パラメータダイナミクスが商化空間上の勾配場によって要約できると仮定すると、粗視化された損失関数の勾配はバーガース型方程式に従い、衝撃形成を厳密に確立できます。この理論を多層パーセプトロン、畳み込みニューラルネットワーク、Transformer、平均場ネットワークに適用し、それらがハミルトン--ヤコビまたはバーガース型方程式に従うことを示しました。このフレームワークは、深層学習の実用的な診断も提供すると推測しています。Transformerのようなアーキテクチャでは、生パラメータノルムは対称性冗長性によってしばしば歪められ、誤解を招く可能性がありますが、対称性補正された商観測量は、トレーニングフェーズ遷移の監視、予測、制御のための原理的な基盤を提供します。

arXiv cs.LG

2026年6月18日

強化学習（RL）によるエージェントのトレーニングにおける制約となっているのは、フロンティアタスクの供給、すなわち現在のモデルをトレーニングするのにちょうど十分な難易度で、有効かつ解けるタスクです。推論能力やエージェント能力を持つモデルが向上するにつれて、固定されたタスク分布は飽和し、単純な合成生成では、簡単すぎる、不可能、または定義が不適切なタスクが生成されます。RLを用いてタスクジェネレーターをトレーニングし、有効性と学習可能性を最適化することで、このボトルネックを解消できますが、直接的な最適化には候補ごとのソルバーの繰り返しロールアウトが必要です。ソフトウェアエンジニアリング（SWE）タスクでは、1回のロールアウトに数十分かかる場合があり、ソルバー・イン・ザ・ループのジェネレーター・トレーニングは現実的ではありません。本稿では、ターゲットとする解法率でタスクジェネレーターをトレーニングするための、ソルバー償却フレームワークであるPROPELを提案します。

arXiv cs.LG

2026年6月19日

新たな研究論文が、機械学習におけるアテンショントークンを数学的な「群要素」として捉える新しい視点を提案しています。この論文では、アテンショントークンを行列リー群の構成要素として扱い、その機能を純粋な変換として定義しています。 従来のアテンション機構では、トークンは特定の情報（特徴ペイロード）を保持したり、外部からの影響を受けたりすることが一般的でした。しかし、この新しいアプローチでは、トークンはそうした付帯情報を持たず、対象を変換する役割のみを担います。 トークンのスコア計算においても独自の手法が導入されています。通常、スコアは学習されたカーネルを用いて算出されますが、本研究では「相対ポーズの閉形式代数ノルム」という代数学的な手法を用いることで、より厳密な計算を可能にしています。この革新的な枠組みは、機械学習モデルにおけるアテンション機構の理解を深め、将来的なモデル設計に新たな可能性をもたらすかもしれません。 引用元: arXiv cs.LG

arXiv cs.LG

2026年6月19日

DeepSeek-V4シリーズのプレビュー版を発表します。このシリーズには、1.6兆パラメータ（アクティブ490億）のDeepSeek-V4-Proと、2840億パラメータ（アクティブ130億）のDeepSeek-V4-Flashという、2つの強力なMixture-of-Experts（MoE）言語モデルが含まれており、どちらも100万トークンのコンテキスト長をサポートします。DeepSeek-V4シリーズは、アーキテクチャと最適化においていくつかの重要なアップグレードを導入しています。(1) Compressed Sparse Attention (CSA)とHeavily Compressed Attention (HCA)を組み合わせたハイブリッド・アテンション・アーキテクチャにより、長コンテキストの効率を向上させます。(2) 従来のResidual Connectionを強化するManifold-Constrained Hyper-Connections (mHC)を搭載。(3) Muon Optimizerにより、より高速な収束と高い学習安定性を実現します。

arXiv cs.CL

2026年6月19日

大規模言語モデル（LLM）は多段階推論に優れているが、推論コストが大きい。本研究では、因果帰属プルーニング（CAP）を提案する。これは、推論タスクに対する因果的影響を測定することで重要なアテンションヘッドを特定し、これらのヘッドレベルのスコアを用いてきめ細やかな重みプルーニングをガイドする、トレーニング不要な手法である。CAPは、各アテンションヘッドについて、少数の推論問題のキャリブレーションセットでのフォワードパス中にヘッドをマスクした場合の期待される性能低下を推定する。これらの因果スコアは、対応する射影行列の重みレベルの重要度値に変換される。マグニチュードのみまたは活性化ベースの基準とは異なり、CAPの介入的測定は各ヘッドの機能的貢献を直接捉え、20%のスパース性でARC-ChallengeにおいてWandaと比較して最大61%の相対的な精度向上をもたらす。Llama-3-8B-InstructおよびMistral-7B-Instructを使用し、10%、20%、50%のスパース性でGSM8K、StrategyQA、ARC-ChallengeでCAPを評価した。

arXiv cs.CL

2026年6月19日

畳み込みネットワーク、再帰ネットワーク、トランスフォーマーは、それぞれ異なる帰納的バイアス（局所性、逐次メモリ、コンテンツ依存のペアワイズ相互作用）をエンコードしており、その誕生以来、数学的に区別されてきた。本研究では、この断片化は、信号の処理方法における根本的な多様性を反映するのではなく、単一の基盤となる数学的オブジェクト、すなわち学習可能な積分変換の不完全な見方であることを示す。我々は、位置と特徴の両方に依存する学習可能なカーネルを中心に構築された統一アーキテクチャ、Integral Transform Network (ITNet) を紹介する。このカーネルは、ペアワイズ相互作用をモデル化する小さなニューラルネットワーク、具体的にはMLPとして実装されており、モデルがデータからその動作を適応させることを可能にする。畳み込み、自己アテンション（マルチヘッドを含む）、自己回帰再帰（LSTM、GRU、S4、Mambaを含む）が適切なパラメータ化の下で特殊なケースとして現れること、そしてITNetが連続演算子の普遍的近似器であることを示す。

arXiv cs.AI

2026年6月19日

知識グラフ（KG）推論は、既存の事実から新しい知識を推論するもので、質問応答、レコメンデーション、意思決定支援などに広く応用されている。大規模言語モデル（LLM）の急速な発展に伴い、取得したKG情報を活用するLLMベースのKG推論フレームワークがますます人気を集めている。しかし、LLMにおけるハルシネーションは依然として重大な問題である。関連するKG知識が組み込まれていても、モデルは誤った出力を生成し、誤情報や信頼できない意思決定につながる可能性がある。既存のハルシネーション検出方法は、LLMの内部状態に焦点を当てるか、取得したコンテキストとの一貫性を検証するかのいずれかであるが、どちらもKGの構造情報を無視しており、パフォーマンスが最適でない結果となっている。このギャップに対処するため、LLMベースの知識グラフ推論フレームワークのための初のハルシネーション検出方法であるLUCIDを提案する。LUCIDは、LLMのアテンションスコア、KGセマンティクス、構造情報を共同で活用する。

arXiv cs.CL

2026年6月19日

拡散モデルは高忠実度3D MRI合成に不可欠となっているが、サンプルあたりの数百回のU-Net評価と高度に異種なカーネル動作に起因するGPUリソースの要求の大きさから、その展開は制約されている。本論文では、最先端の医療拡散モデルであるMed-DDPMについて、3世代のNVIDIAアーキテクチャを横断した包括的なパフォーマンス分析を行い、カーネルレベルのランタイムの内訳、命令ミックスの特性、メモリシステム利用率、ワープレベルのアクティビティ、プロファイラの優先度スコア推定を調査する。学習はcuDNN畳み込みおよびimplicit-GEMMカーネルによって圧倒的に支配されており、メモリアクセスパターン、テンソルレイアウト変換、およびTensor Coreの利用率の低さに起因する非効率性が生じていることを示す。

arXiv cs.LG

2026年6月20日

コンテキスト内学習（ICL）は自己回帰（AR）LLMで広く研究されているが、拡散大規模言語モデル（dLLM）におけるそのメカニズムはほとんど未解明のままである。ARモデルは単方向の因果マスキングに制約されるのに対し、dLLMは本質的に双方向アテンションを利用し、クエリ配置に広範な空間的柔軟性を提供する。しかし、現在の実践ではARスタイルの後続クエリテンプレートが慣習的に継承されており、構造的なパラダイムシフトが見過ごされがちである。本稿では、クエリ位置がdLLMにおいて実際に一次変数であることを明らかにする包括的な分析を提示する。経験的な分離を通じて、位置の変動が例のセマンティック品質と同等に生成品質に影響を与えることを実証する。内部的には、この位置的感度は、アテンションフローにおける空間的な「新近性効果」と、デコーディング軌跡におけるタスク依存的なシフトに起因する。正解ラベルなしでこの不安定性を緩和するために、従来の単一ステップ信頼度（C_decoded）がdLLMでは失敗することを明らかにする。

arXiv cs.CL

2026年6月23日

無線基盤モデルは、第6世代（6G）システム向けの再利用可能なチャネル状態情報（CSI）インテリジェンスへの道を提供する。しかし、既存の汎用バックボーン適応およびCSI事前学習手法は、CSIを伝搬条件付きチャネル応答としてではなく、タスクテンソルとして扱うことが多く、無線環境の固有の時間・周波数・空間幾何学的特性を捉えきれていない。本稿では、CSIネイティブ基盤モデルに向けたチャネル適応型ロードマップを提示し、事前学習、位置モデリング、アテンション制御を3つのチャネル要件（スケール認識型異種公開、物理的時間・周波数・アンテナ座標、相関境界トークン相互作用）に整合させる統一フレームワークを提案する。広範な実験により、提案フレームワークのゼロショット汎化（空間・時間・周波数タスク全体でNMSEを4 dB以上削減）、スケール外挿（8倍の未知アンテナスケーリング下で最大5.4 dBのゲイン）、推論効率（モビリティ認識処理を最大18.8%高速化）の3つの次元での優位性が実証された。

arXiv cs.LG

2026年6月24日

物理ニューラルネットワークは、アナログデバイスの物理特性で直接計算することで低電力機械学習を約束しますが、ほとんどのアーキテクチャでは非線形デバイス応答をスカラー重みとして強制します。コルモゴロフ＝アーノルドネットワークに着想を得て、訓練可能な非線形関数を接続に配置することで、各物理接続を学習可能な計算要素にします。これらの関数をフィールドプログラマブルアナログアレイ上のアナログバンドパスフィルターとして実現すると、その利点はタスクに依存し、物理基盤の滑らかさから生じることがわかりました。ネットワークは、ロボット工学の運動学、連続制御、太陽光発電の最大電力点追従を含む、滑らかで連続値のターゲットを、多層パーセプトロンよりもはるかに少ないノードと接続で表現しますが、分類のような決定境界ではパラメータ効率に利点はありません。訓練されたネットワークは、約35,000の接続で定量化された忠実度でハードウェアに転送され、専用のCMOS実装は約30マイクロワットで動作すると予測されています。

arXiv cs.LG

2026年6月24日

LEMURニューラルネットワークデータセットエコシステム内における、混成4エキスパート混合モデル（MoE4）アーキテクチャの大規模自動探索パイプラインを提案します。手作業で設計された混成MoE参照モデルを基盤とし、手動設計を決定論的なコードアセンブリジェネレータに置き換え、LEMURデータベースから抽出したベースアーキテクチャファミリーを体系的に組み合わせてMoE4アンサンブルを生成します。各アンサンブルは、温度スケーリング、ミックスアップ拡張、コサインアニーリング学習率スケジューリングを備えた畳み込みゲーティングネットワークによって制御されます。NVIDIA RTX 4090での28日間のキャンペーン中、パイプラインは197バッチにわたって4,463の候補モデルを生成し、そのうち1,021が正常に評価されました。キャンペーンから重要な発見がありました。itertools.combinationsによるアルファベット順列挙のため、探索された全探索空間（理論的に可能な23,751の4ファミリー組み合わせの4.8%）は単一のファミリー、AirNetに固定されています。

arXiv cs.LG

2026年6月24日

分子表面は、抗体-抗原認識を決定する幾何学的・物理化学的パターンをエンコードしており、エピトープ予測の中心となる。しかし、既存の手法は配列やバックボーン構造に依存しており、不連続な表面駆動型エピトープを捉えるのが難しい。本研究では、分子表面表現を直接扱う表面中心の学習フレームワークであるSurfBindを提案する。SurfBindは、パッチレベルの表面モデリング、バインダー認識型クロスアテンション、階層的な粗視的-微視的予測パラダイムを備えたTransformerベースのアーキテクチャを通じて、幾何学的・物理化学的手がかりを統合する。SAbDabやDB5.5などの困難なエピトープ同定ベンチマークでの実験により、SurfBindは最先端の性能を達成し、未知の抗体や構造状態に対しても強い汎化能力を示すことが証明された。これは、タンパク質-タンパク質相互作用の重要なメカニズムを理解するために、相互作用認識型の表面モデリングがいかに価値があるかを強調するものである。

arXiv cs.LG

2026年6月25日

投機的デコーディングは、マルチバッチ長文脈大規模言語モデル（LLM）の推論スループットを向上させますが、その効率は、キー・バリュー（KV）キャッシュのロードがレイテンシを支配する検証ボトルネックによってしばしば制限されます。既存の圧縮方法はこの状況では機能しません。静的除外は顕著性のシフトによる精度低下を引き起こし、動的選択は検証パス中に許容できない計算オーバーヘッドを導入します。私たちは、長文脈の投機的デコーディングのために設計されたスパース検証フレームワークであるDustinを提案します。Dustinは、ドラフトモデルからのルックアヘッド信号とターゲットモデルからの履歴アテンションを統合し、マルチステップ検証ウィンドウ全体で高忠実度で重要なトークンを特定します。再計算レイテンシを削減するために、このアプローチはさらに、アテンションヘッドの最小サブセットに重要度スコアリングを制限するスパース推定スキームを採用しています。

arXiv cs.CL

2026年6月25日

検証可能な報酬付き強化学習（RLVR）が、単一ドメインのトレーニングから、数学、プログラミング、科学にまたがるマルチドメイン推論スイートへと拡張されました。しかし、推論スキルのドメイン間での転移は不均一であるにもかかわらず、トレーニングカリキュラム（各ドメインがサンプリングされる頻度）は通常固定または手動調整されています。既存の学習可能性ベースのカリキュラムは、ポリシーが現在改善されている場所に適応しますが、選択されたドメインでの勾配ステップが残りのドメインに利益をもたらすかどうかには盲目です。本稿では、BanditスタイルのオンラインカリキュラムであるTransfer-Aware Curriculum（TAC）を提案します。これは、更新がトレーニングスイートの残りに広く利益をもたらすドメインを優先します。TACは、RLトレーニングによって既に生成されているシグナルを再利用します。

arXiv cs.AI

2026年6月26日

多くの物理的、化学的、生物学的システムの時空間的進化は、非線形偏微分方程式（PDE）によって記述されます。近年、計算コストの高い従来の数値解法に代わる効率的な手法として、深層ニューラルネットワークベースの代理モデルが注目を集めています。本研究では、注意機構を組み込んだ物理学誘導型畳み込みニューラルネットワークを代理モデルとして提案し、このようなシステムの微細構造進化を学習させます。我々は、カーン・ヒリアード方程式によって支配される二成分混合物の相分離の完全な時間進化を正確に予測するようにモデルを訓練します。訓練された代理モデルからの予測は、クリティカルおよびオフクリティカル混合物の両方に対して長期的なロールアウトでも安定かつ正確であり、進化全体を通して混合物組成を維持することを示します。また、ドメインサイズの成長を正確に捉え、リフシッツ・スリジョフのドメイン成長則と一致することも示します。予測結果は、保存則を持つ系のモデリングにおける提案フレームワークの有効性を示しており、他の複雑な動的システムにも拡張可能です。

arXiv cs.LG

2026年6月26日

世界中で頻繁に発生する洪水の迅速かつ正確な検知は、緊急対応と人的・経済的損失のタイムリーな軽減に不可欠です。衛星データの利用拡大と人工知能の進歩は環境ハザードの監視を強化していますが、光学衛星画像は雲によって隠されるため、多くの洪水イベントは検知が困難なままです。RambourらはSEN12-FLOODデータセットを導入し、ResNet-50畳み込みニューラルネットワークバックボーンを使用して画像ごとの特徴を抽出し、それらをゲート付き再帰ユニットネットワークに供給することで、単一画像ベースラインと比較して時間的情報が精度を大幅に向上させることを示しました。最近では、Chamatidisらも、ビジョントランスフォーマーが一般的な畳み込みアーキテクチャで高い性能を達成できることを示しました。しかし、これらのモデルは通常、不透明なブラックボックスとして機能するため、特にリモートセンシングのような安全性が重要視される分野では、その決定境界、学習された特徴、および内部の推論を解釈することが困難です。

arXiv cs.LG

2026年6月29日

従来のマルチヘッドアテンションでは、隠れ次元をすべてのヘッドに各層で等しく分割し、モデルの深さ全体で同一の表現部分空間次元（dh = dmodel/h）を強制していました。本研究では、この均一な割り当てを根本的な構造的ボトルネックとして特定しました。次元空間が制限されているため、初期層のヘッドは複雑で高次元の文脈パターンを忠実に捉えることができません。これを解決するため、静的で均一なヘッド構成をプログレッシブヘッドスケジューリングに置き換える新しいアーキテクチャパラダイムであるPrism Transformerを導入します。層を重ねるごとにヘッド数を単調に増加させることで、Prism Transformerは自然に局所から大域への表現階層を確立します。初期層は、より少なく例外的に幅の広いヘッドを活用して複雑な局所的構成パターンを捉える一方、深い層は多くの狭いヘッドを展開してこれらのパターンを専門的な言語的特徴に分解します。

arXiv cs.LG