タイムライン検索

2026年5月29日

本論文では、ニューラルネットワークの訓練をハミルトン・ヤコビ初期値問題の探索として正確に特定している。各勾配ステップは粘性ハミルトン・ヤコビ方程式の初期データを選択し、その Hopf-Cole 伝播子が観測データに最も適合する。推論時には、入力は空間領域である。

arXiv cs.LG

2026年6月1日

arXiv:2605.30486v1 センサーグラフ上の時空間予測は通常、すべてのノードに均一に適用される単一のバックボーン構造で対処されるが、グラフ領域は異なるダイナミクスを示す可能性がある。道路セグメントは機能的分類、構造、交通行動が異なることから、ノード単位の専門家の活用が推奨される。

arXiv cs.LG

2026年6月1日

本論文は、LLMの文脈における深いニューラルネットワークの代替案を検証することを目的としている。最近、中国の研究者たちがRBFネットワークというモデルに大きな関心を示しており、標準的なDNNの代替として、より高い解釈可能性と精度の向上が期待されている。

arXiv cs.LG

2026年6月1日

arXiv:2605.30470v1 Graph Machine Learning as a Service（GMLaaS）プラットフォームは、規制上の透明性要件を満たすために説明可能性インターフェースを実装することが増えています。しかし、この透明性はモデル抽出攻撃の悪用可能な脆弱性を生み出します。本論は、特にサブグラフ説明を対象とした初のモデル抽出攻撃を提示しています。

arXiv cs.LG

2026年6月1日

arXiv:2605.30556v1 発表タイプ：新規 要旨：ランダムで未訓練のニューラルネットワークは、初期視覚皮質への表現類似性において、訓練されたネットワークと一貫して同等以上の性能を示す。この驚くべき知見は、学習が脳アラインメントを改善するという仮定に異議を唱えている。我々は表現類似性分析（RSA）アラインメントを追跡することで調査する。

arXiv cs.LG

2026年6月2日

量子化はデータセット、ニューラルネットワーク重み、および様々な計算タスクのメモリ使用量を圧縮するための基本的なツールです。ベクトル量子化の多くの下流アプリケーションは任意の入力との内積を実行します。これにより内積対応量子化スキームの研究が動機づけられます。

arXiv cs.LG

2026年6月2日

arXiv:2606.00045v1発表タイプ：新規 抄録：古典的な連続空間ニューラルネットワークは、モジュロ演算や非可換代数などの厳密な数学的対称性にロックインするのに本質的に苦労している。これらの離散的な論理規則を近似するために、しばしば膨大なパラメータスケーリングに頼り、その後でも確率的不安定性をもたらす。

arXiv cs.AI

2026年6月2日

グロッキング（神経ネットワークが訓練データに適合した後に長時間にわたって汎化する現象）は、多くのエポックでの教師あり設定において研究されています。LLM学習前段階は代わりにラベルなしコーパス上の次トークン予測に関与し、データ反復が限定的で明示的な訓練/検証分割がない状況です。

arXiv cs.LG

2026年6月2日

自動微分可能非線形テンソルネットワーク（ADNTN）を研究します。これはコンパクトなコアテンソルが逆モード自動微分（AD）によってエンドツーエンドで訓練される構造化重み生成器の一族です。このアプローチは低ランク適応とテンソル因数分解の自然な拡張と見なすことができます。

arXiv cs.LG

2026年6月8日

本書は、深層学習、特に生成モデルの時代において、大規模な生成モデルの訓練に多大な投資がなされている現状に対して、これらの「ブラックボックス」を理解することを目指している。深層ネットワークの内部メカニズムは不透明であり、解釈可能性、信頼性、制御の困難さにつながっている。本書は表現学習の観点から大規模深層ネットワークのメカニズムを解明することで、このブラックボックスを開こうとする試みである。表現学習は深層学習モデルの経験的力の重要な要因である。本書では、最適化と情報理論を通じてモダンなニューラルネットワークアーキテクチャの設計原理を説明し、アーキテクチャ開発を「錬金術」から大学初級レベルの線形代数と微積分の問題に還元する。また、これらの原理を応用して、効率的で解釈可能かつ制御可能でありながら、ブラックボックスモデルと同等かそれ以上の性能を持つ新しい手法とモデルを得ることについても論じ、深層学習の今後の方向性と表現学習の役割を探求する。

arXiv cs.LG

2026年6月11日

arXiv:2606.11258v1 発表タイプ: new 要旨：反応拡散システムの勾配ベース逆問題は、通常、サロゲートモデルまたは物理情報ニューラルネットワーク（PINN）を介してアプローチされますが、最も直接的な経路であるPDE構造自体のバックプロパゲーションは、ほとんど回避されてきました。私たちは、この直接的な経路を診断プローブとして追求し、定常状態の損失をアンロールされたグレイ・スコットシミュレーションを通じてバックプロパゲートして、パラメータを回復させます。サロゲートやニューラルネットワークの追加はありません。最適化は収束に失敗し、損失ランドスケープを直接プロットすることで、その幾何学的形状における失敗が特定されます -- 勾配信号のない平坦なプラトーと、分岐境界に整列する鋭い崖によって区切られています -- これは、損失関数全体で繰り返され、勾配がパラメータにどのようにルーティングされても引き継がれる構造です。

arXiv cs.LG

2026年6月16日

記憶形成は知能の根幹をなすが、ディープニューラルネットワークが生物学的記憶単位に類似した識別可能な記憶痕跡を保持するかどうかは未解決の問題である。本研究では、特異性、再活性化、十分性、必要性という神経科学的基準を制約付き逆問題として形式化することにより、そのような「AIエングラム」を識別するための幾何学的フレームワークを導入する。グローバルに絡み合ったパラメータから個々の記憶痕跡を分離する閉形式推定器を導出し、この生物学的に導出された解がパラメータ多様体上の自然勾配更新に対応することを示す。AIエングラムは、学習済み知識の外科的操作を可能にする。反復最適化なしに、線形算術演算によって任意のサブセットの記憶を合成または消去できる。単純なMLPからLLMに至るまでの実験は、AIエングラムの因果的妥当性と実質的なスケーラビリティを実証する。これらの結果は、生物学的記憶の理論と人工表現学習の間の橋渡しをし、ディープネットワークが分散ストレージ内で機能的特異性を同時にどのようにサポートするかについての幾何学的洞察を提供する。

arXiv cs.AI

2026年6月16日

自動運転システムは、安全かつ効率的な移動計画のために正確な軌跡予測に依存しています。グラフニューラルネットワーク（GNN）は、道路上のエージェント間の時空間的インタラクションをモデリングするための有望なアプローチとなっています。しかし、軌跡予測のためのGNNアーキテクチャの設計は標準化されておらず、どのグラフ層が空間的インタラクションと時間的ダイナミクスを効果的に捉えられるかについてのガイダンスはほとんどありません。本稿では、19種類のグラフ層について、軌跡予測に最も効果的なアーキテクチャを発見するために、それらの空間的および時間的処理能力に焦点を当てた詳細な比較研究を提供します。探索されたハイパーパラメータ設定内で、ARMA、Chebyshev、およびトポロジー認識層が他の層よりも一貫して優れたパフォーマンスを示し、5つの際立った層の組み合わせを強調します。

arXiv cs.LG

2026年6月17日

人工ニューラルネットワークを基盤としたAIシステムは、人間の数学的知識の境界を押し広げるという野心を持って開発されている。これらのシステムにとって重要な課題は、学習データを超えてどこまで到達できるかである。数学的発見には、真に新しい、そして潜在的に論理的に強力な数学的構造を仮定する能力、つまり「分布外一般化」という強力な形態が必要とされる。人間の認知におけるこのような一般化を、言語能力がサポートすると仮説が立てられている。本研究では、現代のAIモデルがどのように数学的視野を広げられるかを検証するためのケーススタディとして、単純な算術を使用し、これらのモデルが独立して「ゼロ」の概念を発見できるかどうかを評価する。GPT-2サイズの言語モデルは、言語事前学習の有無にかかわらず、テスト時にこの一般化を実行できないことを示す（1）。しかし、（2）ゼロの例を数十から数百個学習させた後、モデルは大幅に改善する。さらに、言語事前学習により必要な例の数が約50%減少することも発見し、言語能力がニューラルモデルにおける数学的発見を支援できることを示している。

arXiv cs.AI

2026年6月17日

深層ニューラルネットワーク（DNN）は、L2正則化強度の変化に伴い一次相転移を示し、各転移は新しい学習可能特徴の出現をマークします。臨界正則化強度を下回ると、すべての特徴は原理的に学習可能ですが、エネルギー障壁によって隔てられた共存するメタステーブル状態がネットワークを閉じ込め、収束を妨げる可能性があります。DNNの強みはその汎化能力にありますが、いわゆるグロッキング、すなわち長期間の過学習後の異常な、遅延した汎化の開始など、多くの未解決の問題が残っています。線形DNNにおいて、グロッキングは一次L2相転移におけるヒステリシスと一致することを示します。L2正則化を用いて意図的な閉じ込めを設計することにより、低精度のメタステーブル状態にあるモデルは、SGDノイズがエネルギー障壁を横切るまで脱出せず、脱出時間はアレニウス則に従うことを実証します。メタステーブル相への意図的な閉じ込めにより、脱出時間の2桁にわたるグロッキング様遅延収束を再現します。スパースサブサンプリングを用いることで、最終的な訓練誤差に最終的に近づくテスト誤差という、代表的なグロッキング曲線も再現します。

arXiv cs.LG