タイムライン検索

2026年5月29日

本論文では、ニューラルネットワークの訓練をハミルトン・ヤコビ初期値問題の探索として正確に特定している。各勾配ステップは粘性ハミルトン・ヤコビ方程式の初期データを選択し、その Hopf-Cole 伝播子が観測データに最も適合する。推論時には、入力は空間領域である。

arXiv cs.LG

2026年6月1日

arXiv:2605.30486v1 センサーグラフ上の時空間予測は通常、すべてのノードに均一に適用される単一のバックボーン構造で対処されるが、グラフ領域は異なるダイナミクスを示す可能性がある。道路セグメントは機能的分類、構造、交通行動が異なることから、ノード単位の専門家の活用が推奨される。

arXiv cs.LG

2026年6月1日

arXiv:2605.30470v1 Graph Machine Learning as a Service（GMLaaS）プラットフォームは、規制上の透明性要件を満たすために説明可能性インターフェースを実装することが増えています。しかし、この透明性はモデル抽出攻撃の悪用可能な脆弱性を生み出します。本論は、特にサブグラフ説明を対象とした初のモデル抽出攻撃を提示しています。

arXiv cs.LG

2026年6月1日

arXiv:2605.30556v1 発表タイプ：新規 要旨：ランダムで未訓練のニューラルネットワークは、初期視覚皮質への表現類似性において、訓練されたネットワークと一貫して同等以上の性能を示す。この驚くべき知見は、学習が脳アラインメントを改善するという仮定に異議を唱えている。我々は表現類似性分析（RSA）アラインメントを追跡することで調査する。

arXiv cs.LG

2026年6月1日

本論文は、LLMの文脈における深いニューラルネットワークの代替案を検証することを目的としている。最近、中国の研究者たちがRBFネットワークというモデルに大きな関心を示しており、標準的なDNNの代替として、より高い解釈可能性と精度の向上が期待されている。

arXiv cs.LG

2026年6月2日

自動微分可能非線形テンソルネットワーク（ADNTN）を研究します。これはコンパクトなコアテンソルが逆モード自動微分（AD）によってエンドツーエンドで訓練される構造化重み生成器の一族です。このアプローチは低ランク適応とテンソル因数分解の自然な拡張と見なすことができます。

arXiv cs.LG

2026年6月2日

arXiv:2606.00045v1発表タイプ：新規 抄録：古典的な連続空間ニューラルネットワークは、モジュロ演算や非可換代数などの厳密な数学的対称性にロックインするのに本質的に苦労している。これらの離散的な論理規則を近似するために、しばしば膨大なパラメータスケーリングに頼り、その後でも確率的不安定性をもたらす。

arXiv cs.AI

2026年6月2日

量子化はデータセット、ニューラルネットワーク重み、および様々な計算タスクのメモリ使用量を圧縮するための基本的なツールです。ベクトル量子化の多くの下流アプリケーションは任意の入力との内積を実行します。これにより内積対応量子化スキームの研究が動機づけられます。

arXiv cs.LG

2026年6月8日

本書は、深層学習、特に生成モデルの時代において、大規模な生成モデルの訓練に多大な投資がなされている現状に対して、これらの「ブラックボックス」を理解することを目指している。深層ネットワークの内部メカニズムは不透明であり、解釈可能性、信頼性、制御の困難さにつながっている。本書は表現学習の観点から大規模深層ネットワークのメカニズムを解明することで、このブラックボックスを開こうとする試みである。表現学習は深層学習モデルの経験的力の重要な要因である。本書では、最適化と情報理論を通じてモダンなニューラルネットワークアーキテクチャの設計原理を説明し、アーキテクチャ開発を「錬金術」から大学初級レベルの線形代数と微積分の問題に還元する。また、これらの原理を応用して、効率的で解釈可能かつ制御可能でありながら、ブラックボックスモデルと同等かそれ以上の性能を持つ新しい手法とモデルを得ることについても論じ、深層学習の今後の方向性と表現学習の役割を探求する。

arXiv cs.LG

2026年6月8日

株式会社Synspective（シンスペクティブ）は2026年6月8日、小型SAR（合成開口レーダー）衛星「StriX（ストリクス）」シリーズ10機目の打ち上げ予定を発表しました。 打ち上げは日本時間2026年6月18日…

sorae

2026年6月11日

arXiv:2606.11258v1 発表タイプ: new 要旨：反応拡散システムの勾配ベース逆問題は、通常、サロゲートモデルまたは物理情報ニューラルネットワーク（PINN）を介してアプローチされますが、最も直接的な経路であるPDE構造自体のバックプロパゲーションは、ほとんど回避されてきました。私たちは、この直接的な経路を診断プローブとして追求し、定常状態の損失をアンロールされたグレイ・スコットシミュレーションを通じてバックプロパゲートして、パラメータを回復させます。サロゲートやニューラルネットワークの追加はありません。最適化は収束に失敗し、損失ランドスケープを直接プロットすることで、その幾何学的形状における失敗が特定されます -- 勾配信号のない平坦なプラトーと、分岐境界に整列する鋭い崖によって区切られています -- これは、損失関数全体で繰り返され、勾配がパラメータにどのようにルーティングされても引き継がれる構造です。

arXiv cs.LG

2026年6月16日

自動運転システムは、安全かつ効率的な移動計画のために正確な軌跡予測に依存しています。グラフニューラルネットワーク（GNN）は、道路上のエージェント間の時空間的インタラクションをモデリングするための有望なアプローチとなっています。しかし、軌跡予測のためのGNNアーキテクチャの設計は標準化されておらず、どのグラフ層が空間的インタラクションと時間的ダイナミクスを効果的に捉えられるかについてのガイダンスはほとんどありません。本稿では、19種類のグラフ層について、軌跡予測に最も効果的なアーキテクチャを発見するために、それらの空間的および時間的処理能力に焦点を当てた詳細な比較研究を提供します。探索されたハイパーパラメータ設定内で、ARMA、Chebyshev、およびトポロジー認識層が他の層よりも一貫して優れたパフォーマンスを示し、5つの際立った層の組み合わせを強調します。

arXiv cs.LG

2026年6月16日

記憶形成は知能の根幹をなすが、ディープニューラルネットワークが生物学的記憶単位に類似した識別可能な記憶痕跡を保持するかどうかは未解決の問題である。本研究では、特異性、再活性化、十分性、必要性という神経科学的基準を制約付き逆問題として形式化することにより、そのような「AIエングラム」を識別するための幾何学的フレームワークを導入する。グローバルに絡み合ったパラメータから個々の記憶痕跡を分離する閉形式推定器を導出し、この生物学的に導出された解がパラメータ多様体上の自然勾配更新に対応することを示す。AIエングラムは、学習済み知識の外科的操作を可能にする。反復最適化なしに、線形算術演算によって任意のサブセットの記憶を合成または消去できる。単純なMLPからLLMに至るまでの実験は、AIエングラムの因果的妥当性と実質的なスケーラビリティを実証する。これらの結果は、生物学的記憶の理論と人工表現学習の間の橋渡しをし、ディープネットワークが分散ストレージ内で機能的特異性を同時にどのようにサポートするかについての幾何学的洞察を提供する。

arXiv cs.AI

2026年6月17日

人工ニューラルネットワークを基盤としたAIシステムは、人間の数学的知識の境界を押し広げるという野心を持って開発されている。これらのシステムにとって重要な課題は、学習データを超えてどこまで到達できるかである。数学的発見には、真に新しい、そして潜在的に論理的に強力な数学的構造を仮定する能力、つまり「分布外一般化」という強力な形態が必要とされる。人間の認知におけるこのような一般化を、言語能力がサポートすると仮説が立てられている。本研究では、現代のAIモデルがどのように数学的視野を広げられるかを検証するためのケーススタディとして、単純な算術を使用し、これらのモデルが独立して「ゼロ」の概念を発見できるかどうかを評価する。GPT-2サイズの言語モデルは、言語事前学習の有無にかかわらず、テスト時にこの一般化を実行できないことを示す（1）。しかし、（2）ゼロの例を数十から数百個学習させた後、モデルは大幅に改善する。さらに、言語事前学習により必要な例の数が約50%減少することも発見し、言語能力がニューラルモデルにおける数学的発見を支援できることを示している。

arXiv cs.AI

2026年6月17日

深層ニューラルネットワーク（DNN）は、L2正則化強度の変化に伴い一次相転移を示し、各転移は新しい学習可能特徴の出現をマークします。臨界正則化強度を下回ると、すべての特徴は原理的に学習可能ですが、エネルギー障壁によって隔てられた共存するメタステーブル状態がネットワークを閉じ込め、収束を妨げる可能性があります。DNNの強みはその汎化能力にありますが、いわゆるグロッキング、すなわち長期間の過学習後の異常な、遅延した汎化の開始など、多くの未解決の問題が残っています。線形DNNにおいて、グロッキングは一次L2相転移におけるヒステリシスと一致することを示します。L2正則化を用いて意図的な閉じ込めを設計することにより、低精度のメタステーブル状態にあるモデルは、SGDノイズがエネルギー障壁を横切るまで脱出せず、脱出時間はアレニウス則に従うことを実証します。メタステーブル相への意図的な閉じ込めにより、脱出時間の2桁にわたるグロッキング様遅延収束を再現します。スパースサブサンプリングを用いることで、最終的な訓練誤差に最終的に近づくテスト誤差という、代表的なグロッキング曲線も再現します。

arXiv cs.LG

2026年6月18日

微分幾何学、リー群論、流体力学に基づき、衝撃波理論と確率的勾配降下法の対称性商化学習ダイナミクスとの間の数学的に明確な関連性を開発しました。具体的には、パラメータ対称性を商化し、局所エントロピー粗視化を適用すると、有効ダイナミクスは商多様体上の粘性ハミルトン--ヤコビ方程式を満たします。さらに、生パラメータダイナミクスが商化空間上の勾配場によって要約できると仮定すると、粗視化された損失関数の勾配はバーガース型方程式に従い、衝撃形成を厳密に確立できます。この理論を多層パーセプトロン、畳み込みニューラルネットワーク、Transformer、平均場ネットワークに適用し、それらがハミルトン--ヤコビまたはバーガース型方程式に従うことを示しました。このフレームワークは、深層学習の実用的な診断も提供すると推測しています。Transformerのようなアーキテクチャでは、生パラメータノルムは対称性冗長性によってしばしば歪められ、誤解を招く可能性がありますが、対称性補正された商観測量は、トレーニングフェーズ遷移の監視、予測、制御のための原理的な基盤を提供します。

arXiv cs.LG

2026年6月19日

畳み込みネットワーク、再帰ネットワーク、トランスフォーマーは、それぞれ異なる帰納的バイアス（局所性、逐次メモリ、コンテンツ依存のペアワイズ相互作用）をエンコードしており、その誕生以来、数学的に区別されてきた。本研究では、この断片化は、信号の処理方法における根本的な多様性を反映するのではなく、単一の基盤となる数学的オブジェクト、すなわち学習可能な積分変換の不完全な見方であることを示す。我々は、位置と特徴の両方に依存する学習可能なカーネルを中心に構築された統一アーキテクチャ、Integral Transform Network (ITNet) を紹介する。このカーネルは、ペアワイズ相互作用をモデル化する小さなニューラルネットワーク、具体的にはMLPとして実装されており、モデルがデータからその動作を適応させることを可能にする。畳み込み、自己アテンション（マルチヘッドを含む）、自己回帰再帰（LSTM、GRU、S4、Mambaを含む）が適切なパラメータ化の下で特殊なケースとして現れること、そしてITNetが連続演算子の普遍的近似器であることを示す。

arXiv cs.AI

2026年6月23日

説明可能な人工知能（Explainable Artificial Intelligence）は、モデルの出力につながる要素を人間が理解できる方法で提示することにより、ブラックボックスモデルへの信頼性を高めることを目指しています。これには、（i）出力に対する真の因果的影響を持つコンポーネントと接続の特定、（ii）そのような構造の解釈可能な表現への変換の両方が含まれます。前者については、グラフニューラルネットワーク（GNN）を説明するための因果推論に基づいた新しい摂動ベースの方法であるCIExplainerを導入します。CIExplainerは、潜在的結果フレームワークを用いて、GNN予測に対する因果的影響が最も大きいサブグラフを特定します。CIExplainerをさまざまなGNNアーキテクチャ（GCN、GraphSAGE、GAT、GIN）とデータセットで評価・比較します。サブグラフの説明と人間の解釈可能性を橋渡しするために、さらに、特徴レベルと関係性の両方の情報を取り込んだ自然言語の説明に因果サブグラフを変換するG2TeXplainerという手法を提案します。

arXiv cs.LG

2026年6月24日

物理ニューラルネットワークは、アナログデバイスの物理特性で直接計算することで低電力機械学習を約束しますが、ほとんどのアーキテクチャでは非線形デバイス応答をスカラー重みとして強制します。コルモゴロフ＝アーノルドネットワークに着想を得て、訓練可能な非線形関数を接続に配置することで、各物理接続を学習可能な計算要素にします。これらの関数をフィールドプログラマブルアナログアレイ上のアナログバンドパスフィルターとして実現すると、その利点はタスクに依存し、物理基盤の滑らかさから生じることがわかりました。ネットワークは、ロボット工学の運動学、連続制御、太陽光発電の最大電力点追従を含む、滑らかで連続値のターゲットを、多層パーセプトロンよりもはるかに少ないノードと接続で表現しますが、分類のような決定境界ではパラメータ効率に利点はありません。訓練されたネットワークは、約35,000の接続で定量化された忠実度でハードウェアに転送され、専用のCMOS実装は約30マイクロワットで動作すると予測されています。

arXiv cs.LG

2026年6月24日

グラフベースのテキスト分類モデルは、通常、局所的な近傍集約に依存し、意味的な文書グラフが強力なクラス一致クラスタリングを示すにもかかわらず、グローバルなコミュニティ構造を見落としています。これを無視すると、クラス境界が不明瞭になり、過度の平滑化につながる可能性があります。本稿では、クロスエントロピーとモジュラリティベースの補助目的を共同で最適化し、クラスに一致する文書コミュニティを促進すると同時に、識別表現を維持する、テキスト分類のためのモジュラリティを考慮したグラフニューラルネットワークであるModTGCNを提案します。モジュラリティ項は、トランスフォーマー埋め込み（事前学習済みまたはファインチューニング済み）から派生した文書間類似性グラフで計算されます。スケーラビリティを向上させるために、元の異種TextGCNグラフを文書-単語および単語-単語の個別のコンポーネントに分離し、トレーニング速度を2倍から10倍向上させました。さらに、モジュラリティ最適化のためのグラフ構築戦略、ラベルを意識したエッジ再重み付け、および監視の選択について研究します。

arXiv cs.CL

2026年6月24日

LEMURニューラルネットワークデータセットエコシステム内における、混成4エキスパート混合モデル（MoE4）アーキテクチャの大規模自動探索パイプラインを提案します。手作業で設計された混成MoE参照モデルを基盤とし、手動設計を決定論的なコードアセンブリジェネレータに置き換え、LEMURデータベースから抽出したベースアーキテクチャファミリーを体系的に組み合わせてMoE4アンサンブルを生成します。各アンサンブルは、温度スケーリング、ミックスアップ拡張、コサインアニーリング学習率スケジューリングを備えた畳み込みゲーティングネットワークによって制御されます。NVIDIA RTX 4090での28日間のキャンペーン中、パイプラインは197バッチにわたって4,463の候補モデルを生成し、そのうち1,021が正常に評価されました。キャンペーンから重要な発見がありました。itertools.combinationsによるアルファベット順列挙のため、探索された全探索空間（理論的に可能な23,751の4ファミリー組み合わせの4.8%）は単一のファミリー、AirNetに固定されています。

arXiv cs.LG

2026年6月25日

自動音声認識（ASR）システムは、全体的な単語誤り率は低いものの、固有表現、否定、感情表現などの意味的に重要なトークンに不均衡に影響を与える残存する語彙的誤りを生成します。これらの誤りは、ランダムなノイズではなく音韻的な類似性から生じる構造的なものであることが多く、単純なトークンレベルの訂正では不十分です。本稿では、音韻グラフモデリングと文脈言語理解を組み合わせた、G-SPINと呼ぶ構造化ASR訂正フレームワークを提案します。まず、グラフニューラルネットワーク（GNN）が、フラグ付けされたトークンに対して音響的に妥当な候補近傍を構築し、訂正検索空間を音韻的代替案に明示的に制限します。次に、マスク言語モデル（MLM）がローカルな文脈スコアリングを提供し、指示チューニングされた大規模言語モデル（LLM）が、このコンパクトな候補セットに対して最終的な文脈認識再ランキングを実行します。構造化された音韻的推論と文脈意味的選択を分離することにより、本手法は制約のない生成を回避しつつ、訂正精度を向上させます。このフレームワークは軽量でモジュール化されており、推論時に完全に動作します。

arXiv cs.CL

2026年6月25日

本稿は、センサーで取得されたリアルタイムデータを分析するための最適な小型ニューラルアーキテクチャを見つけるために、デプロイメントデバイス上で軽量なニューラルアーキテクチャ探索（NAS）を実行する、センサー近傍コンピューティングの新しいアプローチを提案する。この新しい適応能力は、ユーザーが変わるたびに、ガイド付きデータ収集手順の後、生体データを分析するニューラルネットワークを再設計できるヒューマンマシンインターフェースの場合に特に役立ち、個人間の典型的なデータ変動により高度に対処できる。提案アプローチを実装するため、新しいNASが設計され、イタリア手話データセット（ISL）、イタリアアルファベットのサインの表面筋電図（sEMG）信号のコレクション、複数の組み込みシステムを使用して検証された。さらに、インテリジェント故障診断のベンチマークであるCase Western Reserve Universityデータセット（CWRU）でのさらなる検証も提示され、提案アプローチの別の可能な応用を示唆している。

arXiv cs.LG

2026年6月26日

世界中で頻繁に発生する洪水の迅速かつ正確な検知は、緊急対応と人的・経済的損失のタイムリーな軽減に不可欠です。衛星データの利用拡大と人工知能の進歩は環境ハザードの監視を強化していますが、光学衛星画像は雲によって隠されるため、多くの洪水イベントは検知が困難なままです。RambourらはSEN12-FLOODデータセットを導入し、ResNet-50畳み込みニューラルネットワークバックボーンを使用して画像ごとの特徴を抽出し、それらをゲート付き再帰ユニットネットワークに供給することで、単一画像ベースラインと比較して時間的情報が精度を大幅に向上させることを示しました。最近では、Chamatidisらも、ビジョントランスフォーマーが一般的な畳み込みアーキテクチャで高い性能を達成できることを示しました。しかし、これらのモデルは通常、不透明なブラックボックスとして機能するため、特にリモートセンシングのような安全性が重要視される分野では、その決定境界、学習された特徴、および内部の推論を解釈することが困難です。

arXiv cs.LG