タイムライン検索

2026年5月29日

拡散モデルは効率的な並列テキスト生成を約束していますが、双方向アテンションに依存しており、事前学習済みの自動回帰（AR）モデルとの構造的な不一致を生じています。この非互換性はロバストなAR事前知識の再利用を排除し、スクラッチからの禁止的な事前学習が必要になります。

arXiv cs.CL

2026年5月29日

認知圏論トランスフォーマー(CCT)は3億600万パラメータのアーキテクチャで、事前学習されたGPT-2 Smallバックボーンを圏論から導出された認知的に根拠のあるコンポーネント、および認知科学からのいくつかのインスピレーションで拡張しています。マッチドステップ・プロトコル下(215,000最適化ステップ)で...

arXiv cs.AI

2026年6月1日

大規模言語モデル（LLM）は一般的なタスクで優れたパフォーマンスを発揮していますが、高品質なドメイン固有のデータなしに特殊なドメインに適応するのに苦労しています。既存の LLM ベースのデータキュレーション方法は主に人間が設計したワークフローに依存しており、LLM が自動的に適応できるかどうかはまだ検証されていません。

arXiv cs.CL

2026年6月2日

脳波（EEG）を用いた深層学習ベースの大うつ病性障害（MDD）検出は、「小サンプルのジレンマ」によって根本的に制約されています。一般的な生成的データ拡張手法は、高い計算コストを招くだけでなく、合成ノイズの導入のリスクもあります。

arXiv cs.LG

2026年6月2日

継続事前学習（CPT）は大規模言語モデルを新しい言語に拡張する実用的な方法ですが、ナイーブなファインチューニングは壊滅的忘却を通じて既存の能力を低下させます。言語ファミリー周辺のトレーニングを組織することはクロスランゲージ干渉を減らしますが、それだけでは十分ではありません。

arXiv cs.CL

2026年6月2日

強化学習は正確な報酬関数に依存しており、ロボティクスなどの実世界アプリケーションではしばしば手作業で作成されるか利用できません。最近の研究では、事前学習済みビジョン言語モデル（VLM）の零ショット推論能力を報酬モデルとして活用することが検討されていますが、慎重な調整なしに実施することは困難です。

arXiv cs.LG

2026年6月2日

ファインチューニングはファンデーションモデルを特殊化されたダウンストリームタスクに効果的に適応させますが、事前学習中に獲得した非対象の能力を低下させる可能性があります。既存の忘却認識方法は、通常、特殊な初期化または固定制約を通じて安全な更新を求めていますが、適応の規制は行いません。

arXiv cs.LG

2026年6月4日

NvidiaのAI言語モデル「Nemotron」の事前学習を効率化する新しいデータセット生成手法が発表された。タスク指定型合成Q&A生成と呼ばれるこの技術は、特定の目的に応じて質問と回答のペアを自動で作成する仕組みである。 従来のモデル学習では、大量のテキストデータから汎用的な知識を獲得するアプローチが一般的だった。新手法は、必要なタスク機能に焦点を絞ったデータセットを生成することで、学習の無駄を削減し、モデル性能の向上を実現する狙いである。 この技術により、言語モデルの開発効率が大幅に改善される可能性が示唆されている。特に企業や研究機関が特定用途向けのAIシステムを構築する際に、より少ないリソースで高性能なモデルの構築が可能になると期待される。 大規模言語モデルの学習方法論の進化は、AI技術の実用化を加速させるうえで重要な意味を持つ。 （引用元：Hugging Face）

Hugging Face

2026年6月5日

機械学習モデルの継続学習において、新たなパラメータ効率化手法が提案された。arXiv上で発表された「TailLoR」と呼ばれるこの手法は、複数のタスクを順序立てて学習する際に、モデルの性能を維持しながら計算量を削減するアプローチである。 TailLoRの特徴は、事前学習済みモデルの重要な特性を活用する点にある。既存モデルの基本的な構造を参考基準として固定し、そこからの微調整を行う仕組みで、新しいタスク学習時に以前習得した知識の損失を抑制する。 手法の核となるのはスペクトルペナルティと呼ばれる制御機構で、モデル更新時に重要な成分への悪影響を最小化する。同時に、スペクトル分解における低ランク部分への適応可能性を確保することで、新規タスクの学習効率を損なわないよう設計されている。 この研究は、限られた計算資源で複数タスクに対応する必要があるAI応用分野での実用化が期待される。パラメータ効率性と学習性能のバランスを取る課題に対する一つの解決策として注目されている。

arXiv cs.LG

2026年6月6日

トルコ語の言語処理技術に関する研究が、自然言語処理分野で注目を集めている。トルコ語に特有の「軽動詞構文」と呼ばれる表現は、文法上は通常の動詞と目的語の組み合わせに見えながら、実際には慣用句として機能するため、従来のAI言語モデルにとって識別が困難だった。 研究では、BERTurkという専用モデルと、ChatGPTなどの大規模言語モデルの性能を比較検証した。結果として、事前学習なしのゼロショット学習では、大規模言語モデルは誤検出を抑える傾向を示したものの、対象の表現を見落とす傾向が見られた。一方、単一の例を学習するワンショット学習では検出精度が向上したが、モデルが特定のパターンに過度に反応するバイアスが生じる課題が明らかになった。 この知見は、多言語自然言語処理システムの開発や、言語特性に応じた最適なAI手法の選択に有用な情報となる見込みだ。 （arXiv cs.CL）

arXiv cs.CL

2026年6月8日

英語データで主に学習した大規模言語モデル（LLM）は豊富な世界知識を保有していますが、他言語での信頼性のある表現に失敗することが多いという言語間事実的矛盾の問題に対処するため、本研究ではPolyFactという大規模並列多言語事実的質問応答データセットを導入しました。12の言語的に多様な言語にわたり、ウィキデータに基づく100Kの事実を含みます。PolyFactを用いて、Qwen-2.5-7BとOLMo-2-1124-7Bの言語間事実的リコール性能を改善するため、軽量継続的事前学習（CPT）、教師あり微調整（SFT）、およびグループ相対方針最適化（GRPO）を比較しました。GRPOは一貫してSFTを上回り、言語間の一貫性と未見言語への汎化性能を改善しますが、並列データへのCPTは限定的な追加利得しかもたらしません。機構的分析により、GRPOはMLP層とアテンションヘッドの言語特殊化を削減することで多言語ルーティングを再編成し、より共有された言語間表現を促進することが示されました。本研究ではコード、モデル、およびデータセットを公開します。

arXiv cs.CL

2026年6月8日

大規模言語モデル（LLM）は従来、固定の深さと順序で全レイヤーを非反復的に実行して推論を行う。本研究は、訓練不要で柔軟な動的プログラム・オブ・レイヤー（PoLar）が広く存在することを明らかにする。事前学習されたレイヤーをモジュールとしてパッキングしてスキップまたはループさせ、各入力に対してカスタマイズされたプログラムを形成できる。ほとんどの入力では、大幅に短いプログラム実行で同等以上の精度を達成でき、元のLLMの誤った予測も、より少ないレイヤーを持つ別のプログラムで修正できる。これらの観察は、推論が標準的なフォワードパスを超えた複数の有効な潜在計算を認めることを示唆している。実践的にPoLarを効率的に実現するため、軽量なPoLar予測ネットワークを提案する。このネットワークは各入力に対して事前学習されたレイヤーを動的にスキップまたは繰り返す実行プログラムの生成を学習する。数学的推論ベンチマークでの実験により、PoLarは標準推論および従来の動的深さ手法と比べて一貫して精度を改善し、多くの場合より少ないレイヤーを実行することを示す。

arXiv cs.LG

2026年6月9日

効率的な設計手法として注目されるベイズ最適化（BO）が、近年、分子やタンパク質といった複雑な構造を持つ物質への応用を広げています。これは、潜在空間ベイズ最適化（LSBO）と呼ばれる技術によって可能になります。 LSBOでは、複雑な構造が抽象的な「潜在空間」に変換され、この空間内で最適な設計が探索されます。現在、データ分析の分野で高い性能を発揮している表形式基盤モデル（TabPFNやTabICLなど）が、BOの代理モデルとして利用されるケースが増加しています。 しかし、これらの基盤モデルをLSBOに適用する際には、特定の課題が存在していました。この課題に対処するため、最新の研究では、分子の構造を符号化する変分オートエンコーダ（VAE）の潜在空間で定義された合成最適化タスクを用いて、表形式基盤モデルの事前学習段階を補強する手法が提案されています。このアプローチにより、LSBOにおけるモデルの不一致が解消され、より効率的で高精度な物質設計への貢献が期待されます。 引用元: arXiv cs.LG

arXiv cs.LG

2026年6月10日

arXiv:2606.09861v1 新規発表 要旨：次トークン予測（NTP）はLLMの事前学習を統一してきたが、その応用は無限で連続的な時系列（TS）には未解決のままでした。このギャップを埋めるため、TSを離散トークンに変換するユニバーサル・トークナイザーUniTokと、これらのトークン上でNTPにより事前学習された基盤モデルUniTok-FMを提案します。UniTok-FMは、ゼロショットおよびプロンプト強化型予測、さらに訓練不要のインコンテキスト推論による少数ショット生成・分類をサポートする汎用基盤モデルであり、これは先行研究では達成されていませんでした。技術的には、UniTokはスケール安定化のためのプレフィックス正規化、エンコード・デコードのための段階的解像度因果アーキテクチャ、および学習のための構造保存型再構築損失を組み込んだベクトル量子化オートエンコーダーです。UniTok-FMは、TS固有の修正なしに市販のLLMアーキテクチャを採用しています。

arXiv cs.LG

2026年6月11日

de novoタンパク質生成は、治療薬設計、酵素工学、合成生物学において革新的な可能性を秘めています。拡散ベースおよびフローマッチングアプローチは進歩を遂げていますが、通常は単一解像度で動作し、機能的制約を組み込むメカニズムを欠いています。本稿では、3つの革新的な階層的フローマッチングフレームワークであるProHiFloを提案します。(1) 骨格構造をモデリングしてから全原子座標へと洗練させる粗視的から微視的への生成により、精度を維持しながら計算コストを削減します。(2) 事前学習済み予測器を活用した機能的ガイダンスにより、再学習なしで望ましい特性へと生成を誘導します。(3) 効率的なマルチスケール処理のための適応型SE(3)-同変アーキテクチャ。非条件付き生成、モチーフ足場構築、機能設計における実験は、4回のサンプリングステップを削減しながら、最先端のパフォーマンスを示しました。酵素活性部位の足場構築では、ProHiFloはRFDiffusionの41.2%に対し、58.9%の成功率を達成しました。

arXiv cs.LG

2026年6月12日

高輝度光科学研究センター（JASRI）の横山 優一 研究員、山神 光平 研究員、電気通信大学の住谷 祐太 氏（研究当時：博士前期課程学生）、庄野 逸 教授、熊本大学の水牧 仁一朗 教授らの研究グループは、事前学習データを用いず、短時間の科学計測データから信号成分を推定する人工知能（AI）による解析法を開発しました。

JST プレスリリース

2026年6月16日

5500億の総パラメータと550億のアクティブパラメータを持つMixture-of-ExpertsハイブリッドMamba-Attention言語モデル「Nemotron 3 Ultra」を紹介します。Nemotron 3 Ultraは20兆トークンのテキストで事前学習され、その後コンテキスト長を100万トークンに拡張し、教師ありファインチューニング（SFT）、強化学習（RL）、マルチティーチャー・オンポリシー蒸留（MOPD）を用いて事後学習されました。Nemotron 3 Ultraは、LatentMoE、マルチトークン予測（MTP）、NVFP4事前学習、マルチ環境RLVR、MOPD、推論バジェット制御といった複数の主要技術を採用した、これまでにない最も高性能なモデルです。Nemotron 3 Ultraは、最先端の公開LLMと比較して最大約6倍高い推論スループットを達成しながら、同等の精度を実現しています。最先端の精度、高い推論スループット、100万トークンのコンテキスト長により、Nemotron 3 Ultraは長期間実行される自律エージェントタスクに最適です。

arXiv cs.CL

2026年6月17日

因果関係のある有害薬物事象（ADE）を偽相関から区別することは、薬物警戒における中心的な課題です。InferBERTフレームワークは、TransformerモデルとDo-calculusを統合していますが、その成功は基盤となる分類モデルに依存します。本研究では、InferBERTにおけるモデル選択の影響を評価し、単純なモデルで十分か、ドメイン固有の事前学習が役立つか、LLMへのスケーリングが因果検出を改善するか、事後キャリブレーションの効果を検証します。分析対象は、Analgesics-induced Acute Liver Failure (AILF) と Tramadol-related Mortalities (TRAM) の2つのベンチマークです。XGBoost（ベースライン）、ALBERT（元のInferBERT）、BioBERT（生物医学Transformer）、Med-LLaMA（医療LLM）の4つのモデルを、20回の繰り返しで5分割交差検証を用いて評価しました。

arXiv cs.LG

2026年6月17日

臨床意思決定支援AIシステム（CDSAS）は、厳格な安全制約を遵守しながら、刻々と変化する患者の状態にリアルタイムで適応する必要があります。本研究では、治療効果（TE）推定、治療経過シミュレーションのための患者デジタルツイン（DT）、逐次意思決定のための強化学習（RL）を統合したオンライン適応フレームワークを提案します。AIシステムは、まず過去の医療記録で訓練され、継続的な学習ループで運用されます。安全性を確保するため、ルールベースのモジュールがバイタルサインを監視し、禁忌の治療をブロックします。内部モデルの不一致が強いケースは、臨床医のレビューのためにフラグが立てられ、実験では事前学習済みアウトカムモデルを介してシミュレートされます。本フレームワークは、合成臨床シミュレータとCancer Genome Atlas（TCGA）からの実際の卵巣がんデータセットの両方を使用して検証されます。シミュレーションおよび臨床設定の両方において、提案手法は標準的な計算ベースラインと比較して、治療法の推奨において優れた有効性と安定性を示しました。

arXiv cs.AI

2026年6月17日

人工ニューラルネットワークを基盤としたAIシステムは、人間の数学的知識の境界を押し広げるという野心を持って開発されている。これらのシステムにとって重要な課題は、学習データを超えてどこまで到達できるかである。数学的発見には、真に新しい、そして潜在的に論理的に強力な数学的構造を仮定する能力、つまり「分布外一般化」という強力な形態が必要とされる。人間の認知におけるこのような一般化を、言語能力がサポートすると仮説が立てられている。本研究では、現代のAIモデルがどのように数学的視野を広げられるかを検証するためのケーススタディとして、単純な算術を使用し、これらのモデルが独立して「ゼロ」の概念を発見できるかどうかを評価する。GPT-2サイズの言語モデルは、言語事前学習の有無にかかわらず、テスト時にこの一般化を実行できないことを示す（1）。しかし、（2）ゼロの例を数十から数百個学習させた後、モデルは大幅に改善する。さらに、言語事前学習により必要な例の数が約50%減少することも発見し、言語能力がニューラルモデルにおける数学的発見を支援できることを示している。

arXiv cs.AI

2026年6月23日

EEG認証における中心的な課題は、モデルが通常、学習された取得設定に縛られていることです。特に、ヘッドセットハードウェア、チャネルレイアウト、信号時間のばらつきは、既存のモデルが対応できない異種混合の記録を作成し、新しいヘッドセットやデータセットごとに個別のモデル開発問題として扱われる原因となります。この断片化は、マルチデータセット学習を制限し、知識移転を妨げ、モデルの再利用性を低下させます。この制限に対処するため、我々は、デュアルステージトランスフォーマーアーキテクチャを介して、可変チャネルおよび可変長のEEG記録から識別性の高い埋め込みを学習する、EEG認証のための再利用可能な基盤モデルNeuroShieldを提案します。NeuroShieldは、15,762人の被験者と28,116セッションで構成される3つの公開EEGデータセットで事前学習され、2つの未知の下流データセットで転移学習を評価しました。評価によると、ファインチューニング後、NeuroShieldは最先端技術と比較して等価エラー率を0.44〜8.06パーセントポイント削減します。

arXiv cs.LG

2026年6月23日

無線基盤モデルは、第6世代（6G）システム向けの再利用可能なチャネル状態情報（CSI）インテリジェンスへの道を提供する。しかし、既存の汎用バックボーン適応およびCSI事前学習手法は、CSIを伝搬条件付きチャネル応答としてではなく、タスクテンソルとして扱うことが多く、無線環境の固有の時間・周波数・空間幾何学的特性を捉えきれていない。本稿では、CSIネイティブ基盤モデルに向けたチャネル適応型ロードマップを提示し、事前学習、位置モデリング、アテンション制御を3つのチャネル要件（スケール認識型異種公開、物理的時間・周波数・アンテナ座標、相関境界トークン相互作用）に整合させる統一フレームワークを提案する。広範な実験により、提案フレームワークのゼロショット汎化（空間・時間・周波数タスク全体でNMSEを4 dB以上削減）、スケール外挿（8倍の未知アンテナスケーリング下で最大5.4 dBのゲイン）、推論効率（モビリティ認識処理を最大18.8%高速化）の3つの次元での優位性が実証された。

arXiv cs.LG

2026年6月24日

連鎖思考（CoT）推論を組み込んだ運転VLAモデルは、事前学習済みのVLM表現を活用し、中間的な決定を自然言語で提示するため魅力的ですが、現在の根拠は、計画された動作と因果的に関連付けられるステップバイステップの決定セマンティクスを欠いていることがよくあります。本稿では、古典的なルールベースプランナーから直接抽出されたルール根拠に基づく推論トレースで運転VLAを監視するニューロシンボリック運転フレームワーク「Neuro-Symbolic Drive」を提案します。我々の重要な発見は、ルールベースプランナーがすでに実行可能な推論エンジンとして機能するシンボリックAIシステムであるということです。それらはアクティブな安全制約について推論し、候補となる操作を探索し、最終的な軌道を選択します。我々は、シミュレーションでこれらのプランナーを計測し、実行された軌道と各ルール評価ステップでの内部決定トレースの両方をキャプチャします。各トレースは構造化されたルール根拠に基づく推論にシリアライズされ、軌道とペアになってQwen3.5-4Bを運転VLAとしてファインチューニングします。

arXiv cs.AI

2026年6月24日

グラフベースのテキスト分類モデルは、通常、局所的な近傍集約に依存し、意味的な文書グラフが強力なクラス一致クラスタリングを示すにもかかわらず、グローバルなコミュニティ構造を見落としています。これを無視すると、クラス境界が不明瞭になり、過度の平滑化につながる可能性があります。本稿では、クロスエントロピーとモジュラリティベースの補助目的を共同で最適化し、クラスに一致する文書コミュニティを促進すると同時に、識別表現を維持する、テキスト分類のためのモジュラリティを考慮したグラフニューラルネットワークであるModTGCNを提案します。モジュラリティ項は、トランスフォーマー埋め込み（事前学習済みまたはファインチューニング済み）から派生した文書間類似性グラフで計算されます。スケーラビリティを向上させるために、元の異種TextGCNグラフを文書-単語および単語-単語の個別のコンポーネントに分離し、トレーニング速度を2倍から10倍向上させました。さらに、モジュラリティ最適化のためのグラフ構築戦略、ラベルを意識したエッジ再重み付け、および監視の選択について研究します。

arXiv cs.CL

2026年6月25日

言語モデルの学習過程で、一度獲得したルールが失われる現象が確認されました。 研究によると、比較的小さな言語モデルは、学習の初期段階で代名詞や性別に関するルールを習得するものの、学習が進むにつれてこれらのルールを忘れてしまうことが分かりました。興味深いのは、ルールが失われた後も、モデルの性能を示す損失曲線には顕著な変化が見られない点です。 このルールの消失は、訓練データの中にそのルールがどれだけ頻繁に出現するかによって予測できることが示唆されています。つまり、特定のルールがデータ中に少ない場合、モデルはそれを早期に学習しても、後続の学習で他の情報に埋もれてしまい、結果的に失われてしまう可能性が高いと考えられます。この発見は、言語モデルの学習メカニズムの理解を深める上で重要な示唆を与えています。 arXiv cs.CL

arXiv cs.CL

2026年6月25日

分散型エネルギーリソース（DER）の統合が進むことは、電力システムの脱炭素化に不可欠ですが、DERの柔軟性を最大限に引き出すことは、その固有の不確実性とモデリングの複雑さによって課題となっています。従来の最適化手法がDERの不確実性と複雑性に対処するのに苦労する中、強化学習（RL）がDER管理の有望な代替手段として登場しました。しかし、標準的なRL手法は、ゼロから学習する場合、サンプル効率が悪く、最適ではないという問題を抱えています。本稿では、大規模言語モデルの学習パラダイムに着想を得て、DER協調ポリシー学習のための教師あり強化学習（SRL）フレームワークを提案します。このフレームワークは、まず教師あり学習の方式でデモンストレーションデータ上でポリシーを事前学習し、その後RLを用いてさらにファインチューニングします。さらに、ポリシー性能向上ためのオフラインファインチューニングと、実世界のダイナミクスへの適応のためのオンラインファインチューニングという、2段階のファインチューニングプロセスを提案します。

arXiv cs.LG

2026年7月2日

Transformerは、次トークン予測と将来予測のための状態保存を同じ計算ストリームで行っている。本研究では、これらを分離する「状態予測分離仮説」を提唱。2つの計算ストリームを持つTransformer変種を設計し、事前学習実験を行った。実験の結果、状態予測の分離はデータと計算効率を向上させ、下流タスクで標準Transformerを平均2～3%上回った。

arXiv cs.LG

2026年7月8日

IWSLT 2026共有タスク（制約条件、短い音声トラック）のため、NAVER LABSのIWSLT 2025指示追従パイプラインを再実装しました。必須コンポーネントであるSeamlessM4T-v2-largeを音声エンコーダー、Qwen3-4B-InstructをLLMバックボーンとして採用しています。プロジェクターアライメント、テキストのみのLoRA事前学習、マルチモーダルマージという3段階アプローチは、元の設計から踏襲しています。さらに、提供されたコーパスから10種類の音声中心タスクタイプ（各1万件）にわたる10万件の合成指示追従例を構築し、ステージ3のファインチューニングに適したものとしました。主要モデルは、MCIFベンチマークにおいてEN-ZH音声翻訳でCOMET 0.781、英語SQAでBERTScore-F1 0.346を達成しました。

arXiv cs.CL

2026年7月8日

多くの全原子生成タンパク質モデルは、原則として全ての鎖を共同でモデリングすることにより、大きな多量体複合体を設計できます。しかし、トークンと原子ペアの二次表現は、鎖とモデリングされる残基の数が増加するにつれて、単一GPUのメモリをすぐに超えてしまいます。本稿では、RFdiffusion 3のための2つのコンテキスト並列（CP）推論戦略（1D行シャーディングとリングアテンションを用いた2Dグリッドシャーディング）であるDesign-CPを導入します。これにより、事前学習済み重みを保持しながら、二次アクティベーションをマルチGPUメッシュ全体に分散させます。20面体アセンブリをサンプリングする際のスケーリングを特徴づけ、最大許容可能な非対称サブユニット（ASU）サイズがGPU数の期待される平方根トレンドで増加し、2Dシャーディングがより優れたウォールクロックスケーリングを達成することを示します。さらに、強力な点群対称性制約が、20面体ナノ粒子のエンドツーエンド、全原子設計のためにCPをすぐに利用可能にすることを示し、好ましいインシリコ構造およびインターフェースメトリクスをもたらします。

arXiv cs.LG

2026年7月9日

顧客行動モデリングは、レコメンデーション、マーケティング、意思決定支援の基盤となりますが、既存のアプローチは、決定を説明せずに予測精度を最適化するか、実際の行動データに根拠を持たせずにユーザーをシミュレーションするかのいずれかです。本稿では、大規模な小売取引データから、統合された「人物・環境」フォーミュレーションを通じて、顧客の意思決定を直接学習する大規模行動モデル（LBM）を提案します。顧客の状態は、過去の購入履歴から導き出される行動プロファイルによって表現され、製品コンテキストは、検索拡張生成（Retrieval-Augmented Generation）によって組み込まれます。このモデルは、言語化された行動データに対する継続的な事前学習、意思決定生成のための教師ありファインチューニング、そして証拠に基づくキャリブレーションのための検証可能な報酬を用いた強化学習によって訓練されます。提案されたフレームワークを、購入予測、ハードネガティブ識別、バスケット補完、プロモーション反応、ドメイン間バウチャー交換の各タスクで評価します。

arXiv cs.AI