タイムライン検索

2026年5月29日

拡散モデルは効率的な並列テキスト生成を約束していますが、双方向アテンションに依存しており、事前学習済みの自動回帰（AR）モデルとの構造的な不一致を生じています。この非互換性はロバストなAR事前知識の再利用を排除し、スクラッチからの禁止的な事前学習が必要になります。

arXiv cs.CL

2026年5月29日

認知圏論トランスフォーマー(CCT)は3億600万パラメータのアーキテクチャで、事前学習されたGPT-2 Smallバックボーンを圏論から導出された認知的に根拠のあるコンポーネント、および認知科学からのいくつかのインスピレーションで拡張しています。マッチドステップ・プロトコル下(215,000最適化ステップ)で...

arXiv cs.AI

2026年6月2日

ファインチューニングはファンデーションモデルを特殊化されたダウンストリームタスクに効果的に適応させますが、事前学習中に獲得した非対象の能力を低下させる可能性があります。既存の忘却認識方法は、通常、特殊な初期化または固定制約を通じて安全な更新を求めていますが、適応の規制は行いません。

arXiv cs.LG

2026年6月2日

強化学習は正確な報酬関数に依存しており、ロボティクスなどの実世界アプリケーションではしばしば手作業で作成されるか利用できません。最近の研究では、事前学習済みビジョン言語モデル（VLM）の零ショット推論能力を報酬モデルとして活用することが検討されていますが、慎重な調整なしに実施することは困難です。

arXiv cs.LG

2026年6月2日

脳波（EEG）を用いた深層学習ベースの大うつ病性障害（MDD）検出は、「小サンプルのジレンマ」によって根本的に制約されています。一般的な生成的データ拡張手法は、高い計算コストを招くだけでなく、合成ノイズの導入のリスクもあります。

arXiv cs.LG

2026年6月2日

継続事前学習（CPT）は大規模言語モデルを新しい言語に拡張する実用的な方法ですが、ナイーブなファインチューニングは壊滅的忘却を通じて既存の能力を低下させます。言語ファミリー周辺のトレーニングを組織することはクロスランゲージ干渉を減らしますが、それだけでは十分ではありません。

arXiv cs.CL

2026年6月4日

NvidiaのAI言語モデル「Nemotron」の事前学習を効率化する新しいデータセット生成手法が発表された。タスク指定型合成Q&A生成と呼ばれるこの技術は、特定の目的に応じて質問と回答のペアを自動で作成する仕組みである。 従来のモデル学習では、大量のテキストデータから汎用的な知識を獲得するアプローチが一般的だった。新手法は、必要なタスク機能に焦点を絞ったデータセットを生成することで、学習の無駄を削減し、モデル性能の向上を実現する狙いである。 この技術により、言語モデルの開発効率が大幅に改善される可能性が示唆されている。特に企業や研究機関が特定用途向けのAIシステムを構築する際に、より少ないリソースで高性能なモデルの構築が可能になると期待される。 大規模言語モデルの学習方法論の進化は、AI技術の実用化を加速させるうえで重要な意味を持つ。 （引用元：Hugging Face）

Hugging Face

2026年6月5日

機械学習モデルの継続学習において、新たなパラメータ効率化手法が提案された。arXiv上で発表された「TailLoR」と呼ばれるこの手法は、複数のタスクを順序立てて学習する際に、モデルの性能を維持しながら計算量を削減するアプローチである。 TailLoRの特徴は、事前学習済みモデルの重要な特性を活用する点にある。既存モデルの基本的な構造を参考基準として固定し、そこからの微調整を行う仕組みで、新しいタスク学習時に以前習得した知識の損失を抑制する。 手法の核となるのはスペクトルペナルティと呼ばれる制御機構で、モデル更新時に重要な成分への悪影響を最小化する。同時に、スペクトル分解における低ランク部分への適応可能性を確保することで、新規タスクの学習効率を損なわないよう設計されている。 この研究は、限られた計算資源で複数タスクに対応する必要があるAI応用分野での実用化が期待される。パラメータ効率性と学習性能のバランスを取る課題に対する一つの解決策として注目されている。

arXiv cs.LG

2026年6月5日

エストニア言語研究所が、大規模言語モ…

はてなブックマーク IT

2026年6月6日

トルコ語の言語処理技術に関する研究が、自然言語処理分野で注目を集めている。トルコ語に特有の「軽動詞構文」と呼ばれる表現は、文法上は通常の動詞と目的語の組み合わせに見えながら、実際には慣用句として機能するため、従来のAI言語モデルにとって識別が困難だった。 研究では、BERTurkという専用モデルと、ChatGPTなどの大規模言語モデルの性能を比較検証した。結果として、事前学習なしのゼロショット学習では、大規模言語モデルは誤検出を抑える傾向を示したものの、対象の表現を見落とす傾向が見られた。一方、単一の例を学習するワンショット学習では検出精度が向上したが、モデルが特定のパターンに過度に反応するバイアスが生じる課題が明らかになった。 この知見は、多言語自然言語処理システムの開発や、言語特性に応じた最適なAI手法の選択に有用な情報となる見込みだ。 （arXiv cs.CL）

arXiv cs.CL

2026年6月7日

イラン裁判所は、『偶然だった』でアカデミー賞にノミネートされた監督に対する原判決を支持し、「体制に対するプロパガンダ」で有罪と判断した。

The Hollywood Reporter

2026年6月8日

体制への「プロパガンダ活動」に関する再審を受けたテヘラン革命裁判所が、ジャファル・パナヒの1年間の禁固刑を支持した。日曜日、『It Was Just An Accident』の脚本・監督を務めるパナヒの弁護士モスタファ・ニリは、イマン・アフシャリ判事が彼らの異議を却下し、欠席判決を完全に支持したこと…

Deadline

2026年6月8日

大規模言語モデル（LLM）は従来、固定の深さと順序で全レイヤーを非反復的に実行して推論を行う。本研究は、訓練不要で柔軟な動的プログラム・オブ・レイヤー（PoLar）が広く存在することを明らかにする。事前学習されたレイヤーをモジュールとしてパッキングしてスキップまたはループさせ、各入力に対してカスタマイズされたプログラムを形成できる。ほとんどの入力では、大幅に短いプログラム実行で同等以上の精度を達成でき、元のLLMの誤った予測も、より少ないレイヤーを持つ別のプログラムで修正できる。これらの観察は、推論が標準的なフォワードパスを超えた複数の有効な潜在計算を認めることを示唆している。実践的にPoLarを効率的に実現するため、軽量なPoLar予測ネットワークを提案する。このネットワークは各入力に対して事前学習されたレイヤーを動的にスキップまたは繰り返す実行プログラムの生成を学習する。数学的推論ベンチマークでの実験により、PoLarは標準推論および従来の動的深さ手法と比べて一貫して精度を改善し、多くの場合より少ないレイヤーを実行することを示す。

arXiv cs.LG

2026年6月8日

英語データで主に学習した大規模言語モデル（LLM）は豊富な世界知識を保有していますが、他言語での信頼性のある表現に失敗することが多いという言語間事実的矛盾の問題に対処するため、本研究ではPolyFactという大規模並列多言語事実的質問応答データセットを導入しました。12の言語的に多様な言語にわたり、ウィキデータに基づく100Kの事実を含みます。PolyFactを用いて、Qwen-2.5-7BとOLMo-2-1124-7Bの言語間事実的リコール性能を改善するため、軽量継続的事前学習（CPT）、教師あり微調整（SFT）、およびグループ相対方針最適化（GRPO）を比較しました。GRPOは一貫してSFTを上回り、言語間の一貫性と未見言語への汎化性能を改善しますが、並列データへのCPTは限定的な追加利得しかもたらしません。機構的分析により、GRPOはMLP層とアテンションヘッドの言語特殊化を削減することで多言語ルーティングを再編成し、より共有された言語間表現を促進することが示されました。本研究ではコード、モデル、およびデータセットを公開します。

arXiv cs.CL

2026年6月9日

効率的な設計手法として注目されるベイズ最適化（BO）が、近年、分子やタンパク質といった複雑な構造を持つ物質への応用を広げています。これは、潜在空間ベイズ最適化（LSBO）と呼ばれる技術によって可能になります。 LSBOでは、複雑な構造が抽象的な「潜在空間」に変換され、この空間内で最適な設計が探索されます。現在、データ分析の分野で高い性能を発揮している表形式基盤モデル（TabPFNやTabICLなど）が、BOの代理モデルとして利用されるケースが増加しています。 しかし、これらの基盤モデルをLSBOに適用する際には、特定の課題が存在していました。この課題に対処するため、最新の研究では、分子の構造を符号化する変分オートエンコーダ（VAE）の潜在空間で定義された合成最適化タスクを用いて、表形式基盤モデルの事前学習段階を補強する手法が提案されています。このアプローチにより、LSBOにおけるモデルの不一致が解消され、より効率的で高精度な物質設計への貢献が期待されます。 引用元: arXiv cs.LG

arXiv cs.LG

2026年6月9日

新たな提案リストは、ロシアの『軍事産業複合体、人権侵害者およびプロパガンダ関係者』を対象としている。

Al Jazeera English

2026年6月10日

arXiv:2606.09861v1 新規発表 要旨：次トークン予測（NTP）はLLMの事前学習を統一してきたが、その応用は無限で連続的な時系列（TS）には未解決のままでした。このギャップを埋めるため、TSを離散トークンに変換するユニバーサル・トークナイザーUniTokと、これらのトークン上でNTPにより事前学習された基盤モデルUniTok-FMを提案します。UniTok-FMは、ゼロショットおよびプロンプト強化型予測、さらに訓練不要のインコンテキスト推論による少数ショット生成・分類をサポートする汎用基盤モデルであり、これは先行研究では達成されていませんでした。技術的には、UniTokはスケール安定化のためのプレフィックス正規化、エンコード・デコードのための段階的解像度因果アーキテクチャ、および学習のための構造保存型再構築損失を組み込んだベクトル量子化オートエンコーダーです。UniTok-FMは、TS固有の修正なしに市販のLLMアーキテクチャを採用しています。

arXiv cs.LG

2026年6月10日

数年間、彼のひげ面の顔は、かつて「人民の保護者」と自称した独裁者の革命的な統治を賛美するプロパガンダのビルボードから見下ろしていた。その（体制による）賞賛は、工場がニコラス・マドゥロを「破壊不能」で「鉄拳」のスーパーヒーロー、「スーパー・ムスタッシュ」というニックネームで称賛するプラスチック製のアクションフィギュアを生産するほどだった。

The Guardian World

2026年6月11日

de novoタンパク質生成は、治療薬設計、酵素工学、合成生物学において革新的な可能性を秘めています。拡散ベースおよびフローマッチングアプローチは進歩を遂げていますが、通常は単一解像度で動作し、機能的制約を組み込むメカニズムを欠いています。本稿では、3つの革新的な階層的フローマッチングフレームワークであるProHiFloを提案します。(1) 骨格構造をモデリングしてから全原子座標へと洗練させる粗視的から微視的への生成により、精度を維持しながら計算コストを削減します。(2) 事前学習済み予測器を活用した機能的ガイダンスにより、再学習なしで望ましい特性へと生成を誘導します。(3) 効率的なマルチスケール処理のための適応型SE(3)-同変アーキテクチャ。非条件付き生成、モチーフ足場構築、機能設計における実験は、4回のサンプリングステップを削減しながら、最先端のパフォーマンスを示しました。酵素活性部位の足場構築では、ProHiFloはRFDiffusionの41.2%に対し、58.9%の成功率を達成しました。

arXiv cs.LG

2026年6月12日

高輝度光科学研究センター（JASRI）の横山 優一 研究員、山神 光平 研究員、電気通信大学の住谷 祐太 氏（研究当時：博士前期課程学生）、庄野 逸 教授、熊本大学の水牧 仁一朗 教授らの研究グループは、事前学習データを用いず、短時間の科学計測データから信号成分を推定する人工知能（AI）による解析法を開発しました。

JST プレスリリース

2026年6月16日

5500億の総パラメータと550億のアクティブパラメータを持つMixture-of-ExpertsハイブリッドMamba-Attention言語モデル「Nemotron 3 Ultra」を紹介します。Nemotron 3 Ultraは20兆トークンのテキストで事前学習され、その後コンテキスト長を100万トークンに拡張し、教師ありファインチューニング（SFT）、強化学習（RL）、マルチティーチャー・オンポリシー蒸留（MOPD）を用いて事後学習されました。Nemotron 3 Ultraは、LatentMoE、マルチトークン予測（MTP）、NVFP4事前学習、マルチ環境RLVR、MOPD、推論バジェット制御といった複数の主要技術を採用した、これまでにない最も高性能なモデルです。Nemotron 3 Ultraは、最先端の公開LLMと比較して最大約6倍高い推論スループットを達成しながら、同等の精度を実現しています。最先端の精度、高い推論スループット、100万トークンのコンテキスト長により、Nemotron 3 Ultraは長期間実行される自律エージェントタスクに最適です。

arXiv cs.CL

2026年6月17日

臨床意思決定支援AIシステム（CDSAS）は、厳格な安全制約を遵守しながら、刻々と変化する患者の状態にリアルタイムで適応する必要があります。本研究では、治療効果（TE）推定、治療経過シミュレーションのための患者デジタルツイン（DT）、逐次意思決定のための強化学習（RL）を統合したオンライン適応フレームワークを提案します。AIシステムは、まず過去の医療記録で訓練され、継続的な学習ループで運用されます。安全性を確保するため、ルールベースのモジュールがバイタルサインを監視し、禁忌の治療をブロックします。内部モデルの不一致が強いケースは、臨床医のレビューのためにフラグが立てられ、実験では事前学習済みアウトカムモデルを介してシミュレートされます。本フレームワークは、合成臨床シミュレータとCancer Genome Atlas（TCGA）からの実際の卵巣がんデータセットの両方を使用して検証されます。シミュレーションおよび臨床設定の両方において、提案手法は標準的な計算ベースラインと比較して、治療法の推奨において優れた有効性と安定性を示しました。

arXiv cs.AI

2026年6月17日

因果関係のある有害薬物事象（ADE）を偽相関から区別することは、薬物警戒における中心的な課題です。InferBERTフレームワークは、TransformerモデルとDo-calculusを統合していますが、その成功は基盤となる分類モデルに依存します。本研究では、InferBERTにおけるモデル選択の影響を評価し、単純なモデルで十分か、ドメイン固有の事前学習が役立つか、LLMへのスケーリングが因果検出を改善するか、事後キャリブレーションの効果を検証します。分析対象は、Analgesics-induced Acute Liver Failure (AILF) と Tramadol-related Mortalities (TRAM) の2つのベンチマークです。XGBoost（ベースライン）、ALBERT（元のInferBERT）、BioBERT（生物医学Transformer）、Med-LLaMA（医療LLM）の4つのモデルを、20回の繰り返しで5分割交差検証を用いて評価しました。

arXiv cs.LG

2026年6月17日

人工ニューラルネットワークを基盤としたAIシステムは、人間の数学的知識の境界を押し広げるという野心を持って開発されている。これらのシステムにとって重要な課題は、学習データを超えてどこまで到達できるかである。数学的発見には、真に新しい、そして潜在的に論理的に強力な数学的構造を仮定する能力、つまり「分布外一般化」という強力な形態が必要とされる。人間の認知におけるこのような一般化を、言語能力がサポートすると仮説が立てられている。本研究では、現代のAIモデルがどのように数学的視野を広げられるかを検証するためのケーススタディとして、単純な算術を使用し、これらのモデルが独立して「ゼロ」の概念を発見できるかどうかを評価する。GPT-2サイズの言語モデルは、言語事前学習の有無にかかわらず、テスト時にこの一般化を実行できないことを示す（1）。しかし、（2）ゼロの例を数十から数百個学習させた後、モデルは大幅に改善する。さらに、言語事前学習により必要な例の数が約50%減少することも発見し、言語能力がニューラルモデルにおける数学的発見を支援できることを示している。

arXiv cs.AI

2026年6月19日

中国は武力だけで日本に影響力を及ぼそうとしているわけではない。SNSやメディア、世論を通じて社会の対立をあおり、人々の不信感を増幅させる――。こうした「認知戦」「政治工作」は、中国が長年重視してきた安全保障戦略の柱の一つとされる。

はてなブックマーク IT

2026年6月23日

EEG認証における中心的な課題は、モデルが通常、学習された取得設定に縛られていることです。特に、ヘッドセットハードウェア、チャネルレイアウト、信号時間のばらつきは、既存のモデルが対応できない異種混合の記録を作成し、新しいヘッドセットやデータセットごとに個別のモデル開発問題として扱われる原因となります。この断片化は、マルチデータセット学習を制限し、知識移転を妨げ、モデルの再利用性を低下させます。この制限に対処するため、我々は、デュアルステージトランスフォーマーアーキテクチャを介して、可変チャネルおよび可変長のEEG記録から識別性の高い埋め込みを学習する、EEG認証のための再利用可能な基盤モデルNeuroShieldを提案します。NeuroShieldは、15,762人の被験者と28,116セッションで構成される3つの公開EEGデータセットで事前学習され、2つの未知の下流データセットで転移学習を評価しました。評価によると、ファインチューニング後、NeuroShieldは最先端技術と比較して等価エラー率を0.44〜8.06パーセントポイント削減します。

arXiv cs.LG

2026年6月23日

無線基盤モデルは、第6世代（6G）システム向けの再利用可能なチャネル状態情報（CSI）インテリジェンスへの道を提供する。しかし、既存の汎用バックボーン適応およびCSI事前学習手法は、CSIを伝搬条件付きチャネル応答としてではなく、タスクテンソルとして扱うことが多く、無線環境の固有の時間・周波数・空間幾何学的特性を捉えきれていない。本稿では、CSIネイティブ基盤モデルに向けたチャネル適応型ロードマップを提示し、事前学習、位置モデリング、アテンション制御を3つのチャネル要件（スケール認識型異種公開、物理的時間・周波数・アンテナ座標、相関境界トークン相互作用）に整合させる統一フレームワークを提案する。広範な実験により、提案フレームワークのゼロショット汎化（空間・時間・周波数タスク全体でNMSEを4 dB以上削減）、スケール外挿（8倍の未知アンテナスケーリング下で最大5.4 dBのゲイン）、推論効率（モビリティ認識処理を最大18.8%高速化）の3つの次元での優位性が実証された。

arXiv cs.LG

2026年6月24日

連鎖思考（CoT）推論を組み込んだ運転VLAモデルは、事前学習済みのVLM表現を活用し、中間的な決定を自然言語で提示するため魅力的ですが、現在の根拠は、計画された動作と因果的に関連付けられるステップバイステップの決定セマンティクスを欠いていることがよくあります。本稿では、古典的なルールベースプランナーから直接抽出されたルール根拠に基づく推論トレースで運転VLAを監視するニューロシンボリック運転フレームワーク「Neuro-Symbolic Drive」を提案します。我々の重要な発見は、ルールベースプランナーがすでに実行可能な推論エンジンとして機能するシンボリックAIシステムであるということです。それらはアクティブな安全制約について推論し、候補となる操作を探索し、最終的な軌道を選択します。我々は、シミュレーションでこれらのプランナーを計測し、実行された軌道と各ルール評価ステップでの内部決定トレースの両方をキャプチャします。各トレースは構造化されたルール根拠に基づく推論にシリアライズされ、軌道とペアになってQwen3.5-4Bを運転VLAとしてファインチューニングします。

arXiv cs.AI

2026年6月24日

グラフベースのテキスト分類モデルは、通常、局所的な近傍集約に依存し、意味的な文書グラフが強力なクラス一致クラスタリングを示すにもかかわらず、グローバルなコミュニティ構造を見落としています。これを無視すると、クラス境界が不明瞭になり、過度の平滑化につながる可能性があります。本稿では、クロスエントロピーとモジュラリティベースの補助目的を共同で最適化し、クラスに一致する文書コミュニティを促進すると同時に、識別表現を維持する、テキスト分類のためのモジュラリティを考慮したグラフニューラルネットワークであるModTGCNを提案します。モジュラリティ項は、トランスフォーマー埋め込み（事前学習済みまたはファインチューニング済み）から派生した文書間類似性グラフで計算されます。スケーラビリティを向上させるために、元の異種TextGCNグラフを文書-単語および単語-単語の個別のコンポーネントに分離し、トレーニング速度を2倍から10倍向上させました。さらに、モジュラリティ最適化のためのグラフ構築戦略、ラベルを意識したエッジ再重み付け、および監視の選択について研究します。

arXiv cs.CL

2026年6月25日

言語モデルの学習過程で、一度獲得したルールが失われる現象が確認されました。 研究によると、比較的小さな言語モデルは、学習の初期段階で代名詞や性別に関するルールを習得するものの、学習が進むにつれてこれらのルールを忘れてしまうことが分かりました。興味深いのは、ルールが失われた後も、モデルの性能を示す損失曲線には顕著な変化が見られない点です。 このルールの消失は、訓練データの中にそのルールがどれだけ頻繁に出現するかによって予測できることが示唆されています。つまり、特定のルールがデータ中に少ない場合、モデルはそれを早期に学習しても、後続の学習で他の情報に埋もれてしまい、結果的に失われてしまう可能性が高いと考えられます。この発見は、言語モデルの学習メカニズムの理解を深める上で重要な示唆を与えています。 arXiv cs.CL

arXiv cs.CL