タイムライン検索

2026年5月12日

パラメータゴルフは1,000名以上の参加者と2,000件以上の投稿を集め、厳格な制約条件下でAI支援機械学習研究、コーディングエージェント、量子化、革新的なモデル設計を探索した。

OpenAI

2026年5月29日

人間の協調は、戦略的行動を通じて他者の信念に影響を与える能力に依存している。マルチエージェント強化学習では、対戦相手形成がこの影響を複製しようとしているが、既存の方法は通常、対戦相手のパラメータ、ポリシー、または価値空間内で動作している。

arXiv cs.AI

2026年5月29日

コンテキスト蒸留は文脈情報をモデルパラメータに圧縮するが、既存の方法は複数の蒸留された潜在メモリをオラクル以外の設定でどのように保存、検索、安全に活性化するかについて無視することが多い。本研究ではコンテキスト蒸留を潜在メモリ管理問題として定式化する。

arXiv cs.LG

2026年5月29日

ソフトプロンプトチューニングはLLMを特定のタスクに適応させるためのパラメータ効率的な方法ですが、解釈可能性の欠如に悩んでいます。ソフトプロンプトの解釈に関する最近の研究に基づいて、専用のソフトプロンプトから自然言語翻訳モデルへのトレーニング方法を探索します。

arXiv cs.CL

2026年5月29日

フェデレーション強化学習は、生のトラジェクトリを交換することなく、分散エージェントが協力してポリシーまたは価値推定を改善することを可能にします。ただし、FedAvgスタイルのパラメータ平均化は関数空間で一貫性がなく、クライアントが異なるエンコーダを使用したり、同じ非線形ネットワークを使用する場合でも問題が生じます。

arXiv cs.LG

2026年5月29日

推測的デコーディングは、ドラフト・検証パラダイムを通じて大規模言語モデルの推論を加速させますが、語彙サイズの拡大に伴い出力投影層がボトルネックになります。既存の静的プルーニング方法は有効にこのオーバーヘッドを削減しますが、受け入れ率の大幅な低下という課題があります。

arXiv cs.CL

2026年5月29日

大規模言語モデルは強力な推論能力を実現しているが、膨大なパラメータ数と高い推論コストが課題である。本研究では、コンパクト言語モデルにおける適応的推論深度の異なるアプローチを探索し、CosmicFish-HRMを提案している

arXiv cs.LG

2026年5月29日

認知圏論トランスフォーマー(CCT)は3億600万パラメータのアーキテクチャで、事前学習されたGPT-2 Smallバックボーンを圏論から導出された認知的に根拠のあるコンポーネント、および認知科学からのいくつかのインスピレーションで拡張しています。マッチドステップ・プロトコル下(215,000最適化ステップ)で...

arXiv cs.AI

2026年5月29日

パラメータ化理論で導入されたパラメータ活性化アライメント測度であるログアライメント比（LAR）を研究します。これを行列の正規化された2乗特異値のウェイトスペクトル p と正規化された2乗射影値のアクティベーションスペクトル q との重複として再構成します。

arXiv cs.LG

2026年6月1日

arXiv:2605.30374v1 歩行中の股関節筋力と関節モーメントの推定は通常、筋骨格シミュレーションに依存しており、有用であるが時間がかかり臨床設定への適用が難しい。本研究は下肢からのこれらの股関節動力学パラメータを直接予測するための深層学習フレームワークを開発した。

arXiv cs.LG

2026年6月1日

arXiv:2605.30621v1 発表型：新規 要旨：LLMエージェントは、プロンプト、スキル、メモリ、ツールを含む編集可能な外部ハーネスの周辺に構築されたシステムとしてますますデプロイされており、これらはモデルパラメータを変更することなくタスク実行を形作る。ハーネス自己進化は実行証拠からこれらのハーネスを更新することによってそのようなエージェントを適応させる。しかし...

arXiv cs.AI

2026年6月2日

AWS環境でLLM（大規模言語モデル）を運用する際の課題に対応する新たな技術アプローチが注目を集めている。GPUインスタンスへのモデル読み込みに要する時間短縮が、これまでの実運用における課題だった。 AWSが提案する解決策は、GPUDirect、Amazon FSx for Lustre、TurboQuantの3つの技術を組み合わせるもの。これらを活用することで、モデルをGPUメモリへ転送する速度を大幅に高速化できる。結果として、より大規模なパラメータ数を持つモデルの推論準備時間が短縮され、LLMが処理可能なテキスト長を示すコンテキストウィンドウの拡大も実現可能となる。 この技術統合により、複雑な推論タスクや長文処理が必要なユースケースでの対応能力が向上する見通しだ。クラウド環境でのAI推論効率化に向けた実装例として、今後の導入が期待されている。 （引用元：AWS Machine Learning Blog）

2026年6月2日

継続事前学習（CPT）は大規模言語モデルを新しい言語に拡張する実用的な方法ですが、ナイーブなファインチューニングは壊滅的忘却を通じて既存の能力を低下させます。言語ファミリー周辺のトレーニングを組織することはクロスランゲージ干渉を減らしますが、それだけでは十分ではありません。

arXiv cs.CL

2026年6月2日

言語モデルの強化学習におけるトークンレベルのクレジット割当は、通常、ポリシーが完全に訓練可能であるかのように定式化されていますが、実際のLLM-RLパイプラインはパラメータ効率の良い微調整、特にLoRAに依存することが多いです。本論文はこの分離が構造的な失敗モードを隠していることを主張しています。

arXiv cs.LG

2026年6月2日

有限要素解析(FEA)は固体力学における最も重要な数値解析手法です。FEAの課題には、初心者ユーザーにとって急な学習曲線と、境界条件、荷重ケース、解析パラメータなどの重要なシミュレーションコンポーネントの定義が誤っている場合の誤ったシミュレーションが含まれます。

arXiv cs.AI

2026年6月2日

学習した行動多様体に埋め込まれた低次元連続パラメータで条件付けされた拡散ポリシーを学習するためのフレームワークであるParameterized Diffusion Policy (PDP)を提案します。潜在表現間の距離が意味的類似性を反映するようにこの多様体を構築します。

arXiv cs.AI

2026年6月2日

arXiv:2606.00045v1発表タイプ：新規 抄録：古典的な連続空間ニューラルネットワークは、モジュロ演算や非可換代数などの厳密な数学的対称性にロックインするのに本質的に苦労している。これらの離散的な論理規則を近似するために、しばしば膨大なパラメータスケーリングに頼り、その後でも確率的不安定性をもたらす。

arXiv cs.AI

2026年6月3日

マイクロソフトが開発者向けデスクトップPC「Surface RTX Spark Dev Box」を発表した。同製品はNvidia製のBlackwell RTXプロセッサと128GBのメモリを搭載し、ローカル環境で大規模AIモデルの実行を実現する。 従来、大規模な言語モデルやAIモデルはクラウドサービスを通じて利用されてきた。その際、ユーザーはトークン数に応じた課金が必要であった。新デバイスは120億パラメータを超えるAIモデルをオンプレミスで直接実行できるため、クラウド依存からの脱却を可能にする。 これにより開発者はネットワーク接続に左右されず、継続的な利用料を発生させることなくAI開発を進められる。マイクロソフトがクラウドベースの課金モデルへの代替案を提供する形となり、AIアクセスの民主化をさらに推し進める施策として注目される。 （引用元：VentureBeat AI）

VentureBeat AI

2026年6月3日

Amazon Forgeの微調整に最適パラメータ設定が重要 アマゾン ウェブ サービスは、独自の大規模言語モデル「Amazon Nova Forge」をドメイン固有のタスクに適応させる際の課題について、技術ブログで解説した。 モデルの微調整において、学習率やバッチサイズといった訓練パラメータの設定は、特定領域での性能向上と汎用性維持のバランスに大きく影響することが明らかになった。過度なカスタマイズは汎用性を損なう一方、最適化が不十分では期待される性能向上が得られないという課題がある。 同社は、これらのパラメータを効果的に調整するための戦略と、計算資源を無駄にする一般的な失敗パターンを早期に検出する方法を紹介。実践的なアプローチにより、企業が限られたリソースでモデルの最適化を進める道筋を示している。 この指針は、生成AI導入を検討する企業にとって実装効率の向上に有用な知見となりそうだ。 （引用元：AWS Machine Learning Blog）

AWS Machine Learning Blog

2026年6月3日

ドメイン固有のタスク用のファインチューニングは、一つの領域でのパフォーマンス向上をモデルの一般的な能力の低下なしに実現することを意味しており、このバランスを正しく取ることは見た目以上に難しいものです。

AWS Machine Learning Blog

2026年6月3日

米NVIDIAは5月31日(現地時間)、GTC Taipeiにおいて、Windows搭載デスクサイドAIスーパーコンピューター「NVIDIA DGX Station for Windows」を発表した。

PC Watch

2026年6月4日

遺伝子発現データの解析を効率化する新しいベンチマークツールが開発されました。大規模な生物学的データを処理する際、深層学習モデルの性能は初期設定値であるハイパーパラメータに大きく左右されますが、最適な値を見つけるには膨大な計算時間が必要でした。 研究チームが公開した「BBOmix」は、実際の高スループットシーケンシングデータを用いた初のベンチマークデータセットです。異なる4種類のオートエンコーダアーキテクチャと7種類のマルチオミクスモダリティにおける105,000の評価結果を収録しており、研究者は膨大な計算なしに最適なパラメータ値を参照できるようになります。 このツールにより、遺伝子発現データから有用な特徴を抽出する処理が加速され、医療研究や創薬開発への応用が期待されます。 （arXiv cs.LG）

2026年6月4日

大規模言語モデル（LLM）の予測がどの訓練データに由来するのかを特定する「訓練データ帰属」の研究が進展している。従来の手法は膨大なパラメータを追跡する必要があり、計算コストが大きな課題だった。 この課題に対応する新しい手法「STRIDE」が提案された。STRIDEは、モデルの活性化空間（内部計算層）に着目し、軽量な「ステアリングオペレータ」と呼ばれるツールを学習する。このオペレータが訓練データの部分集合を除いた場合のモデル動作の変化を模倣することで、効率的なデータ帰属を可能にする。 従来の全パラメータ追跡と比べ、計算負荷を大幅に削減しながら、訓練データがモデルの出力にもたらす影響を追跡できるという。LLMの解釈可能性向上やバイアス検出などの応用が期待されている。 （arXiv cs.CL）

arXiv cs.CL

2026年6月4日

Googleは新たなオープンソースAIモデル「Gemma 4 12B」をリリースしました。約120億のパラメータを備え、Apache 2.0ライセンスの下で公開される同モデルは、16GBのメモリを搭載した一般的なノートパソコンでの完全なローカル実行が可能です。 従来のマルチモーダルAIとは異なり、エンコーダレスのUnified アーキテクチャを採用することで、音声と映像データを言語モデルの基盤に直接入力できる仕様となっています。この設計により、データ変換に伴うオーバーヘッドを大幅に削減しながら、複数の形式のコンテンツ分析を実現します。 HuggingFaceやKaggleを通じて無料でダウンロード可能であり、企業から個人開発者まで幅広いユーザーが活用できます。手軽にアクセス可能な高性能AIの提供により、エッジデバイスやオンプレミス環境でのAI導入がより身近になると考えられます。 （VentureBeat AI）

VentureBeat AI

2026年6月5日

AI研究企業のSakana AIは、人工知能が自律的に別のAIモデルを構築・最適化する新たな研究プロジェクト「RSI Lab」を立ち上げた。 これまでAIモデルの開発では、研究者による手動設計が中心となってきた。同プロジェクトは、このプロセスを自動化することで、開発効率の大幅な向上と革新の加速を目指している。AIが独立してモデルの構造を検討し、パラメータを最適化することで、人間の手による試行錯誤を削減できると期待される。 この取り組みは、AI開発における新たなパラダイムシフトを象徴している。自動化により、より複雑で高性能なモデル開発が可能になる可能性がある一方で、AIの意思決定プロセスの透明性や制御可能性についても、業界全体での検討課題となっていく見通しだ。 （引用元：Sakana AI）

Sakana AI

2026年6月5日

機械学習モデルの継続学習において、新たなパラメータ効率化手法が提案された。arXiv上で発表された「TailLoR」と呼ばれるこの手法は、複数のタスクを順序立てて学習する際に、モデルの性能を維持しながら計算量を削減するアプローチである。 TailLoRの特徴は、事前学習済みモデルの重要な特性を活用する点にある。既存モデルの基本的な構造を参考基準として固定し、そこからの微調整を行う仕組みで、新しいタスク学習時に以前習得した知識の損失を抑制する。 手法の核となるのはスペクトルペナルティと呼ばれる制御機構で、モデル更新時に重要な成分への悪影響を最小化する。同時に、スペクトル分解における低ランク部分への適応可能性を確保することで、新規タスクの学習効率を損なわないよう設計されている。 この研究は、限られた計算資源で複数タスクに対応する必要があるAI応用分野での実用化が期待される。パラメータ効率性と学習性能のバランスを取る課題に対する一つの解決策として注目されている。

arXiv cs.LG

2026年6月9日

ソフトバンク、ソニーグループ、ホンダ、NECなどが中心となり、AI基盤モデルを開発する新会社の設立が報じられた。目指すのは、1兆パラメータ規模の「国産フィジカルAI」の開発である。なぜ今、日本企業が連合を組み、巨額の投資をしてまで独自のAIを開発する必要があるのか。

ITmedia 全カテゴリ

2026年6月9日

アップルは6月8日、第3世代のAI基盤モデル「Apple Foundation Models」を発表した。注目されるのは、200億パラメーター規模の「AFM 3 Core Advanced」が端末内で動作する点だ。

ASCII.jp

2026年6月10日

Cohereは、単一のH100で実行可能なオープンソースのコーディングエージェント「North Mini Code」を発表しました。 この300億パラメータのモデルは、サブエージェントのオーケストレーション、アーキテクチャマッピング、コードレビューなど、エージェントソフトウェアエンジニアリングを対象としています。 256,000トークンのコンテキストウィンドウと64,000トークンの最大生成長をサポートし、Apache 2.0ライセンスでHugging Faceで利用可能です。

VentureBeat AI

2026年6月10日

「GeminiがApple Intelligenceの正体」は誤解だ。WWDC 2026の現地取材で見えてきた第3世代は、200億パラメータのAIをiPhoneで動かす革新技術、Google Cloud＋NVIDIAによるインフラ刷新、そして静かに変わる「無料」の定義まで、想像以上に深い変化を遂げて…

ITmedia AI+