TOPIC TIMELINE
タイムライン検索
特定トピックに関する記事を時系列で並べて「いつ・何が起きたか」を俯瞰します。
2026年6月1日
COLLEAGUE.SKILL: 専門知識蒸留による自動化されたAIスキル生成LLMエージェントは孤立したタスク完了だけでなく、人間の専門知識、判断、対話スタイルの限定的な表現を保持することが期待されています。人や役割に関連する実行可能な知識は通常埋め込まれているため、このような人物中心のエージェントの構築は困難です。
arXiv cs.AI
2026年6月3日
言語モデルは睡眠が必要:自己修正と記憶の統合学習人間が睡眠中に記憶を整理するメカニズムにならい、大規模言語モデルに「睡眠」機能を導入する研究がarXivで発表された。 研究では、言語モデルが継続的に学習する際、短期的に獲得した情報を長期的な知識として定着させるプロセスが課題となっていることに着目。人間の睡眠が記憶統合と夢見のプロセスを通じて知識を整理することに着想を得たアプローチを提案している。 具体的には、小規模なモデルで得られた学習成果を、より大規模なニューラルネットワークに効率的に転写する「知識蒸留」と呼ばれる手法を活用。これにより、モデルが自己修正と知識の統合をより安定して実行できるようになるという。 従来の機械学習では学習データの偏りや不安定な自己改善が問題だったが、この睡眠パラダイムの導入により、より堅牢で信頼性の高い継続学習が実現する可能性が示唆されている。 (引用元:arXiv cs.AI)
2026年6月11日
PoQ-Judge: 分散型LLM推論におけるコスト意識型Proof-of-Qualityのためのマルチアーキテクチャ評価フレームワークarXiv:2606.11196v1 新規発表 要旨:分散型LLM推論ネットワークには、Proof-of-Quality (PoQ) のための軽量で参照不要な品質評価が必要です。我々は、正解データ参照なしでクエリと出力のペアをスコアリングする専用のジャッジモデルをトレーニングするフレームワーク、PoQ-Judgeを提案します。品質とコストのトレードオフを考慮した3つのアーキテクチャ(TextCNNジャッジ、MiniLMクロスエンコーダー、DeBERTaジャッジ)を研究します。UltraFeedbackとGPTラベル付きドメイン内データを用いた2段階トレーニングにより、最良のモデルは、保持されたテストセットで正解プロキシとのPearson相関0.747を達成し、以前の研究の参照ベース評価者を上回ります。複合スコアリングにおける参照フリーコンポーネントとして、参照回答の必要性をなくしながら、最良の単一参照ベース評価者と同等の0.645のPearson相関を達成します。
arXiv cs.CL
2026年6月17日
近接政策最適化のゾーン:勾配ではなくプロンプト内の教師知識蒸留は教師の能力を小さな生徒モデルに転送しますが、生徒モデルが小さい場合に脆く、汎化性能を損なう可能性があります。 強化学習では、教師の応答をポリシー勾配に直接注入すると、オンポリシーの仮定が破られ、ドリフトを引き起こす可能性があります。 本研究では、プロンプト内に教師を保持する「近接政策最適化のゾーン(ZPPO)」を導入し、特に難しい質問に対して二つの再構成されたプロンプトを構築します。
arXiv cs.CL
2026年6月18日
大規模音声言語モデルのための継続的音声思考大規模音声言語モデル(LALM)は、音声文字起こしから音楽分析まで、多様な音声理解タスクにおいて印象的な能力を示してきました。しかし、LALMは通常、テキストに合わせた応答を生成するように訓練されているため、その隠れ状態は、音響情報を保持するためではなく、テキスト生成のために段階的に形成されます。その結果、音声が持つ音素の詳細、イントネーション、音響イベント、感情、ピッチなどの多様な音響コンテンツは、途中で失われ、応答で活用することが困難になります。私たちは、応答生成に先立って音響情報を整理するための継続的な潜在ワークスペースを音声言語モデルに装備するフレームワークであるContinuous Audio Thinking(CoAT)を提案します。これは、音声専門家からの知識蒸留によって基盤が作られています。思考空間内では、モデルは応答を生成する際に、専門家からの知識蒸留によって提供される豊かな音響情報を利用できます。さらに、提案された継続的思考ブロックは単一のプリフィルで処理できるため、CoATはベースラインを超える追加の自己回帰デコーディングコストを必要としません。
arXiv cs.CL
2026年6月19日
連覇&米挑戦へ入谷響が熱弁! リランキング正念場の伊藤愛華は不安を吐露するも「目標は高く」【国内女子ツアー】(みんなのゴルフダイジェスト)明日6月19日から千葉県の袖ヶ浦カンツリークラブ・新袖コースで開幕する「ニチレイレディス」。開幕を翌日に控えた18日にはプロアマトーナメントが行われ、ディフェンディングチャンピオンの入谷響、そしてリラ
Yahoo!ニュース スポーツ
2026年7月9日
音声感情分析:生成された多言語トランスクリプトの知識蒸留とクロスモーダル統合による実現音声からポジティブかネガティブかの感情を自動認識することは、声の抑揚の分析と発話された言葉の解釈の両方を必要とする困難なタスクです。最近のソリューションは、このタスクを解決するために音声基盤モデルに依存していますが、そのようなモデルがすべての側面を考慮できるかどうかは依然として不明です。この目的のため、我々はクロスモーダル・トランスフォーマーを介して音声とテキスト情報を統合するマルチモーダル・ソリューションを提案します。ここでは、自動音声認識(ASR)ツールを介してテキストトランスクリプトが自動生成されます。さらに、機械翻訳ツールを介してトランスクリプトを複数の言語に自動翻訳することで、複数のテキストモダリティを作成します。音声と多言語テキストの特徴は、モダリティを一つずつ統合するクロスモーダル・トランスフォーマーブロックからなるカスケードアーキテクチャを介して結合されます。さらに、ティーチャーと呼ばれるマルチモーダルモデルから、スチューデントと呼ばれるユニモーダル(音声のみ)モデルへ知識を蒸留します。
arXiv cs.CL
2026年7月14日
「デザインによる忠実性」:多関係者向けLLM生成臨床試験要約の評価と改善大規模言語モデル(LLM)は、医療提供者、患者、支払者を対象とした臨床試験結果の要約にますます利用されていますが、幻覚(ハルシネーション)の傾向は、この重要な文脈において重大なリスクをもたらします。本研究では、3つの関係者オーディエンスにわたるLLM生成臨床試験要約の忠実性を測定するためのベンチマーク評価フレームワークを導入します。このフレームワークは、Aggregate Analysis of ClinicalTrials.govデータベースから抽出した200の層化された試験で構成され、オーディエンス固有のプロンプトテンプレートと6次元の忠実性アノテーションスキーマを使用して評価されます。GPT-4o、Claude Sonnet 4.6、Gemini 2.5 Flashのベースライン測定値が、クロスエンコーダー自然言語推論(NLI)モデルを使用してスコアリングされた1,800の生成要約全体で確立されました。3つのモデルすべてで、主な失敗モードとして「裏付けのない主張」が特定され、平均アノテーションスコアは3点満点中1.55でした。
arXiv cs.CL
2026年7月14日
RouteRec: レコメンダーエージェントの選択と集約の厳密な評価レコメンダーシステムは、協調フィルタリング、シーケンシャルモデル、コンテンツベースリトリーバー、LLMベースのリランキングなど、異種エージェントの中から選択する必要に直面していますが、単一のエージェントが常に最良とは限りません。RouteRecは、この選択をコスト制約下でのタスク認識型エージェントランキングとして研究するフレームワークであり、4つの従来のレコメンダーエージェントと1つのLLMリランカーエージェントに対して、リクエストレベルのハード選択とアイテムレベルの学習済み集約を比較します。MovieLens-1Mでは、完全な品質オラクルは大幅な余力(HR@10 = 0.584)があり、有用なクロスエージェント信号が存在することが確認されました。しかし、リークのない5分割クロスバリデーションプロトコルでは、ハード選択はBM25(0.223 vs 0.254)を下回り、選択的なLLMエスカレーションでは改善しません。同じプロトコルは、学習済み集約に対して異なる結果をもたらします。
arXiv cs.CL
2026年7月15日
知識蒸留によるLLMの効率的なクロスエンコーダーへの変換とRAGリランキングへの応用クロスエンコーダーは、Retrieval-Augmented Generation (RAG) パイプラインにおいて高いリランキング精度を達成しますが、推論コストが二次関数的に増加するためリアルタイム展開の制約となります。本研究では、LLaMA 3 (8B) をドロップインリランカーとしてファインチューニングすることで、この問題に対処します。UnslothフレームワークとLoRAアダプターを用いたカスタムクエリ・ドキュメント関連性データセットによる2段階のパイプラインでファインチューニングを行い、その後4ビット量子化により効率的な推論を実現します。この結果得られたモデルは、BM25と密ベクトル検索を組み合わせたデュアルリトリーバーRAGパイプラインのクロスエンコーダーを置き換えます。
arXiv cs.CL