タイムライン検索

2025年12月8日

本記事は、PFNのインターンシップを経て現在はアルバイトとして勤務されている上田蒼一朗さんによる寄稿です。 はじめに Preferred Networks（以下PFN）ではKubernetesを用いた機械学習基盤の開発・ […] 投稿 Kubernetesスケジューラのベンチマークテスト は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2025年12月11日

本記事は、2025年夏季インターンシッププログラムで勤務された秋葉凌羽さんによる寄稿です。 はじめに 東京科学大学生命理工学院学士課程3年の秋葉凌羽と申します。PFN の2025年夏インターンシッププログラムに参加し、実 […] 投稿 エージェントワークフローを用いた生物学実験のプロトコルエラー検出 は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年1月28日

はじめに 本日我々は、純国産生成AI基盤モデルPLaMoの最新バージョンであるPLaMo 2.2 Primeをリリースしました。PLaMo 2.2 Primeでは社内外からのフィードバックをもとに、事後学習データを追加す […] 投稿 PLaMo 2.2 Primeをリリースしました は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年2月20日

Preferred Networksでは大規模言語モデル (LLM) PLaMoの開発を継続して行っています。 LLMを開発するにあたってその能力を評価するベンチマークは非常に重要です。英語においては様々なベンチマークが […] 投稿 日本語の自然さを測る評価手法の検証 は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年2月25日

はじめに Preferred Networksでは、大規模言語モデル「PLaMo」の開発を行っています。 PLaMoは開発サイクルにて様々なベンチマークによりその能力を評価していますが、今回はコード生成ベンチマークにてモ […] 投稿 コード生成ベンチマークのためのサンドボックス環境の開発 は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年3月23日

はじめに Preferred Networksの加藤です。AIプロダクト・ソリューションチーム所属で、AutoMLチームも兼務しています。PFNでは Preferred AI という生成AIを活用したプロダクト群を開発し […] 投稿 Optunaベースの内製フレームワーク × Work Suite: ユーザフィードバック駆動型プロンプト最適化を用いた新機能について は Preferr…

Preferred Networks

2026年5月15日

DatabricksがOfficeQA Proベンチマークで最先端の成績を達成したGPT-5.5をエンタープライズエージェントワークフローに活用しています。

OpenAI

2026年5月18日

Preferred Networks では、大規模言語モデル PLaMo の開発を継続して行っています。 LLM を開発するうえで、モデルの能力を適切に測定するベンチマークは重要です。英語ではさまざまなベンチマークが日々 […] 投稿 pretrained model向けのベンチマークの構築 は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年5月20日

RampのエンジニアはCodexとGPT-5.5を使用してコードレビューを行い、改善を実装することで、数時間ではなく数分で実質的なフィードバックを得ることができている。

OpenAI

2026年5月27日

エージェンシャルAIへのシフトは、AIファクトリーの新しいCPU要件を生み出します：高速コア、膨大なメモリ帯域幅、およびすべてのコアがアクティブな場合でも高いパフォーマンスを維持する能力です。初期ベンチマークでは...

NVIDIA Blog

2026年5月28日

PacSun CEOのブリアーン・オルソンは、同小売業者がGen Z消費者からのライブフィードバックループを「協創」し耳を傾けることで復興を遂行したと述べた。

Bloomberg

2026年5月29日

エージェント評価は、急速に変化するオンラインシグナルと安定したオフラインベースラインを組み合わせることで最も強力になります。エージェントが時間とともに本当に改善されているかどうかを理解するには、固定ベンチマークが必要です。

AWS Machine Learning Blog

2026年5月29日

認知圏論トランスフォーマー(CCT)は3億600万パラメータのアーキテクチャで、事前学習されたGPT-2 Smallバックボーンを圏論から導出された認知的に根拠のあるコンポーネント、および認知科学からのいくつかのインスピレーションで拡張しています。マッチドステップ・プロトコル下(215,000最適化ステップ)で...

arXiv cs.AI

2026年5月29日

金融意思決定環境におけるLLMエージェントの行動整合性と表現ダイナミクスを研究します。リスクレポート、実行シミュレーション、メモリ、再生可能なトラジェクトリを備えた監査可能な取引エージェントテストベッドであるTradeArenaを使用して、理論的根拠、ポジション、その他の要因がどのように変化するかを分析します。

arXiv cs.LG

2026年5月29日

実世界の意思決定を支援するAIツールは、推奨事項を知らせ解釈可能にするシミュレーションモデルを構築できる必要があります。モデリング実務の側面を自動化できるツールは、人間の専門知識を補完する必要があり、置き換えるべきではありません。BEAMS Initiativeは、開発を指導することを目的としています。

arXiv cs.AI

2026年5月29日

推論モデルはシングルターンベンチマークで評価されているが、ユーザーが正解に異議を唱えるマルチターン対話環境に配備されている。継続的な敵対的圧力下では、これまで文書化されていない障害モードが見つかった：思考の連鎖は最初のターンから最後まで事実上正確であるが、回答は変わる。

arXiv cs.AI

2026年5月29日

MathCheck（ICLR 2025）のパラフレーズ品質監査により、129グループ中4つのセマンティック的に不正確なパラフレーズ（3.1%）が検出されました。これらを削除するとGPT-4oはランク2からランク4に低下し、Claude HaikuとDeepSeek V3がそれを上回ります。これらのランク変動は単一モデル評価では見えません。

arXiv cs.LG

2026年5月29日

数学推論ベンチマークはLLMの評価に不可欠だが、多くは静的で公開評価やトレーニングパイプラインを通じて繰り返し露出しており、真の推論と暗記を区別することが困難である。一方、新しい数学問題の手動構築は...

arXiv cs.CL

2026年5月29日

これはペアリングなしパイロット監査を伴う計画方法に関する注記である。古典的なペアリング二項サンプルサイズ計算（Miettinen, 1968）を量子化ベンチマークに適応させ、ペアリングされた最小検出可能効果（MDE）の保守的な下限を提供している。

arXiv cs.LG

2026年5月29日

arXiv:2605.29218v1 文書の発表。言語モデルをブラウジングおよびツール使用機能と組み合わせたWebエージェントは、オープンなWebアシスタントとしての可能性を示していますが、スケーラブルなプロセスレベルの監督の不足により進展が制限されています。既存のベンチマークは主に手動で構築されており、粗い開始ゴール注釈のみを提供しています。

arXiv cs.AI

2026年5月29日

arXiv:2605.29225v1 文書の発表。自己進化型エージェントは過去の失敗を反省することで時間とともに改善されますが、既存の評価には2つの制限があります。タスクスコアのみを測定して反省の質は不明であり、エージェント自身のエピソード実行に依存して特定の失敗パターンに対応するメカニズムがありません。本論文では新しいアプローチを提示しています。

arXiv cs.AI

2026年5月29日

理論的な約束にもかかわらず、スケーラブルな監視プロトコルとしてのディベートは混合した実証結果をもたらしています。いくつかの設定では利益を得ていますが、特に審査官が隠された情報を持たない場合は、他の設定では効果がありません。より強いディベーター・より弱い審査官の設定で提案者批評家ディベートを研究しました。

arXiv cs.CL

2026年5月29日

エージェント型AIシステムは、本番インフラストラクチャとしてますます検討されており、複数のステップで推論し、ツールを呼び出し、ワークフローを通じて動作し、メモリとフィードバックを通じて適応している。これらのシステムは、従来のソフトウェアまたは予測MLでは完全には捉えられていないガバナンスの課題を生み出している。

arXiv cs.AI

2026年5月29日

多言語LLMは、指示、ソースコンテンツ、および必要な応答言語が一致しない場合にますます使用されています。既存のベンチマークは多言語命令追従評価を拡張していますが、完全にクロスされた設計内でこれら3つの役割を分離することはめったにありません。MTM-Benchを導入します。

arXiv cs.CL

2026年5月30日

ゴールドマン・サックスが新たな日本株投資商品「GS Plus 日本株式（TOPIXアルファ）」を発表した。この商品は、TOPIXの構成銘柄から割安性や成長性などの指標で優良企業を厳選し、指数を上回るリターンを目指すもの。日本株が長期停滞する中、機関投資家のニーズが従来のベンチマーク運用からアルファ追求型へシフトしており、データ科学や機械学習を活用した新しい運用戦略が業界で広がっている。

PR TIMES

2026年5月30日

分散学習システムにおける通信効率化に関する新しい理論研究が発表された。機械学習の分散処理では、複数のコンピュータ間で勾配情報を交換する際の通信コストが大きな課題となっていた。 情報圧縮により通信量を削減する手法は既に活用されているが、圧縮に伴う精度低下の問題が存在していた。誤差フィードバック機構はこの課題に対する有効な解決法として注目されている。 この研究では、標準的な誤差フィードバック法とEF21という2つの主要なアルゴリズムについて、数学的に厳密な収束性の分析を実施した。最適なステップサイズの決定方法と、各アルゴリズムに適したリアプノフ関数の構築により、より正確な理論保証が得られたという。 この成果は、今後の大規模分散学習システムの効率化と性能向上に貢献する可能性がある。 （arXiv cs.LG）

2026年6月1日

テドロス・アダノム・ゲブレイェスス事務局長がイトゥリ州での遺体処理プロトコルに対する抗議後に訴えかけ。エボラ出血熱の流行を抑制するため、地域社会の協力が求められている。

The Guardian World

2026年6月1日

arXiv:2605.31021v1 現在の生成型AIのアライメント手法は、人間の判断の多様性を集計された統計的基準に縮約する単一的なベンチマーク枠組みに依存しており、文化的、人口統計学的、文脈的な評価のばらつきが見落とされている。本論文では、これらの違いを考慮したペルソナベースの評価フレームワークを提案する。

arXiv cs.AI

2026年6月1日

arXiv:2605.30738v1 大規模言語モデルが個別のベンチマークで強い成果を上げているにもかかわらず、エージェント型推論システムにおける推論戦略の合成、中間状態の保持、ツール調整の能力は依然として課題である。本論文では、エージェント型ツール呼び出し環境における汎化性能を向上させるMAVENを提案する。

arXiv cs.AI

2026年6月1日

臨床意思決定（CDM）は現実の臨床業務の中心であり、臨床医は不完全な証拠の下で診断を推測し、治療を選択し、将来の健康転帰を予測する。LLMは強い言語能力と広範なバイオメディカル知識により、これらの決定をサポートするために次第に使用されている。

arXiv cs.AI