タイムライン検索

2025年12月8日

本記事は、PFNのインターンシップを経て現在はアルバイトとして勤務されている上田蒼一朗さんによる寄稿です。 はじめに Preferred Networks（以下PFN）ではKubernetesを用いた機械学習基盤の開発・ […] 投稿 Kubernetesスケジューラのベンチマークテスト は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年2月20日

Preferred Networksでは大規模言語モデル (LLM) PLaMoの開発を継続して行っています。 LLMを開発するにあたってその能力を評価するベンチマークは非常に重要です。英語においては様々なベンチマークが […] 投稿 日本語の自然さを測る評価手法の検証 は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年2月25日

はじめに Preferred Networksでは、大規模言語モデル「PLaMo」の開発を行っています。 PLaMoは開発サイクルにて様々なベンチマークによりその能力を評価していますが、今回はコード生成ベンチマークにてモ […] 投稿 コード生成ベンチマークのためのサンドボックス環境の開発 は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年5月15日

DatabricksがOfficeQA Proベンチマークで最先端の成績を達成したGPT-5.5をエンタープライズエージェントワークフローに活用しています。

OpenAI

2026年5月18日

Preferred Networks では、大規模言語モデル PLaMo の開発を継続して行っています。 LLM を開発するうえで、モデルの能力を適切に測定するベンチマークは重要です。英語ではさまざまなベンチマークが日々 […] 投稿 pretrained model向けのベンチマークの構築 は Preferred Networks Tech Blog に最初に表示されました。

Preferred Networks

2026年5月27日

AIアプリの構築には、機械学習の博士号や複雑なアーキテクチャとの格闘に数ヶ月を要する必要はありません。複数のAPI呼び出しを調整しようとする際の課題を解決し、Strandsを使用して迅速にAIアプリを開発する方法を紹介します。

AWS Machine Learning Blog

2026年5月27日

エージェンシャルAIへのシフトは、AIファクトリーの新しいCPU要件を生み出します：高速コア、膨大なメモリ帯域幅、およびすべてのコアがアクティブな場合でも高いパフォーマンスを維持する能力です。初期ベンチマークでは...

NVIDIA Blog

2026年5月29日

TechCrunch主催の有名なスタートアップピッチイベント「バトルフィールド200」の応募受付期限が延長されることになった。当初の予定から期限を6月8日まで伸ばすもので、世界規模での高い応募需要に対応するための判断である。 バトルフィールド200は、革新的なビジネスアイデアを持つ起業家が登壇し、投資家や業界関係者の前でプレゼンテーションを行うコンペティション。優勝者は資金調達や事業拡大の機会を得られることで知られており、世界中の起業家にとって注目のイベントとなっている。 期限延長は、予想を上回る数の応募があったことを背景としている。より多くの起業家に参加の機会を提供することで、イベントの規模と影響力さらなる拡大を目指す狙いがあるとみられる。 （引用元：TechCrunch）

TechCrunch

2026年5月29日

エージェント評価は、急速に変化するオンラインシグナルと安定したオフラインベースラインを組み合わせることで最も強力になります。エージェントが時間とともに本当に改善されているかどうかを理解するには、固定ベンチマークが必要です。

AWS Machine Learning Blog

2026年5月29日

GitHubは、開発者のライフスタイルを拡張する新しいESCコレクションを発表した。このコレクションは、デスク環境に限定されない働き方を提案している。 屋外での作業やカフェなど自然光の中でのアイデア出しに対応したアイテムを揃えており、開発者が従来のオフィス環境以外でも効果的に業務を進められるよう支援する狙いがある。 新コレクションの詳細については、GitHub公式ブログで確認できる。リモートワークの多様化に伴い、場所を選ばない開発環境への関心が高まる中、同社は開発者コミュニティのニーズに応える形でこのラインアップを展開している。 （引用元：GitHub Blog）

GitHub Blog (AI)

2026年5月29日

テック業界の注目プログラム「Startup Battlefield 2026」の応募締め切りが6月8日に迫っている。このプログラムは単なるコンテストではなく、投資家やメディア、業界の意思決定者が集まる場で、起業家のアイデアを短時間でプレゼンできる貴重な機会だ。選考を通過するには、市場調査に基づいた事業計画書、限られた時間で審査員の心をつかぐシンプルで魅力的なピッチ、そしてチームの実行力を示すことが重要である。準備期間は単なる選考対策ではなく、起業家たちが自社のビジネスモデルを磨き、課題を発見する成長の機会となる。

TechCrunch

2026年5月29日

多言語LLMは、指示、ソースコンテンツ、および必要な応答言語が一致しない場合にますます使用されています。既存のベンチマークは多言語命令追従評価を拡張していますが、完全にクロスされた設計内でこれら3つの役割を分離することはめったにありません。MTM-Benchを導入します。

arXiv cs.CL

2026年5月29日

arXiv:2605.29218v1 文書の発表。言語モデルをブラウジングおよびツール使用機能と組み合わせたWebエージェントは、オープンなWebアシスタントとしての可能性を示していますが、スケーラブルなプロセスレベルの監督の不足により進展が制限されています。既存のベンチマークは主に手動で構築されており、粗い開始ゴール注釈のみを提供しています。

arXiv cs.AI

2026年5月29日

推論モデルはシングルターンベンチマークで評価されているが、ユーザーが正解に異議を唱えるマルチターン対話環境に配備されている。継続的な敵対的圧力下では、これまで文書化されていない障害モードが見つかった：思考の連鎖は最初のターンから最後まで事実上正確であるが、回答は変わる。

arXiv cs.AI

2026年5月29日

MathCheck（ICLR 2025）のパラフレーズ品質監査により、129グループ中4つのセマンティック的に不正確なパラフレーズ（3.1%）が検出されました。これらを削除するとGPT-4oはランク2からランク4に低下し、Claude HaikuとDeepSeek V3がそれを上回ります。これらのランク変動は単一モデル評価では見えません。

arXiv cs.LG

2026年5月29日

数学推論ベンチマークはLLMの評価に不可欠だが、多くは静的で公開評価やトレーニングパイプラインを通じて繰り返し露出しており、真の推論と暗記を区別することが困難である。一方、新しい数学問題の手動構築は...

arXiv cs.CL

2026年5月29日

arXiv:2605.29225v1 文書の発表。自己進化型エージェントは過去の失敗を反省することで時間とともに改善されますが、既存の評価には2つの制限があります。タスクスコアのみを測定して反省の質は不明であり、エージェント自身のエピソード実行に依存して特定の失敗パターンに対応するメカニズムがありません。本論文では新しいアプローチを提示しています。

arXiv cs.AI

2026年5月29日

実世界の意思決定を支援するAIツールは、推奨事項を知らせ解釈可能にするシミュレーションモデルを構築できる必要があります。モデリング実務の側面を自動化できるツールは、人間の専門知識を補完する必要があり、置き換えるべきではありません。BEAMS Initiativeは、開発を指導することを目的としています。

arXiv cs.AI

2026年5月29日

これはペアリングなしパイロット監査を伴う計画方法に関する注記である。古典的なペアリング二項サンプルサイズ計算（Miettinen, 1968）を量子化ベンチマークに適応させ、ペアリングされた最小検出可能効果（MDE）の保守的な下限を提供している。

arXiv cs.LG

2026年5月30日

ゴールドマン・サックスが新たな日本株投資商品「GS Plus 日本株式（TOPIXアルファ）」を発表した。この商品は、TOPIXの構成銘柄から割安性や成長性などの指標で優良企業を厳選し、指数を上回るリターンを目指すもの。日本株が長期停滞する中、機関投資家のニーズが従来のベンチマーク運用からアルファ追求型へシフトしており、データ科学や機械学習を活用した新しい運用戦略が業界で広がっている。

PR TIMES

2026年5月30日

元『レイト・レイト・ショー』ホストが全国を旅して、米国の本質を定義するアイデアと矛盾を探索する。

The Hollywood Reporter

2026年5月30日

仙台市が新たに立ち上げた事業化支援プログラム「SENDAI Startup Studio Launch Program」の募集を開始しました。本プログラムはアイデア段階から実装・検証フェーズまでを包括的にサポートする点が特徴で、人口流出抑制と若年層の地元回帰を目指しています。東京一極集中が進む中、地域主導型の起業支援の必要性が高まっており、札幌市や福岡市など先行事例を踏まえた施策展開となります。成功にはメンタリングに加え、資金提供やベンチャーキャピタルとのマッチング機会、卒業後の出口戦略が重要です。

PR TIMES

2026年6月1日

Lidlの有名な中央通路を探索した後に、冷たいビールを飲むというように思える奇抜なアイデアについての議論。

BBC Business

2026年6月1日

arXiv:2605.30374v1 歩行中の股関節筋力と関節モーメントの推定は通常、筋骨格シミュレーションに依存しており、有用であるが時間がかかり臨床設定への適用が難しい。本研究は下肢からのこれらの股関節動力学パラメータを直接予測するための深層学習フレームワークを開発した。

arXiv cs.LG

2026年6月1日

知能の中核をなす関係推論が存在するが、既存ベンチマークは通常グリッドやテキストなどの形式に限定されている。グラフ構造データに対する抽象推論のベンチマークGraphARCを紹介し、Abstract Resoning Corpus（ARC）の少数ショット変換学習パラダイムを一般化する。

arXiv cs.AI

2026年6月1日

教室ビデオには観察可能な教授実践が含まれていますが、その教育学的および視覚的シグナルはモデル評価に適した形式で整理されることはめったにありません。本研究では、教室ビデオにおけるマルチモーダル教授観察のための人間検証済みベンチマークである「TeachObs」を提示します。TeachObsには30件のデータが含まれています。

arXiv cs.CL

2026年6月1日

RAGベースの法律アシスタントの人気が高まっているが、LLMの幻覚問題は依然として重要な課題であり、正義に�悪影響を及ぼす可能性がある。ベンチマークは開発されているが、多くは合成クエリに依存しており、現実的な法律シナリオではない。さらに、カナダ法は未だ十分に評価されていない。

arXiv cs.CL

2026年6月1日

エージェントベンチマークはますます豊富なインタラクション軌跡を記録していますが、評価では各ロールアウトを合格率または報酬スコアに還元することが多いです。TraceGraphは、リリースされたマルチモデルエージェント軌跡を共有決定ランドスケープに変換するグラフベースのフレームワークを紹介します。

arXiv cs.AI

2026年6月1日

LLMベンチマークのラベルはリリース時に固定され、エラーを含めたまま下流ベンチマークに静かに伝播される。本論文は項目反応理論に基づくインジケータを導入し、7つの選好評価および多肢選択ベンチマークにおいて95%の精度でトップ200の例における誤りラベルの可能性を検出する。

arXiv cs.CL

2026年6月1日

臨床意思決定（CDM）は現実の臨床業務の中心であり、臨床医は不完全な証拠の下で診断を推測し、治療を選択し、将来の健康転帰を予測する。LLMは強い言語能力と広範なバイオメディカル知識により、これらの決定をサポートするために次第に使用されている。

arXiv cs.AI