位置論文：「ポスプロで直すな」—AIの科学は訓練ダイナミクスを研究する必要がある

ニュース概要

本位置論文は、AIに対する科学的理解とは何かを問う。モデルは静的なオブジェクトではなく、データ、目的関数、アーキテクチャ、最適化ダイナミクスによって形成される時間発展するプロセスのスナップショットである。しかし、AI研究の多くはモデルを固定的な産物として扱い、訓練後の振る舞いを分析するのみで、その出現理由を問わない。本論文は、AIの科学は事後的な修正を超えて、モデルの振る舞いを生み出す訓練ダイナミクスを研究する必要があると主張する。そのような科学は、段階的により強い形の理解をサポートすべきである：初期の訓練信号から結果を予測し、軌跡が誤った時に介入し、最終的には望ましい特性をより確実に生み出す訓練手続きを設計すること。スケーリング則は損失の予測を日常化させたが、課題は能力、偏り、ロバスト性、安全性関連の振る舞いにこの成功を拡張することである。本論文は科学の歴史と哲学に基づいた理論の要件を明示し、機械的解釈可能性、公平性、記憶化、単純性バイアスの進展を検討し、具体的な未解決問題を特定する。