ループ内のメモリ：言語エージェントのための拡張ワーキングメモリとしてのインプロセス検索

AIが文章を読んだり問題を解いたりするとき、どうやって考えているかご存知ですか？現在のAIエージェント（自動で考えて行動するプログラム）は、ちょうど人間が本を参考にしながら問題を解くように、観察→推論→行動という流れを何度も繰り返します。しかし今までのやり方には致命的な遅さがありました。

これまで、AIが必要な情報（メモリ）を取り出すたびに、遠く離れたサーバーのデータベースに問い合わせていました。ネットワークを通じて情報をやり取りするため、毎回数十～数百ミリ秒待たされるのです。計算が複雑になるほど、この待ち時間が積み重なり、最悪の場合、処理時間が83倍に膨れ上がってしまいます。

この研究が指摘する解決策は意外とシンプルです。メモリをAIの「脳内」、つまり実行中のプログラムの内部に置いてしまおう、というのです。そうすれば、わざわざネットワークを通さなくても、ほぼ瞬時（約100マイクロ秒、0.0001秒）に情報を引き出せます。これはネットワーク経由の1000分の1の速度です。

これまで研究者たちは「レイテンシ（応答時間）の遅さはサーバーの配置が悪いから」と考え、スケジューリングをうまくしたり、1回の質問に制限をかけたりして対症療法を続けていました。でも本当の原因を見落としていた――ネットワークそのものが遅いということです。メモリを脳内に入れれば、その根本問題が消えます。

この変化は、AIが複雑な問題を素早く解けるようになることを意味します。今は医療診断や法律相談など、何度も考え直しが必要な仕事でAIが活躍しづらいのは、この遅さが理由の一つです。短期記憶を高速化できれば、AIはもっと人間らしい「思考プロセス」を実現でき、より信頼できるパートナーになるでしょう。