メモリリークの正体は glibc malloc だった ── Python 以外でも効く LD_PRELOAD 1 行のアロケータ差し替え

「あれ？なんかサーバーのメモリがどんどん増えていってるぞ…？」

そんな経験、プログラマーなら一度はあるかもしれません。今回は、Pythonで書かれたWebサーバー「FastAPI」で実際に起きた、メモリがどんどん増えていってしまう謎の現象について、その原因と解決策を分かりやすく解説します。

この問題に直面したのは、ある開発者の方。FastAPIで作ったサーバーを動かしていると、時間が経つにつれてサーバーが使うメモリの量が、まるで息継ぎなしに増え続ける一方。しまいには、サーバーが「もうメモリがない！」と悲鳴を上げて止まってしまう（これを「OOM」と言います。Out Of Memoryの略です）。

「なんでだろう？」と原因を探ったところ、驚くべき事実が判明しました。実は、Pythonのコード自体に大きなバグがあったわけではなく、プログラムがメモリを確保したり解放したりする仕組み、つまり「メモリのアロケータ」に問題があったようなのです。

具体的には、多くのLinuxシステムで標準的に使われている「glibc malloc」というメモリ管理の仕組みが、どうもメモリをうまく解放できていなかった、ということが原因だと考えられています。例えるなら、使ったお皿を片付けずにどんどん溜め込んでしまい、キッチンの作業スペースがなくなってしまうようなイメージです。

そこで、この開発者の方は、お皿の片付けが得意な別の「メモリのアロケータ」、具体的には「jemalloc」というものに交換してみました。すると、どうでしょう！さっきまでどんどん増えていたメモリ使用量がピタリと止まり、OOMも発生しなくなったのです。

このことから、問題の根本はglibc mallocのメモリ管理にあったと判断されました。

さらにすごいのは、このメモリのアロケータを切り替える方法が、とても簡単だということ。特別なプログラムの改修はほとんど必要なく、「LD_PRELOAD」という仕組みを使うことで、たった1行の設定で、glibc mallocの代わりにjemallocを使えるようになるのです。これは、プログラムの起動時に、あらかじめ指定したライブラリを読み込ませるというLinuxの機能を利用したテクニックです。

この技術を知っておくと、Pythonだけでなく、他のプログラミング言語で書かれたプログラムでも、メモリ管理にまつわる問題を抱えたときに、比較的簡単に解決できる可能性が広がります。特に、長期間稼働させるサーバープログラムなどでは、メモリリーク（メモリが解放されずに溜まっていく現象）は深刻な問題になりがちなので、この「アロケータの差し替え」というテクニックは非常に有効な手段と言えるでしょう。

普段あまり意識しないメモリ管理ですが、プログラムの安定稼働には欠かせない、縁の下の力持ちなのです。