AIの最大のボトルネックは計算ではなくメモリ——韓国チップスタートアップが1億3500万ドル調達

人工知能の性能向上は、ここ数年GPUやTPUといった専用プロセッサの計算能力競争が中心だった。しかし韓国発のハードウェアスタートアップXCENAが提起する問題提起は、この認識の根本的な転換を迫るものだ。

現在のAIシステムにおいて、実際のボトルネックは計算スピードではなく「メモリ帯域幅」にあるという主張の背景を理解するには、大規模言語モデルの動作メカニズムを知る必要がある。GPT系やLlama系といった数十億～数兆パラメータのモデルでは、推論時にメモリから膨大なデータを読み書きする。計算ユニットはこのデータ転送の完了を待つ状態が多くの時間を占め、結果として計算能力の数割～半分程度しか実際には使用されていない状況が発生している。

この現象は「メモリウォール問題」として学術界では既知だったが、実用的なAIシステムの普及に伴い、経営判断レベルでの重要性が急速に高まっている。スタンフォード大学の研究グループが2023年に発表した分析では、実運用環境のトランスフォーマーモデルでメモリ効率が全体スループットの制限因子となる確率が70%を超えるとされている。

XCENAの1億3500万ドル調達は、この技術課題に対する投資家の信頼の表れでもある。同社が開発を進めているメモリアーキテクチャは、おそらくHBM（High Bandwidth Memory）の革新や、新しい接続プロトコルの最適化、あるいはキャッシュ階層の再設計などを含むと推測される。日本や米国のメモリメーカーがサムスンやSKハイニックスといった既存プレイヤーに占有されている中で、新興企業がこの領域で資金を集める背景には、既存チップ企業では対応しきれない革新的なアプローチへの期待がある。

今後、AI推論の効率化競争では、単位電力当たりのスループット性能（エネルギー効率）がますます重要になる。データセンターの電力消費問題が社会的制約になりつつある中で、メモリ最適化はコスト競争力にも直結する課題なのだ。