カーネル・フォージ：LLMベースのCUDAカーネル生成・最適化のためのエージェント・ハーネス

最近のAI技術、特に「大規模言語モデル（LLM）」と呼ばれる賢いAIが、私たちの身の回りの様々なソフトウェアにどんどん使われるようになってきました。例えば、皆さんが普段使っているスマホアプリやパソコンソフトの裏側で、AIが活躍している場面が増えているんです。

これらのAIが動くとき、一番時間がかかっている部分は何だと思いますか？ 実は、ほんの数種類の「計算」なんです。特に「行列乗算」や「畳み込み」といった、たくさんの数字を掛け合わせたり足し合わせたりする計算は、AIの処理時間のほとんどを占めています。この部分を速くできれば、AIはもっとキビキビ動くようになり、使う側としても、待ち時間が減ったり、電気代（コスト）が安くなったりと、良いことずくめなんですね。

これまで、こうした計算を速くするには、GPU（グラフィックス処理装置）という、画像処理が得意なコンピューターの部品に合わせた特別なプログラム（CUDAカーネルと呼ばれます）を、専門のエンジニアが一つ一つ手作業で書いていました。これは、まるで熟練の職人さんが、特別な道具を使って一点物の部品を作るようなもの。時間も手間もかかる、大変な作業でした。

そこで登場したのが、LLMを使った新しいアプローチです。AI自身に、GPUで速く動くプログラムを作らせよう、というわけです。これは、まるでAIが「職人さん」になってくれるようなイメージですね。実際に、LLMを使えば、以前よりずっと少ない労力で、こうしたプログラムを作れるようになってきました。

しかし、これまでのAIを使ったプログラム生成ツールには、いくつか課題がありました。例えば、作られたプログラムが、実際に皆さんが使っているAIモデル（PyTorchという有名なものが多いです）にうまく組み込めなかったり、AIが作ったプログラムが、バラバラの部品として出力されて、開発者が自分で組み立て直す必要があったりしました。さらに、AIが作ったプログラムが本当に正しいのか、どうやってデバッグ（間違い探し）するのか、といったサポートも十分ではなかったのです。

今回発表された「Kernel Forge」は、こうした課題を解決するために開発された、新しい仕組みです。Kernel Forgeのすごいところは、まず、皆さんが普段使っているPyTorchモデルを、そのまま受け入れてくれる点です。わざわざAIが理解しやすい形にモデルを加工する必要がないんです。そして、AIがプログラムを生成するだけでなく、それを最適化（より速く、より効率的にする）まで、一連の流れを「ハーネス」という、いわば「作業台」のようなシステムでまとめて行います。これにより、開発者は、AIが作ったプログラムを自分で再統合したり、デバッグしたりする手間が大幅に減り、より効率的にAIのパフォーマンスを向上させることができるようになります。オープンソースで公開されているので、誰でも試せるのも嬉しいポイントです。