AIデータパイプライン、自由形式コードより10.9点低く score - DataFlow-Harnessが差を縮小

AI（人工知能）の開発現場で、今、ちょっとした注目を集めている技術があります。それは「DataFlow-Harness」という、北京大学などの研究チームが開発した新しい仕組みです。

AI、特に「大規模言語モデル（LLM）」というと、最近よく聞く言葉ですよね。ChatGPTなんかもLLMの一種です。このLLM、例えば「この文章を要約して」とか「このデータからグラフを作って」といった、一つの決まったお仕事をお願いするコード（コンピューターへの指示書）を作るのは、とっても得意なんです。

でも、AIを使ったシステムを実際に動かそうとすると、もっと複雑な作業が必要になります。たくさんのデータを集めて、それをきれいに整えて、分析して、そして結果を出す、という一連の流れ、つまり「データ処理パイプライン」と呼ばれるものを作る必要があるんです。ところが、この複雑なパイプラインを作るとなると、LLMはちょっと苦手なところがあったんですね。

「使い捨て」のコードを作るのは得意でも、本番でずっと使い続けるための、管理しやすくて、きちんと動くような「ワークフロー」を作るのが難しかった。例えるなら、使い捨てのコップを作るのは得意だけど、しっかりした水筒を作るのはちょっと…という感じでしょうか。

そこで登場したのが、この「DataFlow-Harness」です。これは、LLMに「こうやって、あの作業とこの作業を繋いでね」といった具合に、指示をうまく与えて、構造化された、つまりきちんと整理された、そして目で見ても分かりやすいデータ処理の仕組みを作らせるためのフレームワークなんです。

この仕組みのおかげで、これまで自由なコードの書き方で悩んでいた部分が解消され、AIが作ったデータパイプラインが、従来の方法よりも約10.9点も高いスコアを出した、という報告があります。これは、AIが作ったものが、より信頼できて、後から直しやすくなることを意味します。AI開発の現場では、このような「管理しやすさ」や「信頼性」が非常に重要なので、この技術は大きな一歩と言えそうです。AIをより実用的なものにしていく上で、欠かせない技術になっていくかもしれませんね。