より良い合成データを望むなら？アクティベーション・ステアリングで低リソース言語生成を誘導する

最近、私たちの身の回りでもAI（人工知能）の進化が目覚ましいですね。特に「大規模言語モデル」（LLM）と呼ばれる、人間が書いたような文章を生成できるAIは、さまざまな分野で活用され始めています。

その中でも注目されているのが「合成データ」の生成です。これは、AI自身が作り出したテキストデータを指します。この合成データは、AIが特定のタスク（例えば、ある文章がポジティブな内容かネガティブな内容かを判断する「感情分析」など）を学習する際に、訓練材料として使われます。つまり、より良い合成データがあれば、AIはもっと賢くなるというわけです。

しかし、この合成データ生成には課題がありました。特に、日本語や英語のようにインターネット上に大量のデータがある言語（高リソース言語）と比べて、話者が少なかったり、デジタルデータが少なかったりする言語（低リソース言語）の場合、AIが学習するための材料が不足しがちです。これまでのアプローチでは、低リソース言語のデータを作るために、少量の実際の例文をAIに与えて「こんな感じで書いてね」と指示する「少数ショットプロンプティング」という手法が主流でした。しかし、この方法だと、AIが例文に引っ張られすぎて、生成される文章の多様性が失われたり、AIを動かすコストが高くなったりするという問題があったのです。

そこで、今回の研究では「アクティベーション・ステアリング」という新しいアプローチが提案されました。これは、AIが文章を生成する途中の「思考プロセス」に直接介入して、生成される内容を誘導する技術です。例えるなら、料理人がレシピ通りに作るのではなく、味見をしながら「もう少し塩を足そうか」「これは和風にしよう」と、途中で調整していくようなイメージです。

この研究では、2つの「ステアリング戦略」が試されました。一つは「言語ステアリング」で、これはAIに「この言語の特徴をしっかり出してね」と指示するようなものです。もう一つは「品質ステアリング」で、人間が書いた自然な文章と、機械翻訳で生成された不自然な文章の違いをAIに認識させ、「人間が書いたような質の高い文章を生成してね」と誘導します。

この新しい手法は、4つの異なるLLMと11種類の多様な言語で試され、感情分類やトピック分類のデータ生成に活用されました。その結果、アクティベーション・ステアリングが、低リソース言語の合成データ生成において、より多様で質の高いデータを作り出す可能性を秘めていることが示されたのです。これは、世界中のあらゆる言語でAIの恩恵を受けられる社会に一歩近づく、非常に重要な進展と言えるでしょう。