大規模文芸コーパスの自動主題索引作成：ヴォルテールの全集に対する機械学習アプローチ

図書館で難しい古い本を手にしたとき、目次や索引がなかったら困りますよね。実は、ヴォルテールのような歴史的な大作家の全集には、今でも人間の手で一ページずつ「このページはどんな話題を扱っているか」というラベルをつける作業が行われています。これが「主題索引作成」という仕事です。

この地道な作業、実は膨大な時間がかかります。ヴォルテールの著作だけで数千ページ。人間がすべてをさばくのは、ほぼ不可能に近い。では、ここに人工知能を導入したら？というのが、今回の研究です。

研究者たちは、ヴォルテールの著作の中から「モラル論」と「百科事典についての問い」という2つの重要な作品をテストケースに、AIにこの索引つけ作業をさせてみました。具体的には、「このページにこんなラベルをつけるべき」という決定を、AIが自動で行うようにしたわけです。

ここで使われた技術が興味深い。最初は従来型のAI（エンコーダーベースモデル）も試しましたが、最終的に活躍したのは、ChatGPTなどの「大規模言語モデル」という新しいタイプのAIです。特に「Mistral」という比較的小型ながら性能の高いモデルに、計算効率を上げるための工夫（LoRA、4ビット量子化）を施したものが、最高の成績を出しました。F1スコア0.67というのは、簡単にいえば「約70%の確度で正しい判定ができた」ということです。

これだけ聞くと「まだ完璧ではないな」と思うかもしれません。その通りです。ただし重要なのは、この技術が「人間の手作業を完全に置き換える」ものではなく、「初期段階の仕分けを自動化し、専門家の負担を大幅に減らす道具」として機能するという点。人間の専門家は、AIが提案したラベルをチェック・修正するだけで済むようになります。これは、デジタル化が遅れている古典文学の世界では革命的です。

もう一つ見落とせない点は、この研究がアカデミア（学術の世界）とテクノロジーの接点を示しているということ。古い文学作品のデジタル化は、一見すると商業的な価値は低く、大きな投資がつきにくい分野です。でもそこに機械学習を応用する工夫をすれば、人手不足の問題が解決でき、より多くの人が古典にアクセスできるようになる。この発想は、他の学問分野にも応用可能です。