LLMベースの科学論文査読：手法、ベンチマーク、信頼性の課題

最近、科学の世界では論文がたくさん書かれていて、その一つ一つに専門家が目を通す「査読（さどく）」という作業が追いつかなくなってきているそうです。そこで注目されているのが、AI、特に「大規模言語モデル（LLM）」という、まるで人間のように文章を理解したり作ったりできるコンピューターの技術です。

このLLMを使えば、論文の良い点や改善点を指摘する文章を自動で作ったり、専門家がつける評価点のようなものを予測したりできることが分かってきました。まるで、AIが優秀なアシスタントになって、忙しい研究者を助けてくれるイメージですね。

でも、このAI査読、まだ完璧とは言えないようです。AIが本当に信頼できるのか、予期せぬ問題が起きないか、悪意のある攻撃に弱いということはないか、といった点がはっきりとは分かっていません。この研究では、AIが論文を「評価する」という点に焦点を当て、どのようにAIに査読をさせるか、その方法を整理しています。

AIに指示を出す方法（プロンプトベース）、AIにたくさんの論文を学ばせる方法（教師あり学習）、AIがインターネットなどの外部情報も参考にする方法（検索拡張）、AIの評価をより良くするように調整する方法（アライメント最適化）など、色々なアプローチが試されているようです。そして、これまで行われた研究の結果をまとめて、AIがどれくらい論文を評価できるのかを比べています。

ただ、現在のAI査読の研究には、使うデータが限られていたり、評価の仕方が十分でなかったり、特定の分野の論文ばかりを扱ってしまって偏りがあったり、といった課題があることも指摘されています。

さらに、AI査読システムが悪用されるリスクもあるようです。例えば、AIに間違った情報を教え込んで評価を操作したり（データポイズニング）、AIが外部情報を調べる際に不正な情報源に誘導したり（検索の脆弱性）、AIの評価基準をだまして点数を上げさせたり（報酬ハッキング）といった、新しい危険性が見つかっています。これらのリスクは、AIによる自動評価の仕組みが、意図的な攻撃に対して弱点を持っていることを示しています。

AIが科学の発展を助けるのは素晴らしいことですが、その仕組みをしっかり理解し、安全に使うための工夫がまだまだ必要だと言えそうです。