分散型エネルギーリソースの協調制御のための教師あり強化学習

最近、私たちの身の回りにある電気を使うモノ、例えば太陽光パネルや電気自動車（EV）、蓄電池などを、もっと賢く、バラバラに動かすのではなく、みんなで協力させてうまく使おうという動きが広がっています。これは、地球温暖化を防ぐために、再生可能エネルギーをたくさん使う上で、とっても大切なことなんです。

でも、これらの電気を使うモノ（これを「分散型エネルギーリソース」、略してDERと呼びます）は、それぞれ勝手な動きをするし、いつどれだけ電気を使うか、あるいは電気を作り出すか、予測が難しいという特徴があります。そのため、これまで使われてきた「こうすれば一番うまくいく」という計算方法（最適化手法）だけでは、これらのDERをうまくコントロールするのが難しくなっていました。

そこで注目されているのが、「強化学習（RL）」というAIの技術です。これは、AIが自分で試行錯誤しながら、一番良い方法を見つけていく学習方法です。DERの管理にも使えるんじゃないかと期待されています。ただ、この強化学習、ゼロから学習を始めると、たくさんの時間とデータが必要になる上に、必ずしも一番良い方法にたどり着けるとは限らない、という弱点がありました。

そこで今回、新しい学習方法が提案されました。これは、最近話題の「大規模言語モデル（ChatGPTのようなAI）」の学習方法にヒントを得たものです。この新しい方法では、まず、すでに「こうすればうまくいく」というお手本となるデータ（デモンストレーションデータ）を使って、AIに基本的な動きを教え込みます（教師あり学習）。その後、強化学習を使って、さらに賢く、より良い動きができるように調整していくのです。この二段階の学習で、DERの協力運転のルール（ポリシー）を効率的に作ろうというわけです。

さらに、この学習方法には二つのステップがあります。まず、あらかじめ用意されたデータで学習を深める「オフライン学習」を行い、次に、実際の電力システムで起こる変化に対応できるように、リアルタイムで学習を続ける「オンライン学習」を行います。この二段階のファインチューニングで、より現実の複雑な状況にも対応できる、賢いDER管理システムを目指しています。この技術が進めば、再生可能エネルギーをもっと上手に使って、私たちの社会の脱炭素化がぐっと進むかもしれませんね。