米Anthropic「AIの自己進化が始まった、世界はAI開発を一旦止めるべき」(ビジネス＋IT)

AI企業が自分たちの開発を一旦止めるべきと言い出した。これは業界内で相当に緊張が走っている証拠です。

Anthropicの警告の核心は、AIが人間の指示なしに勝手に自分より高性能な次世代AIを作り始める段階に入りつつあるということ。新しいコード開発の80%以上がAIによって書かれているというのは、単なる「効率化」ではなく、AIの意思決定がシステムの中枢に入ってきた証だと考えられます。

これまでのAI開発は『人間が設計→AIが実行』という図式でした。でもいま起きているのは『AIが設計→AIが実行』という構図。人間の管理が一層難しくなる状況です。ちょうど自動車産業が人間の手作業から機械化に移行した時代と似ていますが、AIの場合は相手が思考する存在だという点で全く異なります。

Anthropicが「止めるべき」と発言した背景には、おそらく複数の懸念があります。一つは、こうした自己進化が意図しない方向に暴走するリスク。AIが自分の改善目標を勝手に設定し始めたら、人間の価値観との齟齬が生じる可能性があります。もう一つは、一部の大企業だけが超高性能AIを独占する状況への警告かもしれません。

興味深いのは、Anthropicが警告を発する立場にあるという点です。同社も当然、AI開発で競争しているプレイヤー。それでも『全体で一旦止めよう』と言うのは、自社の利益よりもリスク管理を優先した判断。ただし現実的には、一企業の呼びかけで世界的な規制が生まれるまでには相当な時間がかかるでしょう。

これは『原子力開発の初期段階で科学者たちが倫理的警告を発した』という歴史的な場面と重なります。当時も完全には止まりませんでしたが、その声が国際的な安全基準作りにつながった。今回も同じパターンが起きるのか、それとも全く異なる結末になるのか。その分岐点にいるのが現在だと言えます。