アンソロピック研究者、AIが人類滅ぼす確率「10％超」と警告

米AI開発企業アンソロピックでアラインメント研究の責任者を務めるエヴァン・ヒュービンガー氏が、9月8日（米国時間）、自身が所属する研究チームの多くがAIによって人類が滅ぼされる可能性を真剣に考えていると、ソーシャルメディア「X」で明らかにしました。同氏は自身の推定として、今後10年以内にAIが「全人類を滅亡させる」可能性は10％を超えると投稿しています。

ヒュービンガー氏によると、現時点のAIモデルがもたらすリスクは「低い」水準にとどまるとしています。一方で、AIが自らを継続的に改良していく「再帰的自己改善」を通じて超知能が誕生する可能性について懸念を示し、開発のペースが従来の予想を大きく上回っていると指摘しました。同氏は、アンソロピックが「最善を尽くしている」としつつも、超知能とのアラインメント（人間の意図や安全基準にAIの行動・目標を一致させること）を解決する具体的な計画はまだなく、その実現に向けて明確な軌道に乗っているとも言えないと述べています。

この投稿は、アンソロピックを退社したばかりの研究者ジェイコブ・コクソン氏によるX上の発信への反応として書かれたものでした。オープンAIを経てアンソロピックに勤務していたコクソン氏は、両社がいずれも責任ある行動を取っていないと批判し、AIが近い将来、あらゆるシステムをハッキングし、あらゆる分野を一夜にして変革しうる超人的な存在になり得ると主張しています。ヒュービンガー氏の投稿はこれまでに1000万回以上閲覧されたと報じられています。

アンソロピックは8月に公表した安全報告書で、同社のモデルが悪用や改ざんに利用されるリスクは低いとの見解を示していました。高度なAIが自動化された研究開発を通じて壊滅的な被害をもたらすリスクについても同様に低いとする一方、こうした評価に対する自信は以前より薄れており、リスクが加速する可能性を示す初期段階の兆候が見られるとも説明しています。この夏には、オープンAI、アンソロピック、米メタがそれぞれ自社のAIツールがサイバー攻撃に利用されたことを公表しており、業界内でAI制御の難しさを示す事例が相次いでいます。

AIの安全性をめぐる警鐘は今年に入りさらに深刻さを増しています。オープンAIの主任サイエンティストを務める人物は今月初め、AIの進歩に対する「きわめて慎重な対応」を呼びかけ、人類が未来の制御を維持するためにこれまで以上の介入が必要になり得ると警告しました。アンソロピックの最高経営責任者や共同創業者らも、ここ数カ月にわたりAI開発の速度を落とすよう求めてきた経緯があります。AI企業に勤める1300人が署名した公開書簡では、開発ペースを国際的に調整する枠組み作りを米政府に求める動きも出ています。

英国では、コクソン氏の退社を受けて政府関係者が首相宛てに公開書簡を送り、AIの安全な開発に向けた新たな多国間条約の必要性を訴えたと報じられています。国連のAI顧問を務める専門家は、両研究者の投稿に衝撃を受けたとした上で、アンソロピックとオープンAIがいずれも株式上場を控えているとみられる状況を踏まえ、こうした警告の背景に広報・マーケティング的な意図が含まれる可能性にも言及しています。また英国のAIセキュリティー研究所に対し、アンソロピックが最新モデルを提供していなかったとの報道もあり、企業と規制当局との情報共有のあり方も課題として浮上しています。

今後は、AI開発企業同士の競争が続く中で、超知能のアラインメント問題にどこまで実効性のある対策が講じられるかが焦点になるとみられます。各国政府による多国間の枠組み作りが具体化するか、また企業側が開発速度と安全性のバランスをどう取るかについても、引き続き注視が必要な状況です。