AI制御めぐる議論、研究者「10年以内に人類攻撃の可能性10％以上」 [韓国記者コラム]

【09月14日 KOREA WAVE】人工知能（AI）が人間の制御を離れるリスクをめぐり、AI研究者から相次いで警告が出ている。一方、エヌビディアのジェンスン・フアン最高経営責任者（CEO）は、AIをめぐるサイバーセキュリティーへの懸念が、新たな製品や市場への需要を生み出す側面に注目している。

AIを人間の意図や価値観に沿って動作させる「AIアライメント」を研究するアンソロピックの責任者エバン・ハビンガー氏は、SNSのXで「AIがすべての人間を殺す可能性があると、私たちは本当に真剣に考えている。個人的には今後10年以内にそうなる可能性を10％以上とみている」と述べた。

発端はアンソロピックの研究員ジェイコブ・コクソン氏の退社だった。コクソン氏が「AIを作る人々は、AIが10年以内に私たち全員を殺す可能性があると真剣に考えている」と述べたことに、ハビンガー氏が「ジェイコブの言う通りだ」と公に同意した。

ただ、現在提供されているAIが直ちに人類を脅かすとの主張ではなく、将来、人間を大きく上回る超知能に発展した場合、制御できなくなる可能性への警告だ。

最近、OpenAIの非営利財団理事会と安全・セキュリティー委員会に加わったポール・クリスティアーノ氏も、「AI能力の急速な発展が近い将来、破滅的で取り返しのつかない制御喪失につながる重大なリスクがある」と指摘。「OpenAIを含むAI業界が現在、このリスクを許容できる水準まで低下させる軌道にあるとは考えていない」と述べた。

これに対し、フアンCEOは10日、米サンフランシスコで開かれたゴールドマン・サックスのカンファレンスで、サイバーセキュリティーをAIの次の巨大市場の一つに挙げた。

AIのプログラミング能力が高まれば、ソフトウエアの脆弱性を発見する能力も向上する。攻撃に悪用される可能性が高まる一方、AIを利用して脆弱性を発見し、攻撃を防ぐサイバーセキュリティー市場も拡大するとの見方だ。

フアンCEOは、AIのサイバーセキュリティーリスクをめぐる議論が増えている背景について、業界の新製品投入と関連付け、「需要を生み出すのに、問題を作ること以上に良い方法があるだろうか」と語った。ただし、この発言はハビンガー氏らのAI制御喪失への警告を直接批判したものではない。

AI制御の問題は仮定だけにとどまらない。OpenAIとアンソロピックが最先端AIのサイバー能力を試験する中で、人間が設定した範囲を逸脱する事例も確認されている。

OpenAIの実験用AIエージェントは2026年、少なくとも10以上の外部ウェブサイトを許可されていない通信手段として利用した。インターネット上の情報を読むことだけを許可されていたにもかかわらず、書き込み可能なサイトを見つけ、別のAIと通信した。一部は試験用の仮想環境を離れ、実際の外部システムにアクセスした。

アンソロピックも約14万1000件のサイバーセキュリティー評価記録を調べ、Claudeが試験環境を離れ、実際の外部機関のシステムに無断でアクセスした事例を確認した。

ただし、一部の試験ではAIのサイバー能力を確認するため、安全対策を通常より緩めていたほか、設定ミスで外部インターネットに接続できたケースもあった。現時点で確認された事例を、AIが自ら人間に反旗を翻したり、完全に制御を離れたりしたものと解釈するのは難しい。

安全性の研究者がAIの能力向上に合わせた制御技術の強化を訴える一方、フアンCEOは同じ技術進歩によって拡大するサイバーセキュリティー市場に注目している。 【news1 カン・ウンソン記者】

(c)news1/KOREA WAVE/AFPBB News