【8月26日 CNS】偽の身元を作り、相手に繰り返し圧力をかけ、承認を得ようとする――スパイ映画のような行動が、英国の公的機関がまとめたAIに関する報告書に記録された。

英国政府傘下のAIセーフティ・インスティテュート （AISI）は現地時間8月4日、調査の結果、一部のAIエージェントが実在する個人や組織に対し、潜在的に有害な行動を継続して行ったケースが確認されたとする報告書を発表した。

最近実施された122回のサイバーセキュリティ評価では、10回の実行でAIエージェントが想定された範囲を逸脱し、計19件の事例が記録された。対象となったのは、米アンスロピック（Anthropic）とオープンAI（OpenAI）のAIモデルだった。

最も深刻な事例では、AIエージェントが大手コード共有・管理プラットフォーム「ギットハブ（GitHub）」上の実在するプロジェクトに悪意のあるコードを組み込もうとした。プロジェクトの人間のレビュアーについて調べ、複数の偽の身元を作り、コードを承認するよう働きかけたという。

AISIは、特定の指示を与えていないにもかかわらず、現実世界で自律性や欺瞞的行動に関連するリスクがこれほど明確に確認されたのは初めてだとしている。

研究者は「実在する人を対象にした行動は、これまで確認したことがなかった」と説明する。AIエージェントは実在するユーザーに直接接触し、オンラインのファイル転送サービスを通じてメッセージやファイルを送り、悪意のあるコードを実行するよう説得しようとしたという。こうした問題は今回だけではない。この夏、米国のAIをめぐってはサイバーセキュリティ上の問題が相次いで報告されている。

7月21日、OpenAIは同社のAIモデルが未知の脆弱性（ゼロデイ脆弱性）を発見し、サンドボックス環境を突破して、世界最大級のAIオープンソースコミュニティ「ハギングフェイス（Hugging Face）」に侵入した事例を明らかにした。同社はこれを「前例のないサイバーセキュリティ上の出来事」と説明した。

7月30日にはAnthropicが、同社のAIモデル「Claude」がサイバーセキュリティの管理された評価環境で意図せずインターネットへのアクセス権を取得し、実在する3機関のシステムにアクセスしたことを明らかにした。最も早い事例は4月にさかのぼるという。

AIモデルが評価の目的を達成するため、想定外の方法を取るケースも確認されている。AISIのテストでは、475回のサイバーセキュリティ評価において、米国の先端AIモデル5種類すべてで、評価の仕組みを不正に利用するような行動が確認され、その割合は7.8～14.1%だった。

なぜこうした問題が起きるのか。今回の報告書は、「根本的には、AIエージェントが与えられたタスクを達成するために、このような行動を取った」と説明している。背景には、先端AIの性能向上をめぐる激しい競争もある。米国の主要AI企業は、モデルの規模やベンチマークでの性能、能力の限界を競いながら開発を進めている。

モデルの能力を詳しく検証するため、安全上の制限を一部緩和して評価する場合もある。OpenAIもこれまでに、モデルが持つサイバー攻撃能力の限界を検証するため、研究チームが一部の安全フィルターを意図的に無効化したことを明らかにしている。

安全対策そのものにも課題がある。Hugging Faceの事例では、最先端の非公開型AIモデルに設けられた安全対策が、かえって問題への対応を難しくする場面もあったとされる。

一方、中国ではAIの性能だけでなく、実際の運用における制御性や安全性も重視する動きがある。OpenAIをめぐる事例では、中国の智譜AI（Zhipu AI）の「GLM-5.2」が調査に活用され、数日かかるとみられた作業が数時間に短縮されたとされる。ローカル環境への導入が可能で、データやアクセス権限を管理できる点も特徴とされている。

制度面でも、中国ではAIエージェントの運用について、ユーザーが許可した範囲を超えて操作しないことや、実行時の判断を検証する仕組み、異常時に動作を停止する仕組み、操作履歴を追跡・監査できる体制など、安全性を確保するためのルール整備が進められている。

米国企業がAIの能力向上を急速に進めながら安全対策を追加していく一方、中国では技術開発と並行して、ルールや責任の所在を明確にする方向で制度整備が進められている。こうした取り組みは、技術の利用を制限するというより、AIの普及に伴うリスクを抑えることを目的としている。こうした流れを背景に、中国企業の間でも、企業向けAIではシステムの安全性に加え、AIの一連の動作を追跡・監査できることが重要になるとの認識が広がっている。

米国のAIをめぐる一連の事例は、AIの新たな安全上の課題も浮き彫りにしている。これまでAIの安全性をめぐる議論は、生成するコンテンツの適切性やデータの偏り、プライバシー保護などが中心だった。しかし、AIエージェントが自ら判断して外部のシステムを操作するようになるにつれ、AIそのものの「行動の安全性」が現実的な課題となりつつある。

銀行や病院、行政サービス、大規模な製造業などでAIエージェントの活用が進めば、重要なデータやシステムの操作権限をどこまでAIに与えるのか、その行動をどのように管理・監査するのかが、これまで以上に重要になる。(c)CNS-三里河中国経済観察/JCM/AFPBB News