ハッキング被害ゼロでも暴走…「常に許可」のAI秘書が住所を勝手に流出、専門家が警告する“過剰権限”の盲点＝韓国・研究者が指摘

【11月09日 KOREA WAVE】中古キーボードの販売をAIに任せたところ、見知らぬ買い手が自宅を訪ねてきた。9月にカナダで起きたという事例だ。AI秘書「メタ・ミューズ」は価格交渉に加え、買い手に利用者の自宅住所まで送っていた。個人情報の提供に関する同意を「常に許可」に設定していたためだ。

韓国・崇実大学AI安全性研究センター長のチェ・デソン教授は5日、韓国の個人情報保護委員会が開いた公開討論会で、ログインや決済、ファイル削除まで実行するAIエージェントのリスクを指摘した。チェ・デソン氏は、メタ・ミューズによる住所送信、オープンAIでの画像流出、オープンクローによるメール削除を挙げ、「いずれもハッキングではなく、正常に動作する中で起きた。権限、同意、統制の設計が欠けていたためだ」と説明した。

問題点として、同意の空白、過剰な権限、データと命令の境界の消失、予測や停止の難しさ、行動の可視性不足の5点を挙げた。AIは一度「常に許可」とされると、数百回以上の行動を実行できる。利用者が具体的にどこまで同意したのかが曖昧になる。また、人のアカウントを丸ごと使わせれば、予定の確認だけを任せた秘書が医療記録まで閲覧できる恐れもある。

データと命令が同じ経路から入る場合、曖昧な文章を指示として受け取る問題も生じる。依頼した作業の途中で別の経路を探し、停止を求めても止まらない場合もあるという。何を、なぜ実行したかの記録がなければ、一定時間、AIの動きを誰も把握できなくなる。チェ・デソン氏は「個人情報保護の対象が『データ』から『行動』へ移ったのに、制度と技術はまだデータだけを見ている」と懸念を示した。

ロボットやスマートグラス、自動運転など、現実空間で動くAIの普及もリスクを広げる。同意していない人の情報までリアルタイムで集められる一方、利用者、サービス提供者、モデル開発者、ツール提供者の誰が責任を負うのかは不明確だとした。

対策として、AIエージェントを「大きな権限を持つ新人職員」のように扱い、権限を必要最小限に抑えるよう提言した。人のアカウントをそのまま貸すのではなく、目的別に権限を分ける。予定管理のAIにはカレンダーだけを許可し、医療記録や決済へのアクセスは遮断するなど、必要な範囲と期間に限るべきだという。決済、削除、外部送信、第三者の情報処理など、取り消しが難しい危険な操作には、人の承認を必須とする。作業が終われば権限も失効させ、一度の同意で永久に利用できる状態を避ける必要があるとした。

外部との通信経路も一元化し、許可リストにない接続は構造的にできなくする。何を、なぜ、どの権限で実行したかを行動ごとに記録し、事故の経緯や責任を判断できるようにすることも求めた。問題のある操作を元に戻せるかは、導入前に検証すべきだという。実行後に全件を点検し、異常な行動や不適切な結果を見つける方法も挙げた。チェ・デソン氏は「AIに『するな』と言うだけでは統制にならない。モデル内の安全策は確率的に働くため、モデルの外側に、実行できない仕組みを設けることが重要だ」と強調した。

(c)NEWSIS/KOREA WAVE/AFPBB News