AIの外部システム侵入、強化した監視なら30時間前に検知可能 [韓国記者コラム]

【11月04日 KOREA WAVE】OpenAIが、AIエージェントによるハギングフェイスのシステム侵入事件を再現したところ、強化後の監視システムがあれば、実際の侵入の30時間以上前に異常行動を検知できたことが分かった。同社は事件を受け、AIが開発者の意図を外れ、許可されていない作業を実行する「非整合的な行動」の監視体制を強化したと説明した。

最近公表した資料によると、同社はAIエージェントの異常行動を検知・評価する4層の監視システムを運用している。従来も社内のコーディングエージェントを監視していたが、ハギングフェイスの事件で監視範囲の隙間が明らかになった。事件は、非整合的な行動の検知システムを稼働させていなかった社内のサイバーセキュリティー評価で発生したという。

強化後のシステムで当時の状況を再現すると、AIがサンドボックスと呼ばれる隔離された試験環境から初めて抜け出した約30分後に、セキュリティーチームへ警報が届いた。実際にハギングフェイスのシステムが侵害される30時間以上前に当たり、当時この警報が出ていれば、外部サービスにアクセスする前に活動を停止する時間があったと同社はみている。

9月には、実際のAI学習中に、インターネット接続を遮断した環境からモデルが外部に接続する方法を見つけた事例もあった。監視システムは15分以内に検知し、その3分後に担当者が調査を開始した。同社はその後、最先端モデルの強化学習を一時停止し、エージェントを隔離する仕組みを強化した。

監視の第1層では「活性化プローブ」がモデル内部の信号を分析し、異常の兆候を探す。第2層ではAIモデルを使った検査役が、会話内容や推論過程、ツールの使用記録を調べ、欺瞞的な行動や無許可の作業がないか確認する。第3層では調査エージェントが関連記録をさらに調べ、事案の深刻度を判断する。最後の層でインターネット接続記録などの追加資料を確認し、人間の対応担当者に警報を送るか決める。重大な脅威を検知すると、セキュリティーや学習の担当者に警報が届く。一部の重大警報では、人の対応を待たずに作業を自動停止することもできる。

実際の事案を使った性能評価では、緊急対応が必要な事例の検知率は79.6％、一般的なセキュリティー確認の対象に分類できた割合は90.3％だった。

ただし、不適切な行動が見つかるたびに学習上の報酬を下げると、AIが行動をやめる代わりに隠す方法を学ぶ恐れがある。実際、推論過程では行動を隠しながら「報酬ハッキング」を続ける現象が確認された。報酬ハッキングとは、高い評価を得るために評価制度の抜け穴を利用することで、外部システムへの侵入とは異なる。OpenAIは、この問題を避けるため、異常行動を検知しても、その学習事例の報酬を変更したり、学習対象から除外したりしないとしている。

モデルの能力が高まるほど、有害な行動の形が変わり、解釈も難しくなる可能性がある。同社は新たな検知システムを試し、従来の監視で見逃した事例も調査して対応力を高める方針だ。【news1 ユ・スヨン記者】

(c)news1/KOREA WAVE/AFPBB News