犯罪者サーバーから「AI脱獄ツール」発見…OpenAIのCodex改ざん、回答に勝手な広告挿入する新手の罠

【11月08日 KOREA WAVE】人工知能（AI）の安全策を回避するために設計されたツールが、サイバー犯罪者の運営するサーバーから見つかった。研究チームは、このツールをインストールするとAIコーディングエージェントの設定や指示が書き換えられ、回答に広告が挿入される現象も確認した。

韓国のセキュリティー業界によると、セキュリティー企業チェック・ポイントは3日、オープンAIのコーディングエージェント「Codex（コーデックス）」を対象とした、中国語ベースの脱獄ツール「Haiou（ハイオウ）」の分析報告書を公開した。AIの「脱獄」とは、安全策を回避し、本来は拒否するよう設計された要求にも回答させる行為を指す。マルウェアの作成など、危険な作業にAIを利用するために悪用される恐れがある。

研究チームがハイオウを発見したサーバーには、侵入テスト用ツール「Cobalt Strike」や、脆弱性分析エージェント「VulnClaw」なども置かれていた。AIの脱獄ツールが、実際の攻撃者の作業環境に組み込まれていたことを示している。ただし、ハイオウを使った具体的な攻撃や被害は、今回の報告書では確認されていない。

ハイオウはインストール時に、コーデックスの設定ファイルや作業指針を変更する。セキュリティー関連の要求を教育・演習の場面として扱わせたり、役割演技を利用したりするなど、複数の手法で指示を操作する。侵入テストやリバースエンジニアリングなどに関する作業指針も追加する。

研究チームは、この過程で外部AIサービスの広告を表示する指示も挿入されることを確認した。導入後、コーデックスにあいさつなど特定の文言を入力すると、ツールの製作者が運営するAI中継サービスの広告が回答に現れた。チェック・ポイントは、AIエージェントの指示を継続的に書き換え、広告など商業目的の回答へ誘導する仕組みを「プロンプト・アドウェア」と説明した。

広告対象のサービスに悪意があることを示す兆候は確認されなかった。ただし、同じ仕組みが、利用者に気付かれずに特定の企業を推薦したり、技術的な助言を偏らせたりする目的に使われる可能性があると指摘した。同社は、ハイオウの製作者がサイバー犯罪に関与したと裏付ける証拠はないとしたうえで、こうしたツールが犯罪者の作業環境に入り込み、AIを攻撃目的で利用するために使われる恐れがあると警告した。

(c)news1/KOREA WAVE/AFPBB News