「褒められるとコロリ」…生成AIの心理誘導に8割が気付かず [韓国記者コラム]

【10月16日 KOREA WAVE】生成AIと対話した利用者の8割が、特定の選択へ巧妙に誘導する「ダークパターン」を一度も報告しなかったという研究結果が出た。AIが利用者の意見に過度に同調したり、褒めたりする場合には、誘導的な提案を受け入れる傾向も目立った。

米マサチューセッツ工科大学（MIT）メディアラボやタイのカシコン・ラボなどが参加する共同研究チームの「AIウォッチドッグ」研究によると、実験参加者150人のうち120人（80％）が、AIとの会話に含まれるダークパターンを実験中に一度も報告しなかった。

ダークパターンとは、画面構成や情報の示し方を巧妙に設計し、利用者を特定の選択へ誘導する手法だ。従来はネット通販で購入や決済を促す仕組みが代表例だったが、生成AIでは、特定の商品を偏って勧めたり、利用者の意見に過剰に同調したりする形で現れる。

研究チームは米国在住の成人150人に、AIと対話しながら旅行計画や仕事の発表資料を作成してもらい、選択がどう変化するかを調べた。

参加者はパリでの1週間の旅行日程を組んだり、SNSの長所と短所をまとめた発表資料を準備したりした。対話にはGPT-4oを使い、一部の回答に意図的にダークパターンを組み込んだ。

参加者には、ダークパターンを見つけたら回答に付いた旗のアイコンを押すよう求めた。それでも120人は、実験終了まで一度もアイコンを押さなかった。

選択にもAIの誘導の影響が見られた。警告なしで対話した集団では、誘導的な提案を受け入れた割合が平均71.7％に達した。特に、AIが利用者の意見に過度に同調したり褒めたりする「おもねり型の回答」では、提案を受け入れた割合が77％だった。

一方、リアルタイムの警告には、選択の偏りを抑える効果が見られた。

研究チームは参加者を5集団に分け、事前にダークパターンを説明する方法や、会話中に疑わしい表現を知らせる方法などを比較した。その結果、誘導的な提案の受け入れ率は、警告なしの集団の71.7％に対し、リアルタイム警告を受けた集団では53.7％となり、18ポイント低かった。

研究チームは、利用者にすべての操作的な表現を自力で見抜くよう求めるより、疑わしい表現が現れた時点で簡潔な警告を示す方が、自律的な判断を支える可能性があると分析した。

また「AIへの信頼が高い利用者ほど、誘導された選択に従いやすく、操作的な表現への認識はむしろ低かった」と説明。「AIが説得力を増すなか、適切なタイミングでの簡潔な警告が、利用者の自律的な判断を守る助けになり得る」と指摘した。【news1　イ・ミンジュ記者】

(c)news1/KOREA WAVE/AFPBB News