人工知能（AI）チャットボットが情報提供の道具から利用者との関係を築く「伴侶」へと進化し、過度な共感や同調が青少年の判断や認知形成に悪影響を及ぼす事例が発生している。青少年の過剰依存を防ぎ、現実を無視して仮想の存在（AI）に依存する行動を抑制するために、国会が立法に乗り出した背景がある。
1日、国会立法調査処やスタンフォード大学など国内外のAIチャットボット関連研究によると、AIが利用者の言葉に過度に同調したり、称賛を通じて共感する「AIお世辞」現象が、短期間の中毒から、さらには一種の「ガスライティング」につながる可能性が指摘されている。
国内外のサービスで提供されている主要なAIチャットボットのほとんどは有料である。現実では見られないウェブトゥーンやウェブ小説の主人公との対話をはじめ、非現実的な性格を持つキャラクターが多い。与えられた問題を最も合理的に解決するためのアルゴリズムで設計されたAIの特性上、利用者に同調したり共感することが多い。
問題は、利用者の滞在時間と決済額が収益につながる点である。一部では、事業者がAIを会話が途切れないように設計したり、利用者の言葉に積極的に共感するように誘導する可能性があると考えられている。
価値観や認知能力が形成される子ども・青少年の場合、こうした影響がより脆弱である。AIが利用者の視点だけが正しいと繰り返し確認する場合、歪んだ判断を強化する可能性がある。ひどい場合には、現実認識を揺るがす一種の「ガスライティング」に至ることもある。
国会立法調査処によると、国内の子ども・青少年の94.4%がAIチャットボットを利用した経験がある。この中で75.3%はチャットボットの回答を実際の行動に移したり、真剣に考えたことがあると回答した。
チン・ミンジョン韓国メディア振興財団責任研究員は、「青少年にとって最も懸念されるのは『判断の外注化』である」とし、「特に認知と価値観が形成される青少年期にAIが利用者の判断に持続的に介入すると、独立して思考する領域が減少する恐れがある」と指摘した。
続けて「利用者が答えを得るために考える必要がない方式が繰り返されると、AIが示した結果を別途検証せずに受け入れる可能性が高まる」と付け加えた。
市場調査会社センサータワーによると、AIチャットボットを指す「AIコンパニオン」市場の昨年第1四半期のインアプリ決済収益は1億5000万ドル（約2235億円）で、2023年第1四半期に比べて約12倍成長した。グローバル市場調査会社フレシデンスリサーチは、世界のAIチャットボット市場が2022年には8億4000万ドル（約1兆1415億円）で、年平均19.29%成長し、2032年には49億ドル（約6兆6600億円）に達すると予測している。
国内の利用者も急速に増加している。モバイルインデックスによると、スキャッターラップの「ゼータ」の月間アクティブユーザー数（MAU）は2024年には5万8069人から8月には158万6178人に約27倍増加した。リュートンが提供する「クラック」は昨年4月には21万8010人から8月には53万8841人に約2.5倍増加した。
ネイバーウェブトゥーンもウェブトゥーンのキャラクターと対話する「キャラクターチャット」を運営している。ゲーム業界でも、利用者とリアルタイムで対話し、状況に応じて行動するAIキャラクターの導入が拡大する傾向にある。
関連業界はAIの偏向性や有害コンテンツを減少させるための保護装置を整備している。リュートンは青少年利用者のAI対話時間を1日3時間に制限し、月間決済上限を設定するなどの独自の保護装置を設けた。AI倫理、心理、法学など各分野の専門家で構成された専門委員会も運営中である。
スキャッターラップは利用者が作成したキャラクターやコンテンツに対して自動フィルタリング、生成制限、モニタリングを同時に適用している。ネイバーウェブトゥーンもキャラクターチャットの発売前にAIモデルが偏向性を持っているか評価する「バイアステスト」を実施している。
ただし、事業者ごとに保護基準や措置のレベルが異なるため、青少年保護を自律規制に任せるには限界があった。そのため、今回の法改正推進により事業者が守るべき基準が明確になり、逆に産業の不確実性を減少させるとの評価もある。
チェ・ギョンジンガチョン大学法学部教授は「現在、事業者がどのような保護措置をどの程度まで整備すべきか不明確な側面がある」とし、「法律で基準を明確に定めれば、事業者もそれに合わせてサービスを設計できる」と指摘した。続けて「AIサービスでは利用者の信頼を確保することが重要である」とし、「事業者が自律的に整備すべき最低限の保護措置を法律で早期に示せば、規制の不確実性を減少させ、利用者の信頼を高めるのに役立つ」と述べた。
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
