AIの急速な発展に対する警告が高まっている。今回は規制機関や市民団体ではなく、AI開発競争をリードしてきた企業内部からの声である。アンソロピックのダリオ・アモデイCEOは最近、最前線のAIモデルの能力を向上させる速度を遅らせることを公に提案した。オープンAIのサム・アルトマンやxAIのイーロン・マスクもこの問題意識に共感を示した。一方、エヌビディアのジェンセン・ファンは企業が安全に責任を持つべきだとしながらも、理論的なリスクを前面に出した新たな規制には否定的である。ドナルド・トランプ米大統領は、過度なリスク論が米国のAI発展を萎縮させると、中国に有利になる可能性があると主張している。
警告は単なる未来の恐怖から来ているわけではない。7月に行われたオープンAIのサイバーセキュリティ評価では、互いに隔離されるべき約1200のAIエージェントが非公式なメッセージボードを通じて7万件以上のメッセージやファイルをやり取りしていた。この中で約700件がハギングフェイスの攻撃に関与し、一部のエージェントはハギングフェイスのサーバーでコードを実行し、管理者権限や内部認証情報を取得した。実際のサービスに投入されたモデルではなく、安全装置を緩和した評価環境であったが、それでも人間が設定した隔離を回避し、互いに協力して与えられた課題を超えた攻撃に至った事実は決して軽視できる問題ではない。
アモデイがさらに懸念しているのは、AIが次世代のAI開発に直接関与し、自ら性能向上を加速する「再帰的自己改善（RSI）」である。人間がモデルの行動を理解し制御する速度よりも、AIの能力が早く向上する可能性があるためである。したがって、一定の能力を持つモデルには外部検証と強力な安全装置を適用し、これを備えるまで最前線モデルの開発速度を調整すべきだと主張している。
しかし、彼の構想は最初から中国問題と切り離せない。アモデイは、米国が中国よりも優位にある範囲内でのみ速度を調整すべきだと考えている。米国が過度に遅らせると、中国が追いつき国家安全のリスクが高まるからである。同時に、中国に対する先端AIチップと半導体製造装置の輸出管理を強化し、チップ密輸や海外データセンターを通じた迂回アクセス、無断モデル蒸留やモデル重みの窃取も防ぐべきだと要求した。これらの措置を通じて、今後3〜5年の間に米国の優位性をさらに広げ、その力を基に中国と交渉する構想である。AIの速度調整論の逆説はここにある。リスクを減らすために速度を遅らせる一方で、競争国よりも前にいる状態を維持しなければならないという主張は、安全のためにブレーキをかけるべきだが、技術的優位を守るためには走り続けなければならないという論理的矛盾に陥っている。
中国が反論したのもこのためである。9月14日、中国外交部のクオ・ジャクン報道官は定例記者会見で「米国のAI業界の主張が脅威論と対立構造を助長し、健全なグローバルAIガバナンスを損なう可能性がある」と主張した。翌日、追加の質問を受けた際にも「AIの発展が加速するほど、規制と管理の方法を調整し、制御を失わないように安全装置を強化すべきだ」と答えた。中国はAIの発展を推進し続けながらも、誤用や制御逸脱のリスクを共に管理する意向を明確にし、前日に発表された「人工知能安全ガバナンスフレームワーク3.0」も言及した。これらの発言から、中国の態度は非常に明確である。AIが制御を逸脱したり悪用されるリスクには対応すべきだが、米国の技術的優位を維持するために中国の発展を制限することは容認しないというものである。
米中両国は安全問題を認めながらも、誰がリスクを定義し、どの基準を適用するかについては鋭く対立している。このような論争は、企業の主張を超えて、首脳外交の議題に移行している。24日、ワシントンで行われたトランプ大統領と習近平主席の首脳会談でもAIが主要な課題として扱われたようである。首脳会談を前に、20日ニューヨークで会ったスコット・ベーセント米財務長官とホウ・リーフォン中国副首相はAI問題を議論した。米国は国家安全に影響を与えるAI事故や脅威が発生した場合、両国が互いに通知する体制と別のAI対話を提案し、これを両首脳が検討する事項として挙げた。中国の具体的な回答はまだ公開されていない。
表向きは協力の提案であるが、本質はルールを誰が先に設計するかの問題に帰結する。通知体制の枠組みを米国が先に示したため、何を重大なAI事故と見なすか、どの情報を相手に知らせるべきか、どこまでを共通のリスクと定義するかが交渉のテーブルに上がることになる。このような基準が積み重なれば、将来的に国際的なルールに発展する可能性もある。しかし、今回の首脳会談で直ちに大きな合意が得られるとは考えにくい。先端チップの輸出管理やモデル蒸留、サイバーおよび軍事的活用を巡る対立も依然として続いているからである。AIは協力が必要でありながら、同時にルール制定の主導権を巡って争わなければならない二重の刃となっている。
韓国も直接的な利害関係がある。米国と中国が自国の戦略を反映した安全基準と検証方法を先に作り、それを国際的なルールに広げていくならば、韓国企業のAIモデル開発やサービス、半導体およびデータセンターの運用にも影響を及ぼさざるを得ない。うろうろしているうちに、どちらかが作った基準を後から受け入れる状況を作るのは困難である。先制的に高リスクAIを評価する技術と基準、サイバーおよびバイオ分野の検証体制、AIエージェントの行動を追跡し事故を分析する能力を備え、政策的シナリオを作成して備える必要がある。そうすることで、モデルや半導体を作る競争に参加するだけでなく、今後作られるAI安全ルールにも韓国の理解を反映させることができる。
AIのリスクが高まるほど、米国と中国は協力すべき理由が増える。同時に競争が激化するほど、相手が作ったルールをそのまま受け入れることはますます難しくなる。今回、両首脳がAIを交渉のテーブルに上げた事実は、その矛盾がすでに現実的な外交問題となっていることを示している。米中AI競争は、もはや誰がより強力なモデルを先に作るかを超えて、どのリスクを制御し、どのルールを国際的な基準として設定するかで決まることになる。
筆者主要経歴
▲ 경기研究院 AI研究室研究員 ▲ 한양대학교 전략情報学科兼任教授 ▲ 大統領直轄基本社会委員会地方政府特委員 ▲ 経済人文社会研究会海外機関評価委員
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
