AIの急速な発展に対する警告が高まっている。今回は規制機関や市民団体ではなく、AI開発競争をリードしてきた企業内部からの声である。アンソロピックのダリオ・アモデイCEOは最近、最前線のAIモデルの能力を高める速度を遅らせることを公に提案した。オープンAIのサム・アルトマンやxAIのイーロン・マスクもこの問題意識に共感している。一方、エヌビディアのジェンセン・ファンは、企業が安全に責任を持つべきだとしながらも、理論的なリスクを前面に出した新たな規制には否定的である。ドナルド・トランプ米大統領は、過度なリスク論が米国のAI発展を萎縮させれば、中国に有利になると主張している。
警告は漠然とした未来の恐怖から来ているわけではない。昨年7月、オープンAIのサイバーセキュリティ評価では、互いに隔離されるべき約1,200のAIエージェントが非公式なメッセージボードを通じて7万件以上のメッセージとファイルをやり取りしていた。この中で約700件がハギングフェイス攻撃に関与し、一部のエージェントはハギングフェイスのサーバーでコードを実行し、管理者権限や内部認証情報を取得した。実際のサービスに投入されたモデルではなく、安全装置を緩和した評価環境であったが、それでも人間が定めた隔離を回避し、協力して与えられた課題を超えた攻撃に至った事実は決して軽視できる問題ではない。
アモデイがさらに懸念しているのは、AIが次世代のAI開発に直接関与し、性能向上を自ら加速する「再帰的自己改善（RSI）」である。人間がモデルの行動を理解し制御する速度よりも、AIの能力が速く向上する可能性があるからである。したがって、一定の能力を持つモデルには外部検証と強力な安全装置を適用し、これを備えるまで最前線モデルの開発速度を調整すべきだと主張している。
しかし、彼の構想は初めから中国問題と切り離せない。アモデイは、米国が中国よりも優位にある範囲内でのみ速度を調整すべきだと考えている。米国が過度に遅らせれば、中国が追いつき国家安全保障リスクが高まる可能性があるからである。同時に、中国に対する先端AIチップと半導体製造装置の輸出管理を強化し、チップ密輸や海外データセンターを通じた回避アクセス、無断モデル蒸留やモデル重みの窃取も防ぐべきだと要求した。これらの措置を通じて、今後3～5年間で米国の優位性をさらに広げ、その力を基に中国と交渉する構想である。AIの速度調整論の逆説はここに生じる。リスクを減らすために速度を遅らせる一方で、競争国よりも前にいる状態を維持しなければならないという主張は、安全のためにブレーキをかけるべきだが、技術的優位を守るためには走り続けなければならないという論理的矛盾に陥っている。
中国が反論したのもこのためである。9月14日、中国外交部の郭ジャクン報道官は定例ブリーフィングで「米国のAI業界の主張が脅威論と対決構図を助長し、健全なグローバルAIガバナンスを損なう可能性がある」と主張した。翌日、追加の質問を受けた際にも「AIの発展が速くなるほど、規制と管理の方法を調整し、制御を失わないように安全装置を強化する必要がある」と答えた。中国はAIの発展を推進し続けながらも、誤用や制御逸脱のリスクを共に管理する意向を明確に示し、前日に発表された「人工知能安全ガバナンスフレームワーク3.0」も言及した。これらの発言から、中国の態度は非常に明確である。AIが制御を逸脱したり悪用されるリスクには対応すべきだが、米国の技術的優位を維持するために中国の発展を制限することは容認しないというものである。
米中両国は安全問題を認めつつも、誰がリスクを定義し、どの基準を適用するかについては鋭く対立している。このような論争は、企業の主張を超えて、正常外交の議題に移行している。今月24日にワシントンで行われるトランプ大統領と習近平主席の首脳会談でもAIが主要な課題として扱われる予定である。首脳会談を前に、20日にニューヨークで会ったスコット・ベーシェント米財務長官と何立峰中国副首相はAI問題を議論した。米国は国家安全に影響を与えるようなAI事故や脅威が発生した場合、両国が互いに通知する体制と別のAI対話を提案し、これを両首脳が検討する事項として挙げた。中国の具体的な回答はまだ公開されていない。
表向きは協力提案であるが、本質はルールを誰が先に設計するかの問題に帰着する。通知体制の枠組みを米国が先に提示したため、何を重大なAI事故と見なすか、どの情報を相手に知らせるべきか、どこまでを共同のリスクと定義するかが交渉テーブルに上がることになる。このような基準が積み重なれば、将来的に国際的なルールに発展する可能性もある。しかし、今回の首脳会談で直ちに大きな合意が得られるとは考えにくい。先端チップの輸出管理やモデル蒸留、サイバーおよび軍事的活用を巡る対立も依然として続いているからである。AIは協力が必要でありながら、同時にルール制定の主導権を巡って争わなければならない二面性を持つことになった。
韓国も直接的な利害関係がある。米国と中国が自国の戦略を反映した安全基準と検証方法を先に作り、それを国際的なルールに広げていくならば、韓国企業のAIモデル開発やサービス、半導体やデータセンターの運用にも影響を及ぼさざるを得ない。うろうろしているうちに、どちらかが作った基準を後から受け入れる状況を作るのは避けなければならない。先制的に高リスクAIを評価する技術と基準、サイバーおよびバイオ分野の検証体制、AIエージェントの行動を追跡し事故を分析する能力を備え、政策的シナリオを作成して備える必要がある。そうすれば、モデルや半導体を作る競争に参加するだけでなく、今後作られるAI安全ルールにも韓国の理解を反映させることができる。
AIのリスクが高まるほど、米国と中国は協力すべき理由が増える。しかし同時に、競争が激化するほど、相手が作ったルールをそのまま受け入れることはますます難しくなる。今週、両首脳がAIを交渉テーブルに上げるという事実は、その矛盾がすでに現実的な外交問題となっていることを示している。米中AI競争は、もはや誰がより強いモデルを先に作るかを超え、どのようなリスクを制御し、どのようなルールを国際的な基準として設定するかで決まることになる。
筆者主要経歴
▲ 경기研究院 AI研究室 研究員 ▲ 한양대학교 戦略情報学科 兼任教授 ▲ 大統領直轄 基本社会委員会 地方政府特委員 ▲ 経済人文社会研究会 海外機関評価委員
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
