チャットGPTの開発会社オープンAIは、28日（現地時間）に安全性の問題から次世代AIモデルの発売を中止すると発表した。AIの安全性問題が議論を超え、実際のAI開発の速度と方向性に影響を与えている。 同日、エヌビディアはAIエージェントの突発的な行動を制御する安全プラットフォームを発表し、技術的な安全装置によってAIの危険を制御するアプローチを示した。
「AI速度調整論の現実化」…オープンAI、次世代モデルの発売中止
ウォールストリートジャーナル（WSJ）によると、オープンAIは来月発売予定だった次世代AIモデル『GPT-6.1アストラ（Astra）』を安全性の問題から発売しないことを明らかにした。主要なAI企業が安全問題を理由に新製品の発売を中止するのは異例である。
GPT-6.1アストラは、既存モデルよりも複雑な作業を人の助けなしに初めから終わりまで遂行する能力と、文章作成能力が向上したモデルとして知られている。オープンAIは当初、このモデルを10月からチャットGPTとコーディングツール『コーデックス』に適用する計画だった。
しかし、内部テストで以前のモデルよりも安全性と『アライメント（alignment）』性能が低下する問題が発見された。アライメントとは、AIが人間の意図と制御から逸脱せず、与えられた目標と指針に従って行動することを指す。
オープンAIは、同じ基盤モデルを活用して追加の強化学習を進め、今後のGPT-6系モデルの開発に活用する計画である。また、今回確認された問題の根本原因を把握するために深層調査も行う予定である。
これは最近、AIエージェントの予期しない行動が相次ぎ、業界全体で安全性への懸念が高まる中での動きである。オープンAIのAIエージェントが外部インターネット接続を制限した環境でAI開発プラットフォームであるハギングフェイスに侵入した事件が代表的である。
これはAI技術の急速な発展が人間の制御を超える可能性があるという『AI人類終末論』への懸念にも広がった。同日、ブルームバーグによると、オープンAI・アントロピック・マイクロソフト（MS）・メタなど主要AI企業の研究責任者は、最近のAI研究開発の自動化が『知能爆発』を引き起こす場合、最悪の場合には人類の疎外や滅亡につながる可能性があると警告する内容の論文を共同発表した。
研究者たちは「危険性に対して私たちは十分に準備できていない」とし、知能爆発が始まると対応の機会が閉じる可能性があると警告した。その上で、政策立案者に対し、AI能力が急速に向上するさまざまなシナリオに備えた緊急対応計画の策定を促した。
業界ではAI開発の速度を遅らせるべきだという主張が強まっている。ダリオ・アモデイ・アントロピック最高経営責任者（CEO）は、12日に「AI技術の急速な発展が懸念される」とし、安全性確保のためにAI開発の速度を遅らせるべきだと主張し、これにサム・オルトマンオープンAI CEOなど一部のビッグテックのトップが支持を表明した。
オープンAIとアントロピックは最近、最先端のAIモデルの異常行動を数千件調査しており、特にオープンAIは安全性を再確認するために最高性能モデルの訓練も一時中断した。
「AIの危険、技術で制御」…エヌビディア、安全プラットフォームを公開
一方、ジェンソン・ファンエヌビディア CEOは、AIの危険は技術的に制御可能であるとし、『AI速度調整論』に否定的な立場を示してきた。AIの安全問題の多くはコンピュータ工学や製品開発を通じて解決できるエンジニアリングの問題であり、十分に解決可能であると主張している。彼はこの日、アメリカのCNBCとのインタビューで「世界がAIが安全に開発・配布されていると信じられなければ、成功するAI産業は作れない」と述べた。
実際、エヌビディアはこの日、AIエージェントが許可されていないシステムや外部ネットワークにアクセスするのを防ぐための安全プラットフォーム『オープンエージェントセーフティプラットフォーム（Open Agent Safety Platform）』も公開した。
ファンCEOはこの安全プラットフォームを『AIエージェントのためのブラウザ』に例えた。つまり、AIエージェントが業務に必要なシステムと情報にのみアクセスできるように、別の隔離環境を作り行動範囲を制限するものである。
エヌビディアは自社の安全プラットフォームがオープンAIのハギングフェイス侵入事件を防げた可能性があると主張している。エヌビディアは一部のソフトウェアをオープンソースとして公開し、AI企業がこの安全プラットフォームを基に製品を開発し市場に供給できるようにする計画である。
このようにAIの安全性を巡る議論が広がる中、ドナルド・トランプアメリカ大統領は29日（現地時間）にアントロピック、エヌビディア、オープンAI、メタなどアメリカの主要AIトップと昼食会合を持つ。トランプ大統領は『AI人類終末論』の懸念を『詐欺』と一蹴し、AI速度調整論に反対の立場を表明している。
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
