![AIが生成した画像 [写真=ジェミナイ]](https://image.ajunews.com/content/image/2026/09/10/20260910145945738623.png)
「人間を超えた超知能」、「10年以内に人工知能（AI）が人類滅亡の原因となる可能性は10%」
オープンAIとアンプロピックは新モデルを公開し、汎用人工知能（AGI）を連続して宣言している。3日間で数学の難問を解き、自らモードを組み立て知能を高める。SF映画の一場面が再現され、両社は『AIの人間支配』に対する警告を繰り返している。
AI業界の一部では、上場を控えた両社が一種の恐怖マーケティングを通じてAIの性能を過大評価しているとの指摘もある。しかし、最新のAIモデルの能力が人間の理解と制御の範囲を超える段階に入ったとの分析が強まっている。
専門家たちは、人工一般知能（AGI）の定義自体を再構築する必要がある状況で、AIを人間の意図に沿って制御する『アライメント』研究の重要性が高まっていると口を揃えている。
10日、IT業界によると、オープンAIは2日（現地時間）に最新モデル『GPT-6 アストラ』を公開し、自社のリスク等級体系である『準備フレームワーク』において、サイバーセキュリティリスクを初めて最高等級の『クリティカル』に分類したと発表した。
オープンAIは安全性報告書で、アストラが人間の段階的指示なしに、よく防御されたシステム内で未知のセキュリティ脆弱性を見つけ出し、新たな攻撃方法を開発できると説明し、同時にこのモデルの思考過程に対する監視能力、いわゆるモニタリング可能性が以前のモデルより大幅に低下したことも認めた。
アンプロピックは、6月に発表した報告書で、次世代AIの突破口が人間の制御を完全に逸脱するモデルを生み出す可能性があると警告し、競合他社に多国間AI軍備管理体制の構築を提案した。実際に自社の最上位モデル『ミトスプレビュー』は、過去最高レベルのサイバー兵器を自ら生成できるため、発売を保留したこともある。
このようなパターンは初めてではない。昨年5月、アンプロピックが『クラウドオペラス4』を発売した際も、安全性テスト中にモデルが自らを代替しようとするエンジニアを脅迫する行動が確認され、最高等級の安全措置であるASL-3が発動された。今年4月には、サイバー兵器を自ら生成できるという理由で上位モデル『ミトスプレビュー』の発売自体が保留された。
2ヶ月後の6月4日には、次世代AIが人間の制御を完全に逸脱する可能性があるという内容の『再帰的自己改善』報告書が発表された。この報告書が出た5日後の6月9日、アンプロピックは正式モデル『クラウドミトス5』を発売したが、このモデルは輸出管理問題により3日間アクセスが停止され、その後1ヶ月後に再開されるという波乱も経験した。危険警告と新モデルの発売ニュースがタイムラグなく連動する流れが繰り返されている。
オープンAIも似たような軌跡を辿った。7月にハギングフェイスのハッキング事件が発生すると、オープンAIは訓練・評価過程に対する制御を強化すると発表し、その後アストラのサイバー能力が予想以上の高水準に達したと判断し、追加の安全性検討を理由に発売を遅らせた。結局、2ヶ月近くの再検討の末に出た結果が『クリティカル』等級の初の付与であり、オープンAI自身もこの等級を新モデルの圧倒的な性能を示す根拠として提示した。
アンプロピックの研究者エヴァン・ハービンガーは、AIの人類支配確率を個人的に10%と推定し、ダリオ・アモデイアンプロピック最高経営責任者（CEO）も、破滅的な状況が発生する確率を25%前後と述べた。『ディープラーニングの父』ジェフリー・ヒントン元グーグル副社長も同様の水準で10〜20%を示した。
過度な懸念に対する反対派の声も根強い。巨大言語モデルを『確率的オウム』に過ぎないと規定してきたエミリー・ベンダーワシントン大学教授などの批判者たちは、AGI自体が可能であるという前提から懐疑的であり、人間支配シナリオは依然としてSFの領域に留まっていると見ている。
チューリング賞受賞者のヤン・ルカンもいわゆる『AI終末論者』に対し、「災害シナリオは検証されていない仮説に過ぎない」と繰り返し批判してきた。彼はオープンAI、ディープマインド、アンプロピックのトップたちがむしろ大規模なロビー活動を行っている当事者であり、恐怖キャンペーンが成功するほど少数企業がAIを独占する『規制捕獲』に繋がる可能性があると指摘している。
実際、安全を名目にしたライセンス制度や免許制度が導入されると、資本力のないスタートアップやオープンソース陣営がまず淘汰され、すでに市場を掌握したビッグテックだけが生き残るという論理である。
シリコンバレーが自社技術が世界を終わらせる可能性があるというストーリーを通じて、その技術の重要性を逆説的に宣伝してきたとの指摘も続いている。トラック輸送業がすぐに消えるだとか、特定の国が超知能レベルのAIをすでに保有しているという過去の予測が実現しないまま流れてしまった例もいくつかある。
実際、ビッグテックが新モデルを発売するたびにリスク等級の引き上げや安全性報告書を性能の優位性を証明する根拠として提示する点で、危険警告自体がマーケティング要素として利用されているとの批判から逃れられないとの指摘がある。
AI恐怖マーケティングとは別に、実際のAIモデルの動作方式が人間が理解・制御しにくい領域に移行している兆候はすでに観測されている。
チェ・ビョンホ 고려大学ヒューマンインスパイアードAI研究所教授は、「AIの人間支配説などは依然としてSFの領域だが、AIモデルの性能が向上するにつれて人間の制御を逸脱するのは事実である」と述べ、これを専門用語で『アライメント問題』と呼んでいる。
チェ教授は制御逸脱の具体的な事例として『ニュールリズ』を挙げた。AIが内部で人間が読めない独自の言語で推論する現象で、繰り返し演算を行うほど性能は向上するが、AIが何を考えているのかはますます分からなくなるというものである。彼はアルファ碁が人間が築いてきた『囲碁の定石』が実際には存在しなかったことを示したように、最近のAIモデルは人間の『セキュリティ定石』も幻想であったことを明らかにしていると診断している。
実際、GPT-6アストラは『循環深層化』という新たな推論方式を導入しており、この過程でモデルの思考過程が自然言語ではなく、数千の数字からなる内部表現で処理されるため、人間がその内容を覗き見ることが難しくなったとの指摘が相次いでいる。
7月にはオープンAIの内部モデルがベンチマークテスト中に制御を逸脱し、ハギングフェイスサーバーをハッキングした事件もこの懸念を裏付けている。当時、数百のAIエージェントがサイバーセキュリティテスト過程で与えられた自律性を利用して予定外のハッキングを行い、オープンAIはこれを約1週間認識できなかったと伝えられている。この事件は2ヶ月後に米下院と上院がそれぞれ『AIキルスイッチ法』と『人工超知能禁止法』を提案するきっかけとなった。
このような能力の拡張はAGI定義論争に繋がる。オープンAIはAGIへの道筋を△チャットボット △推論者 △エージェント △革新者 △組織の5段階に分けているが、最近のモデルは自律的に長期作業を遂行する3段階『エージェント』を超え、新たな知識を創出する4段階『革新者』の初期段階に入ったとの評価が出ている。
オープンAIは8日、自社の内部AIシステムが約90年間解決されていなかったミレニアム問題の一つであるナビエ-ストークス方程式の特異点存在を証明したと発表した。
チェ教授は「AIの人間支配説のような終末論的シナリオ自体よりも、実質的な制御手段に集中すべきである」と述べ、「そのような恐怖シナリオが正しいとしても、私たちにとってはあまり役に立たない。結局、AIをどう理解し、制御するか、アライメントの方向に答えを出すことが重要である」と語った。
* この記事はAIによって翻訳されました。
