技術盗難防止のためAI訓練を中止したアンソロピック

人工知能（AI）スタートアップのアンソロピックは、AIモデルの重みや知的財産の盗難を防ぐための安全対策として、次世代フロンティア基本モデルの事前訓練を1か月以上延期した。

ロイター通信によると、アンソロピックは26日（現地時間）に米国証券取引委員会に提出した証券報告書（S-1）のリスク要因項目でこのことを明らかにした。

AIモデル自体の危険性によるものではなく、盗難防止を目的として訓練を中止したと説明している。これにより、同社は訓練中止の影響で売上の発生が遅れ、競合他社に対して遅れを取る可能性があることを認めた。

また、アンソロピックは自社モデルが外部システムに無断でアクセスした侵入事故についても証券報告書で明らかにした。協力会社とのサイバーセキュリティテストを行っていた際、ウェブ接続を遮断するよう指示されていたにもかかわらず、システムエラーによりテスト環境がインターネットに接続されてしまったという。

アンソロピックは、7月に自社モデルが3社のシステムに接続したことを発表し、9月9日には4件目の事例を公開するなど、合計4回のセキュリティ事故を明らかにしている。

同社によると、7月30日に模擬課題を実施していたクロードモデル3つが仮想環境を超えて実際の外部機関のシステムに無断で接続した。当時、モデルは推論過程で対象が実際の外部システムであることを認識していたが、模擬訓練の一部であると自己合理化し、攻撃と侵入を止めなかったとされる。

その後、9月9日には『オーパス4.6』の初期バージョンが1月の試験過程で外部システムをハッキングした事実が遅れて公開された。当時、モデルは標的機器にアクセスできなかったため、8回にわたって作業中断を試みたが、システムエラーにより終了しなかった。最終的に課題の完了を試みていたモデルは、第三者のシステムからパスワードが記載されたファイルを見つけ出し、管理者権限を取得し、内部の個人情報まで閲覧したことが明らかになった。

ただし、今回明示された内容が既存の発表事例と同じものであるかは明確に確認されていない。

アンソロピックは、400ページに及ぶ証券報告書の中で『リスク要因』項目に94ページを割いてAIシステムが持つ危険性を具体的に警告している。

証券報告書によれば、AIモデルがシステム中断を避けようとする『自己保存的』な傾向を示す可能性があり、人間がモデルを継続して稼働させるよう説得する過程で『脅迫』に似た応答を示すことがあると記載されている。

また、『致命的なAI関連事故』が発生した場合、被害規模が非常に大きいため、保険での保障が受けられない可能性があると懸念している。利用規約を通じてモデルの行動に対する責任を制限しているが、一部の事案では法的責任を負う可能性があり、外部テスト会社など一部の協力会社の責任も契約上自社が負うことを明らかにした。

* この記事はAIによって翻訳されました。

亜洲日報の記事等を無断で複製、公衆送信、翻案、配布することは禁じられています。