アメリカの主要ビッグテックの最高経営者（CEO）たちが連日AIの危険性について警告しており、フロンティアモデルの安全検証試験に対する要求が高まっている。国内ではAI安全研究所がこれを担当しているが、十分なインフラが整っておらず、モデル開発の速度に追いつけていない状況である。
16日、AI安全研究所によると、研究所は国内に導入されるAIモデルの安全性評価にNVIDIAのグラフィック処理装置H200を16台使用している。
最新のAIモデルは約900～1500の複合課題を課した後、処理された結果を基に安全性を検証する。研究所が保有するH200 16台では、1つのモデルを評価するのに7～10日かかる。ベンチマークを1回実行するのにかかるトークン費用も5000万～6000万円に達する。
AI安全研究所が昨年3月に評価したモデルはクロードなど6件だったが、先月には11件に増加した。毎月10件以上のフロンティアモデルが登場する速度には追いつけない。
キム・ミョンジュAI安全研究所長（ソウル女子大学情報保護学科教授）は「評価需要が集中している状況」とし、「不足している時は商用クラウドセッションを借りて計算資源を追加で確保して使用している」と説明した。
インフラが不足しているため、セキュリティと安全に敏感なモデルを優先的に評価している。評価が遅れ、安全検証が行われていないAIモデルが国内市場で使用されるケースも増えている。
現在、優先評価対象としているモデルは中国のズフAIが開発したフロンティア級モデル『GLM 5.3』である。最近、安全装置を取り除いたGLM 5.3の変種モデルがインターネット上に流通し、実際の悪用可能性を確認する必要があると判断された。
安全装置が取り除かれたモデルは、正常なAIであれば回答を拒否すべきソフトウェアの脆弱性や攻撃コードを生成する可能性がある。サイバー攻撃だけでなく、化学・生物学分野の危険な情報を提供する可能性もあるため、研究所はどの程度危険な要求に応じるかを調査している。
安全研究所はオープンAIが最近公開したフロンティアモデル『アストラ』に対する評価にも着手した。キム所長は「複数のモデルの評価が同時に進行しているため、結果が出るまでには時間がかかる見込み」と述べた。
専門家たちはH200 16台だけではアストラ級フロンティアモデルの安全性を総合的に評価するには限界があると指摘している。単純な問答評価を超え、モデルを攻撃するレッドチーミングやリアルタイムモニタリングを行うには、評価対象と同程度のモデルと計算資源が必要であるためである。
チェ・ビョンホ・高麗大学AI研究所研究教授は「安全性研究にもモデル性能を向上させる研究と同じくらい多くの資源が必要である」とし、「GPUだけでなく、それを動かすための電力とスペース、評価フレームワークも整える必要がある」と述べた。続けて「1つのモデルだけで評価するのは難しいため、APIやオープンソースモデルなど利用可能な資源を活用したマルチモデル評価も必要である」と付け加えた。
一方、AI開発の速度と安全性を巡る議論はグローバルなAI業界でも続いている。外信によると、トランプ政権の高官たちは15日（現地時間）、アンソロピックの高官と会いAI安全問題について議論した。
ダリオ・アモデイ・アンソロピックCEOはAI開発の速度を遅らせ、安全装置を補完する時間を確保すべきだと主張した一方で、ドナルド・トランプアメリカ大統領は中国とのAI競争を理由に速度調整論に反対している。
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
