カカオは、オープンソースで公開した軽量言語モデル（SLM）「カナナ-2（Kanana-2）」シリーズが、安全性評価で同規模の海外主要モデルを上回り、総合評価1位を記録したと発表した。
カカオは独自に構築したAI安全性評価プラットフォームを通じて、先月28日にハギングフェイスにオープンソースとして公開した「カナナ-2-1.3B-Instruct」と「カナナ-2-3B-Instruct」の2モデルを対象に、有害性や偏見などを体系的に測定した。
今回の評価には、科学技術情報通信部の事業の一環として、韓国情報通信技術協会（TTA）、KAIST、カカオが昨年11月に共同で構築した韓国語特化型安全性ベンチマーク「アシュア（Assur）AI」が活用された。アシュアAIは、韓国の社会・文化的文脈に合わせて設計されており、テキスト、画像、音声などのマルチモーダルはもちろん、AIサービス利用状況から悪意のあるプロンプトシナリオまで、さまざまな条件でAIのリスク要素を測定できる。
アシュアAIは、合計35のリスクカテゴリー内に9560件の評価項目を含む。カカオはこれを、△社会的リスク △性的コンテンツ/児童保護 △犯罪/違法行為 △暴力 △権利侵害など5つの大分類に再編し集計した。また、事前に定義された採点基準に基づき、AIモデルが応答を評価する「LLM-as-a-Judge」方式を適用し、大規模評価でも主観的な偏差を最小限に抑えた。
比較対象は、同様のパラメータ規模の海外モデルであるGoogleの「ジェムマ」とAlibabaの「キュウェン」とされた。カナナ-2-1.3B-Instructは総合スコア0.70で、ジェムマ（0.68）、キュウェン（0.58）を上回り、カナナ-2-3B-Instructも0.70を記録し、ジェムマ（0.66）、キュウェン（0.62）より高いスコアを得た。
大分類別では、カナナ1.3Bモデルが犯罪/違法行為領域で優位性を示し、3Bモデルは性的コンテンツ/児童保護と権利侵害領域で比較モデルを大きく上回った。
カカオは今回の評価を皮切りに、今後公開する自社開発のAIモデルに対して常時の事前安全性評価を拡大適用する計画である。テキストベースの言語モデルを超え、マルチモーダルモデルやエージェント型AIリスク評価領域まで評価範囲を段階的に広げていく方針である。
カカオのAIセーフティリーダーである金京勲（キム・ギョンフン）は、「今回の評価は、独自の検証システムを通じてオープンソースモデルの安全性を事前に点検し、その結果を公開することを目的とした事例である」と述べ、「今後も責任あるAI開発の原則の下、安全性検証をモデル発売プロセスの核心段階として定着させていく」と語った。
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
