モティフテクノロジーズ（モティフ）は、科学技術情報通信部（科学技術部）の独自AIファウンデーションモデル（独パモ）2次段階評価結果に異議を申し立てた。最初は異議申し立てをしない方針だったが、評価項目ごとの詳細な得点と判断根拠の公開を求めている。また、異議申し立ての結果に関わらず、モティフは3次段階評価には参加しない意向を示した。
27日、イム・ソンファンモティフ代表は声明を通じて「モティフ3が高得点を得たAAIIは単なるベンチマークではなく、グローバルAI業界で広く活用されている9つのベンチマークを総合した指標である」と述べ、「AAIIの得点が47点と31点でかなりの差があったにもかかわらず、ベンチマーク換算得点と専門家評価で相反する結果が出た理由を企業と業界が理解できるように説明する必要がある」と強調した。
モティフは当初、2次段階評価結果を受け入れ、異議申し立てをしないと表明していた。しかし、その後、科学技術部の説明がモティフ3がベンチマーク得点だけ高く、専門家・ユーザー評価には問題があったと受け取られる可能性があると判断し、方針を変更した。イム代表は「我々が追求した技術的方向性と成果物に誤解が生じる可能性があると判断し、評価得点の詳細公開と再審議を求める」と説明した。
モティフはまず、評価結果と詳細評価内容を参加企業が確認できるように公開するよう求めた。イム代表は「選定・脱落企業が今後より良いモデルと戦略を準備できるように実質的なフィードバックと方向を提供するという観点から重要である」と述べた。
ベンチマーク得点の配点・換算方式に関する根拠も求めた。モティフによれば、独パモ参加モデルの中でAAII1位モデルは47点、4位モデルは31点を記録したが、評価配点に換算するとその差は4点に縮まる。イム代表は「このような配点算定方式がベンチマークで示されたモデル間の性能差を十分に反映できていない可能性がある」と指摘した。
専門家評価の詳細基準と結果も公開するよう求めた。イム代表は「各モデルのテクニカルレポートを考慮しても、ベンチマーク性能が低いモデルが専門家評価で1位を獲得した具体的な判断根拠を理解するのが難しい」と述べた。続けて「専門家評価過程で『コンソーシアム主催・参加企業の中に外国資本や海外法人が議決権を持つ主要株主として参加している企業があるか』など評価目的を理解しにくい質問を文書で受けた」とし、「このような質問がどのような評価目的と基準に基づいて活用されたのかについても説明が必要である」と付け加えた。
ユーザー評価の方法論と詳細基準、結果も公開するよう求めた。モティフは評価当時、開発者を公開しないブラインド方式を提案していた。大企業とスタートアップが開発したモデルを一般ユーザーが評価する際、開発者を事前に知るとブランド認知や先入観が評価に影響を与える可能性があるためである。
ただし、モティフは異議申し立ての結果に関わらず独パモ3次段階には参加しない意向である。イム代表は「2次段階評価を通じて技術力を試す機会を与えてくれた政府に感謝する」と述べ、「今後は自らの力で韓国で最も優れたフロンティアモデルを作る」と強調した。
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
