科学技術情報通信部が推進する『独自人工知能(AI)ファウンデーションモデル(独パモ)』プロジェクトの2次段階評価が終了した。評価に参加した4つのチームのモデルがすべてグローバルAI研究機関の『注目すべきモデル』に登録され、次の段階に進出するチームへの関心が高まっている。
11日の業界によると、独パモの2次段階評価結果は今週中に公開される見込みである。今回の評価には1次評価を通過したLG AI研究所、SKテレコム、アップステージ、追加公募で選ばれたモティフテクノロジーズが参加し、4者による競争が繰り広げられた。
1次評価ではLG AI研究所がベンチマークと専門家・ユーザー評価でともに1位を記録した。その後、LG AI研究所は『K-エクサワン2.0』、SKTは『エイダットエックス(A.X) K2』、アップステージは『ソーラーオープン2』を先月ハギングフェイスに公開した。モティフも今月初めに『モティフ-3』を発表した。
科学技術情報通信部によると、4つのチームが今年上半期に開発したモデルはすべてアメリカの非営利AI研究機関エポックAIに注目すべきモデルとして名前を挙げられた。エポックAIはモデルの学習演算量や性能、技術的重要性などを基にAIの発展に影響を与えたモデルを選別している。
昨年、エポックAIの注目すべきモデルに分類されたのはアメリカが59件で最も多く、中国が35件、韓国が8件であった。今年に入って該当モデルを輩出した国はアメリカ、中国、韓国の3カ国である。
ハギングフェイスの最近1カ月間のダウンロード数を見ると、アップステージの『ソーラーオープン2』が25,870回を記録した。モティフの場合、ベータ版の『モティフ-3ベータ』が5,062回、SKTの『A.X K2』が2,844回、LG AI研究所の『K-エクサワン2.0』が1,462回であった。
グローバル研究機関の評価とオープンソース市場の反応が2次評価結果にどのような影響を与えるかも注目される。1次評価で全分野1位を記録したLG AI研究所が首位を維持するのか、新モデルを発表したSKTとアップステージが追撃するのか、追加公募で参加したモティフが次の段階に進出するのかに関心が集まっている。
特に今回は国民200人がモデルを直接使用して性能を確認する国民評価も初めて導入された。モデル間のベンチマークスコアの差が大きくない場合、一般利用者がさまざまな状況でモデルを使用し、感じる体感性能が評価結果を左右する要因となる可能性がある。
ボン・ガンホソフトウェア政策研究所の研究員は「ベンチマークで高い数値を記録したからといって、利用者が感じる便益や利用のしやすさが必ずしも良いとは限らない」と述べ、「200人程度の利用者がそれぞれ自分に合ったさまざまな事例にモデルを使用し、その過程で感じた便益を反映すれば、十分に妥当な結果を導き出すことができる」と指摘した。
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
