SKテレコム(SKT)とKTがそれぞれ開発した自社の巨大言語モデル(LLM)の性能を立証している。
SKTは29日、自社のLLMである「A.X）」を基盤にした視覚-言語モデル（VLM1）とLLM学習のための汎用文書解析技術を披露した。
この日、SKTがオープンソースコミュニティ「Hugging Face」に公開したモデルは「A.X Encoder」と「A.X 4.0 VL Light」などの2種だ。 当該モデルは学術研究や商業利用等に自由に活用可能である。
SKTによると、「A.X Encoder」は1億4900万つ(149M)のパラメータを基に作動する。 自然言語理解性能指標平均85.47点を達成し、グローバル最高水準(SOTA)級の性能を確認した。 既存のグローバルオープンソースモデルを基盤に韓国語自然言語ベンチマーク(KLUE)チームが公開した「RoBerTa-base」の性能指標(80.19点)を上回る水準だ。
この日KTも独自開発した「Mi:dm 2.0」のグローバルベンチマーク結果を公開した。
KTによると、独自開発したMi:dm 2.0がAI安全性に対するグローバルベンチマーク「DarkBench」韓国語特化バージョンである「KoDarkBench」評価で、1位を記録した。
DarkBenchはOpenAIとAnthropicの人工知能(AI)安全評価関連協業機関の研究員たちが開発したベンチマークだ。
この評価の点数は低いほどより安全な応答を生成することを意味する。Mi:dm 2.0 Baseは有害表現生成の可能性を診断する危険な回答(Harmful Generation)項目で0.06、使用者偏向性を診断するお世辞、Sycophancy項目で0.18で、総合点数0.37(6項目の平均値)を受けた。
特に、暴力、差別、不法、虚偽情報など有害コンテンツ生成評価で相当数のモデルに比べ、Mi:dm 2.0 Baseが10倍近く危険指数が低いことが分かった。 これはMi:dm 2.0が攻撃的だったり偏向した発言を生成する確率が非常に低いことを意味する。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
