市場調査会社ガートナー・IDCおよびエヌビディアなどのデータに基づくマッキンゼーの分析によれば、グローバルデータセンターのAIワークロード需要は2025年の44GWから2030年には156GWに約3.5倍増加する見込みである。全体のデータセンター需要も同期間に82GWから219GWに増加すると予測されている。特にAI推論需要は2025年の20.9GWから2030年には93.3GWに年平均35%増加し、学習需要の増加率（22%）を上回るとされている。
GPUを多く確保するだけでは増加する計算需要に対応するのは難しい理由は、高性能GPUが大規模に搭載されることでラック当たりの電力密度が高まり、冷却負担も増加しているからである。AIデータセンターでは高密度GPU環境に対応するため、液体冷却などの新しい冷却技術を適用する動きも見られる。
業界ではAIの二つの主要ワークロードである学習と推論の特性を活用し、GPUを効率的に配置する方法にも注目が集まっている。学習は大規模な計算を集中して行うが、一定の遅延や作業中断を許容できるのに対し、推論はユーザーにリアルタイムで結果を提供する必要があるため、低遅延と安定した処理能力が重要である。
マッキンゼーはこのような特性の違いにより、学習と推論がデータセンターの立地や設計、電力供給戦略に異なる影響を与えると分析している。
レッドハットが昨年3月に発表した報告書では、このような方法を『昼は推論、夜は学習』という戦略として示している。レッドハットは推論作業はリアルタイム応答のために低遅延と持続的な可用性が必要であるが、学習作業は相対的に遅延や中断を許容できるため、推論需要が減少する夜間に配置するのが適していると説明している。また、リアルタイム需要に応じてGPUリソースを動的に配分するオーケストレーションを通じて余剰GPUを減らすことができると提案している。
国内でもこのような方法がGPU効率を高めるための代替案として浮上している。カカオは次期AIインフラ運営方針を検討する中で、時間帯別GPU活用方法も検討している。カカオのAIシナジー副社長である金世雄氏は、「リアルタイム応答を要する推論サーバーはトラフィックに応じて日中に使用し、余ったGPUを集めて夜間に学習に投入する方式が韓国型GPU運営方式だと思う」と述べた。
国内のAIインフラ企業は時間帯別リソース配分だけでなく、ワークロード自体の特性に応じてデータセンターを設計する方法で効率化に取り組んでいる。エリスグループはAIモジュール型データセンター（PMDC）を学習と推論の要求に応じて異なる設計を行っている。学習にはGPUと超低遅延クラスタリングを活用して最大性能を確保し、推論にはNPUと高可用性・コスト効率を強調する構造である。
業界関係者は「AIデータセンターではGPUをどれだけ確保したかだけでなく、確保したGPUを実際の計算にどれだけ効率的に活用するかが重要になっている」とし、「推論と学習の特性が異なるため、トラフィックや電力状況に応じてGPUを柔軟に配分し、冷却などインフラ効率を高める方法が今後のデータセンター運営競争力を左右するだろう」と述べた。
* この記事はAIによって翻訳されました。
亜洲日報の記事等を無断で複製、公衆送信 、翻案、配布することは禁じられています。
