水冷方式で冷却するNHNのB200 7656台のAIデータセンター公開

NHNファクトリーXソウルを訪問…GPUサーバーの間を流れる冷却水

4080台のGPUを一つのクラスターに接続…TOP500グローバル20位

 

NHNファクトリーXソウル内部の全景[写真=NHNクラウド]

「空冷はラーメンを早く冷やすために口で吹くようなもので、水冷は冷たい水の入った鍋に入れることだ。」

18日、ソウル特別市永登浦区陽平洞の『NHNファクトリーXソウルデータセンター』6階データホールで、イイルジュンNHNクラウド技術事業部長は記者にデータセンターを公開し、水冷式冷却技術をこのように説明した。黒いサーバーラックが両側に長く並んでいたが、騒音は大きくなかった。

NHNクラウドはここにエヌビディアB200 GPU 7656台を設置し、高性能GPUから発生する熱を冷却するために水冷式冷却方式を採用した。

NHNクラウドファクトリーXソウルサーバーラック上部の水が流入する施設[写真=NHNクラウド]

データホール内にはラックごとに最大6台のGPUサーバーが設置されていた。ラックの上部には黒い配管が長く続いており、冷却水を供給し、サーバーで熱を吸収した水を再回収する配管である。ラックの下部には冷却分配装置（CDU）が設置されていた。

この事業部長は「空冷式サーバーは会話ができないほど騒がしいが、現在の水冷式環境は60〜70デシベル程度だ」と述べ、「サーバーの後ろにある黒い管が冷却水が入って出る配管だ」と説明した。

AI学習と推論に使用される最新のGPUは高い演算性能とともに多くの電力を消費し、熱も多く発生する。NHNは冷却水がGPUと中央処理装置（CPU）の発熱部品に直接触れるコールドプレートを利用して熱を取り出す直接液体冷却（DLC）方式を採用した。

この事業部長は「空冷ではラックごとに30〜40kW程度まで可能だが、それ以上は非常に難しい」とし、「現在この場所のラックは130kW程度の電力を使用している」と述べた。続けて「今後出てくるエヌビディアの機器はさらに高い電力を使用するだろうが、その発熱を空冷で冷却するのは難しい」と説明した。

水冷式が必ずしもコストを削減するわけではない。別途冷却設備を構築する必要があり、水を使用するため漏水モニタリングも必要である。しかし、高密度にGPUを配置しながら発生する熱を効果的に除去できるという利点がある。

この事業部長は「既存のデータセンターに水冷設備がなかったため、別途工事を行う必要があった」とし、「事前調査では早くても10ヶ月程度かかると見ていたが、実際には4〜5ヶ月程度で水冷工事を進めた」と述べた。

NHNクラウドファクトリーXソウル監視室[写真=NHNクラウド]

NHNファクトリーXソウルは地下4階・地上10階の規模のデータセンターである。NHNクラウドは3〜6階を使用し、3〜5階では政府のAIコンピューティング資源を運営している。特に3・4階にはB200 GPU 4080台を一つの統合クラスターに接続した。6階はNHNクラウドの独自AIクラウドサービスとGPUインフラ運営スペースである。

全体のB200 GPUは7656台であり、その中には4080台規模のNIPA-CL1と2040台規模のNIPA-CL2などの大規模GPUクラスターが構築されている。NIPA-CL1は4080台のGPUを一つの演算環境に接続しており、二つのクラスターはグローバルスーパーコンピュータランキングであるTOP500でそれぞれ20位と40位を記録している。

データセンターを出る前に立ち寄った監視室では、電力、温度、冷却、GPUとネットワークの状態がモニターにリアルタイムで表示されていた。この事業部長は「監視室で電力と温度、冷却状態などを常に確認している」と述べ、「異常が発生すればすぐに運用システムが作動する」と説明した。監視室は24時間運営され、日中は4人、夜間は2人が常駐している。