Как инновационная технология охлаждения NVIDIA «горячей водой» позволяет значительно экономить электроэнергию и воду?

NVIDIA новые серверы AI нагревают охлаждающую жидкость до 45°C для работы, чтобы обойти самые энергозатратные чиллеры и использовать сухие радиаторы для отвода тепла наружу.
(Предыстория: Dell совместно с NVIDIA представляет «полностью жидкостное охлаждение» для AI-серверов! Впервые на архитектуре Vera Rubin, с 144 GPU в одной стойке, производительность зашкаливает)
(Дополнение: Революция питания NVIDIA 800V без задержек! Подтверждено с Delta Electronics и ABB: массовое производство в Q3 вовремя)

Содержание

Toggle

• От 20 кВт до 140 кВт: стойки, упершиеся в потолок воздушного охлаждения
• Горячая вода 45°C: почему это экономит больше энергии?
• 25-кратная энергоэффективность, 300-кратная экономия воды

В счетах за электроэнергию дата-центров жадными являются не только GPU — система охлаждения годами съедает до 40% общего потребления, являясь одним из главных факторов сжатия прибыли.

Однако новое поколение серверов Rubin от NVIDIA дает неочевидный ответ: хочешь сэкономить энергию — сделай воду горячее. Новая технология «горячего водяного охлаждения» поднимает рабочую температуру охлаждающей жидкости до 45°C, отказываясь от общепринятого мнения «чем холоднее, тем лучше».

От 20 кВт до 140 кВт: стойки, упершиеся в потолок воздушного охлаждения

Три года назад энергопотребление одной стойки дата-центра составляло около 20 кВт, и обычный кондиционер с вентиляторами справлялся. После смены поколений GPU эта цифра выросла более чем в шесть раз: плотность стоек в гипермасштабных объектах теперь обычно превышает 135 кВт, а общее тепловыделение одной стойки NVIDIA GB200 NVL72 приближается к 130–140 кВт.

Количество тепла, которое могут рассеять вентиляторы, имеет физический предел. Как только плотность стойки превышает определенный порог, воздушное охлаждение перестает быть вопросом эффективности — оно становится вопросом работоспособности. Именно поэтому жидкостное охлаждение стало стандартной архитектурой для AI-фабрик: когда кристаллы уложены в стеке до масштаба NVL72, единственный способ мгновенно отвести тепло — это прямой контакт жидкости с поверхностью кристалла.

Горячая вода 45°C: почему это экономит больше энергии?

Суть архитектуры жидкостного охлаждения заключается в том, что охлаждающая жидкость напрямую протекает через радиаторные ребра на поверхности кристалла, уносит тепло и выводится из стойки, минуя неэффективную среду в виде воздуха, продуваемого вентиляторами.

В новом поколении Rubin охлаждающая жидкость поступает в кристалл при 45°C, выходит после поглощения тепла примерно при 55°C — полностью замкнутый цикл, в системе нет вентиляторов, производительность не снижается.

Самым энергозатратным элементом в дата-центре является механический чиллер. Проще говоря, это «сердце кондиционирования», которое с помощью компрессора принудительно охлаждает воду. По оценкам отрасли, повышение температуры воды на выходе из чиллера на каждый градус экономит около 4% энергии на охлаждение; а когда температуру воды поднимают до 45°C, это позволяет полностью обойтись без компрессора, используя сухой радиатор (dry cooler).

Проще говоря, это пассивное устройство, которое с помощью вентиляторов рассеивает тепло горячей воды в наружный воздух: не испаряет воду и не использует компрессор.

25-кратная энергоэффективность, 300-кратная экономия воды

Эффект отражен в цифрах, указанных в официальном блоге NVIDIA: GB200 NVL72 по сравнению с традиционной воздушной архитектурой демонстрирует в 25 раз более высокую энергоэффективность и в 300 раз более высокую эффективность использования воды; у нового поколения GB300 NVL72 преимущество по энергоэффективности увеличивается до 30 раз.

В пересчете на показатель PUE, измеряющий эффективность электропотребления дата-центра, это означает прямое сокращение значительной доли непроизводительного потребления.

Разница в потреблении воды еще более очевидна. Традиционное охлаждение в основном использует испарительные градирни. Проще говоря, это способ отвода тепла за счет испарения воды — эффективный, но ежегодно испаряющий миллионы галлонов воды. Такие системы на каждый МВт в год потребляют около 2,6 миллиона галлонов воды.

При замене на замкнутое жидкостное охлаждение с сухим радиатором в подходящем климатическом регионе потребление воды можно снизить почти до нуля, максимально — на 100%. Один гипермасштабный дата-центр мощностью 50 МВт после перехода на жидкостную инфраструктуру может экономить более 4 миллионов долларов в год только на счетах за электричество и воду для охлаждения.