Среди множества критически важных систем в центрах обработки данных технологии охлаждения развиваются быстрее всего, требуют наибольшей кривой обучения и несут наибольшие операционные риски. Крупномасштабные проекты центров обработки данных часто связаны с инвестициями на миллиарды, что делает любые ошибки проектирования чрезвычайно дорогостоящими. Кроме того, по мере быстрого развития спроса на центры обработки данных ИТ-инфраструктура сталкивается с риском ускоренной амортизации.
Проблемы и распространенные заблуждения в охлаждении центров обработки данныхСегодня плотность тепловыделения на квадратный фут в центре обработки данных может быть более чем в 50 раз выше, чем в типичном офисном помещении, при этом ИТ-нагрузки часто превышают 30 МВт. Системы охлаждения разработаны для поддержания ИТ-оборудования в оптимальном температурном диапазоне — например, поддержание кластеров NVIDIA DGX H100 в диапазоне от 5°C до 30°C. Отклонение от этих диапазонов может сократить срок службы оборудования, и, поскольку серверы и оборудование составляют основную часть общих затрат на владение (TCO) центром обработки данных, эффективное охлаждение имеет решающее значение.
В настоящее время, помимо самого ИТ-оборудования, охлаждение стало второй по величине статьей капитальных затрат в центрах обработки данных, сразу после электрических систем. Поскольку архитектуры охлаждения диверсифицируются, а энергоэффективность становится все более важной, решения для охлаждения в настоящее время являются основной проблемой проектирования. Для поставщиков облачных услуг затраты на электроэнергию, связанные с охлаждением, являются основной операционной проблемой, требующей тщательного баланса на системном уровне.
Распространены заблуждения относительно факторов, лежащих в основе внедрения жидкостного охлаждения, и будущих тенденций в области охлаждения в центрах обработки данных ИИ и обучения. Некоторые считают, что жидкостное охлаждение всегда более энергоэффективно, чем воздушное, или что воздушное охлаждение не может справиться с чипами с потребляемой мощностью выше 1000 Вт. Другие считают, что маломощные серверы с воздушным охлаждением лучше подходят для сценариев вывода. Однако реальной движущей силой внедрения жидкостного охлаждения является оптимизация TCO для вычислительной мощности ИИ — а не только экономия энергии или «зеленые» показатели.
Истинная ценность жидкостного охлаждения: плотность и оптимизация TCOЖидкостное охлаждение — не новость: центры обработки данных в 1960-х годах использовали его для охлаждения мэйнфреймов IBM. Тем не менее, современные центры обработки данных долгое время отдавали предпочтение воздушному охлаждению благодаря его более низкой первоначальной стоимости и развитой цепочке поставок. По мере увеличения масштаба центров обработки данных технология воздушного охлаждения не отставала, обеспечивая все более высокую плотность мощности стоек при сохранении энергоэффективности.
Даже сегодня воздушное охлаждение доминирует в пространстве ИИ. Например, эталонный дизайн NVIDIA для развертываний H100 допускает до четырех серверов с воздушным охлаждением на стойку с общим энергопотреблением 41 кВт. Во многих центрах обработки данных это означает, что операторы часто оставляют половину своих стоек пустыми, чтобы избежать перегрева. Такие технологии, как теплообменники задней двери и закрытые шкафы воздушного потока, могут увеличить плотность на стойку до 50 кВт, но основным ограничивающим фактором часто является физический размер и требования к охлаждению самих серверов.
Хотя жидкостное охлаждение когда-то считалось дорогим, его общая стоимость относительно скромна по сравнению со сроком службы ИТ-оборудования. Реальная ценность заключается в максимизации производительности ИТ: жидкостное охлаждение позволяет более плотно упаковывать и эффективно охлаждать больше графических процессоров и ускорителей ИИ, обеспечивая более высокую плотность вычислений и большее взаимодействие между ускорителями.
Ярким примером является система NVIDIA GB200 NVL72, которая использует жидкостное охлаждение непосредственно на чипе (DLC) для поддержки 72 графических процессоров в одной стойке мощностью 120 кВт. Этот прорыв обеспечивает значительно более низкую TCO для обучения и вывода больших языковых моделей (LLM) и устанавливает новый стандарт для центров обработки данных высокой плотности и высокой производительности.
Переосмысление экономики охлаждения центров обработки данныхХотя жидкостное охлаждение может снизить эксплуатационные расходы (за счет экономии электроэнергии вентиляторов серверов — около 70% потребления энергии, связанной с охлаждением), одной только этой экономии недостаточно, чтобы оправдать полный переход от воздушного к жидкостному охлаждению. Более высокие первоначальные инвестиции, повышенная сложность обслуживания и менее развитая цепочка поставок — все это критические факторы. Хотя жидкостное охлаждение экономит физическое пространство, площадь пола редко является самым дорогим ресурсом в центре обработки данных — большинство затрат по-прежнему привязаны к ИТ-нагрузке.
Физика и реализация жидкостного охлажденияЖидкостное охлаждение более эффективно, потому что заданный объем жидкости может поглощать примерно в 4000 раз больше тепла, чем воздух. Однако перекачка жидкости (которая примерно в 830 раз плотнее воздуха) требует больше энергии, и необходимая энергия прямо пропорциональна скорости потока. Жидкостное охлаждение непосредственно на чипе может значительно увеличить плотность стоек, но связано с такими проблемами, как трубки, большие диаметры труб и необходимость использования более дорогих материалов.
В типичной установке медные холодные пластины прикрепляются к самым горячим компонентам (ЦП и графическим процессорам), а охлажденная вода циркулирует через распределительные коллекторы на уровне стойки. Другие компоненты, такие как сетевые карты и устройства хранения данных, по-прежнему полагаются на вентиляторы для охлаждения.
Как правило, блок распределения охлаждения (CDU) управляет системой либо на уровне ряда, либо на уровне стойки. В то время как крупномасштабные развертывания часто используют CDU на уровне ряда для экономии затрат и эффективности обслуживания, интегрированные CDU на уровне стойки становятся все более популярными для быстрого развертывания и четкой ответственности поставщика. Во всех случаях CDU расположен в белом пространстве центра обработки данных.
Забегая вперед, в то время как однофазный DLC готов к массовому внедрению, продолжаются исследования технологий двухфазного и иммерсионного охлаждения (подробнее о охлаждении следующего поколения).
Выбор правильного решения для охлажденияПоскольку технологии охлаждения центров обработки данных становятся все более сложными, выбор правильного решения жизненно важен для операторов, стремящихся максимизировать плотность вычислений при минимизации затрат и рисков. В Coolnet мы предлагаем полный спектр решений для охлаждения центров обработки данных — от традиционного воздушного охлаждения до передового жидкостного охлаждения — разработанных для удовлетворения потребностей рабочих нагрузок ИИ и облачных вычислений высокой плотности.
Если вы хотите узнать больше о новейших разработках в области модульного проектирования центров обработки данных или увидеть, как сборные модульные центры обработки данных Coolnet интегрируют передовые технологии охлаждения, свяжитесь с нами для получения бесплатной консультации.
Ссылки:Решения NVIDIA для центров обработки данныхChina IDC Circle: Тенденции охлаждения центров обработки данных
Ваше сообщение должно содержать от 20 до 3000 символов!
