Долгое время охлаждение дата-центра выглядело довольно предсказуемо. Серверы забирали холодный воздух с одной стороны стойки, выбрасывали нагретый с другой, а климатические системы выводили тепло из машинного зала. Эта схема до сих пор используется в огромном количестве ЦОД и отлично справляется с обычными серверами.
Но вычислительное оборудование становится плотнее. В одну стойку устанавливают всё более мощные процессоры, GPU, системы хранения и сетевые устройства. Там, где раньше несколько киловатт тепловой нагрузки считались нормой, современные вычислительные стойки могут требовать совершенно другого подхода.
Из-за этого рядом с привычным воздушным охлаждением всё чаще появляется жидкостное. Тепло от процессоров и ускорителей передаётся не только воздуху, но и специальному теплоносителю. Он способен забрать значительно больше тепла с небольшой площади и сделать возможной работу оборудования, которое обычными потоками холодного воздуха охлаждать уже неудобно.
Это не означает, что воздушные дата-центры скоро исчезнут. Напротив, традиционное охлаждение ещё долго останется основным решением для сайтов, хостинга, корпоративных систем, большинства выделенных серверов и значительной части облачной инфраструктуры.
Жидкость становится особенно интересной там, где растёт плотность вычислений. Поэтому вопрос сегодня заключается не в том, какая технология победит, а в том, где проходит граница между ними и когда дата-центру действительно приходится менять привычную систему охлаждения.
Как работает воздушное охлаждение и почему оно до сих пор используется почти везде
Обычный сервер сам активно участвует в собственном охлаждении. На передней панели находятся отверстия для поступления воздуха, внутри корпуса установлены вентиляторы, а компоненты расположены так, чтобы поток прошёл через наиболее горячие зоны и вышел сзади.
Дата-центр создаёт для этих серверов подходящую среду. Холодный воздух подаётся к передней части стоек, проходит через оборудование и нагревается. С задней стороны шкафов образуется горячая зона, из которой тепло возвращается в систему охлаждения.
Если просто поставить сотни стоек в один зал и начать подавать кондиционированный воздух без организации потоков, эффективность будет довольно низкой. Холодный и горячий воздух начнут смешиваться, серверы станут частично забирать уже нагретый поток, а климатическому оборудованию придётся работать интенсивнее.
Поэтому в дата-центрах используются холодные и горячие коридоры. Передние панели соседних рядов стоек обращают друг к другу, формируя холодную сторону. Задние панели образуют горячую.
Дополнительно один из коридоров можно физически изолировать дверями, перегородками и потолочными панелями. Это уменьшает смешивание воздуха и позволяет гораздо точнее управлять температурой.
Сам принцип довольно прост, но эффективность зависит от множества деталей. Пустые юниты в стойках закрываются заглушками, чтобы горячий воздух не возвращался вперёд через свободное пространство. Кабели прокладываются так, чтобы они не мешали вентиляторам. Перфорированные панели пола или воздуховоды размещаются именно там, где требуется холодный поток.
Для обычных серверов такая схема удобна ещё и тем, что клиенту практически ничего не нужно знать о системе охлаждения самого здания. Он привозит стандартный сервер 1U или 2U, устанавливает его в стойку, а дальше встроенные вентиляторы машины работают вместе с инфраструктурой ЦОД.
Именно универсальность стала огромным преимуществом воздушного охлаждения.
Один и тот же зал способен принимать серверы разных производителей, поколений и конфигураций. Не нужно подключать к каждому устройству жидкостные магистрали или согласовывать тип теплоносителя.
Обслуживание тоже относительно привычно. Сервер можно выключить, выдвинуть на направляющих, заменить память, диск или блок питания и вернуть машину в стойку.
Free cooling помогает тратить меньше энергии
Серверы нагревают воздух постоянно, но для его охлаждения не всегда необходимо круглосуточно использовать компрессорные холодильные машины.
Когда наружная температура достаточно низкая, дата-центр может использовать холод окружающей среды. Такой подход принято называть free cooling.
Речь не обязательно идёт о том, что морозный уличный воздух напрямую продувается через серверы. Существует несколько инженерных схем с теплообменниками и промежуточными контурами, позволяющими использовать низкую температуру снаружи без бесконтрольного попадания пыли и влажности в машинный зал.
Для России эта технология особенно интересна из-за длительного холодного периода во многих регионах. Чем больше часов в году наружная температура позволяет уменьшить работу холодильных машин, тем ниже могут быть расходы на охлаждение.
Однако климат сам по себе не делает один дата-центр автоматически эффективнее другого. Значение имеют конструкция здания, температура теплоносителя, режим работы оборудования и эффективность всей инженерной системы.
Воздушное охлаждение при этом имеет физические ограничения. Чтобы отвести больше тепла, через сервер приходится пропускать больше воздуха либо увеличивать разницу температур.
Вентиляторы начинают работать быстрее, возрастает энергопотребление, шум и сопротивление воздушному потоку. В какой-то момент наращивать количество воздуха становится неудобно и дорого.
Особенно заметно это в плотных GPU-стойках. Несколько мощных ускорителей размещаются очень близко друг к другу и выделяют огромное количество тепла на небольшой площади.
Для дата-центра проблема заключается уже не просто в общей температуре машинного зала. Необходимо физически доставить достаточно холодного воздуха к конкретной стойке и затем быстро вывести оттуда нагретый поток.
Можно усиливать вентиляцию, увеличивать размеры воздуховодов и создавать специализированные высокоплотные зоны, но бесконечно масштабировать такой подход нельзя.
Когда жидкостное охлаждение становится выгоднее воздуха
Жидкость намного эффективнее переносит тепло, чем воздух. Именно поэтому идея подвести теплоноситель ближе к процессорам и GPU выглядит логичным следующим шагом для высокоплотных вычислений.
Один из наиболее распространённых современных подходов называется direct-to-chip. На наиболее горячие компоненты устанавливаются специальные холодные пластины. Через них проходит жидкость, которая забирает тепло непосредственно у процессора или ускорителя.
Дальше нагретый теплоноситель поступает в блок распределения охлаждения. Его часто обозначают сокращением CDU. Там тепло передаётся следующему контуру и в конечном итоге удаляется за пределы серверного зала.
При этом вентиляторы из сервера не обязательно исчезают полностью. Процессор и GPU могут охлаждаться жидкостью, а память, накопители, сетевые карты и блоки питания продолжают обдуваться воздухом.
Получается гибридная система, в которой наиболее горячие компоненты перестают создавать основную нагрузку на воздушное охлаждение.
Такой подход особенно удобен для модернизации существующего дата-центра. Не всегда требуется полностью перестраивать машинный зал. Оператор может подготовить отдельные стойки или зоны с CDU и жидкостными контурами, оставив остальные серверы на традиционном охлаждении.
Именно поэтому ближайшее будущее многих ЦОД скорее выглядит гибридным, чем полностью жидкостным.
Жидкостное охлаждение бывает разным
Direct-to-chip является далеко не единственным вариантом. Есть задние теплообменники, которые устанавливаются непосредственно на дверь серверной стойки. Горячий воздух проходит через теплообменник и отдаёт значительную часть тепла жидкости ещё до выхода в машинный зал.
Такой подход позволяет поддерживать более плотные стойки, не меняя конструкцию каждого сервера.
Существует и иммерсионное охлаждение. В этом случае электронное оборудование помещается в специальную диэлектрическую жидкость, которая не проводит электрический ток.
Тепло передаётся жидкости непосредственно со всей поверхности компонентов.
Выглядит такая система эффектно, но для обычного коммерческого дата-центра она создаёт немало эксплуатационных вопросов. Требуются специальные резервуары, совместимые материалы, другая организация обслуживания и процедуры работы с оборудованием.
Поэтому иммерсионное охлаждение остаётся гораздо более специализированным решением, чем direct-to-chip.
Для владельца обычного сервера важен другой вывод: наличие жидкостного охлаждения у ЦОД ещё не означает, что его можно использовать с любой машиной.
Стандартный воздушный сервер нельзя просто подключить к водяному контуру. Его аппаратная платформа должна изначально поддерживать соответствующую систему или быть специально переоборудована.
И наоборот, сервер с заводским жидкостным охлаждением нельзя нормально разместить в дата-центре, где нет подходящего контура, CDU и персонала, умеющего работать с такой инфраструктурой.
Поэтому для высокоплотного оборудования совместимость охлаждения нужно согласовывать ещё до покупки или доставки машины.
У жидкостной системы есть очевидный страх — протечка рядом с очень дорогой электроникой.
Поэтому профессиональная инфраструктура строится не как обычная домашняя водянка в игровом компьютере. Используются контролируемые соединения, датчики утечки, мониторинг давления, клапаны и процедуры обслуживания.
При этом новые компоненты означают и новые точки возможного отказа. Насос, CDU, соединение или клапан также могут выйти из строя.
Получается парадокс: жидкостное охлаждение помогает решить проблему высокой тепловой плотности, но одновременно делает инженерную систему сложнее.
Поэтому для обычного сервера нет смысла переходить на жидкость только потому, что технология кажется современной.
Если стойка прекрасно охлаждается воздухом, дополнительная сложность не даёт практической выгоды.
Совсем другая ситуация возникает с GPU-кластерами и оборудованием для искусственного интеллекта.
Производительность таких систем растёт вместе с энергопотреблением. Чем больше мощности сосредоточено в одной стойке, тем сильнее охлаждение влияет на возможность вообще установить оборудование в конкретном ЦОД.
Именно здесь жидкость постепенно перестаёт быть необычным дополнением и превращается в один из стандартных вариантов инженерной инфраструктуры.
Есть ещё одно преимущество. При direct-to-chip значительная часть тепла выводится из сервера жидкостью, поэтому вентиляторам приходится выполнять меньшую работу.
Это может уменьшать их энергопотребление и позволяет плотнее размещать оборудование.
Кроме того, жидкость способна покидать сервер при более высокой температуре, чем холодный воздух классической системы. Чем выше полезная температура удаляемого тепла, тем проще в некоторых проектах использовать его повторно.
Например, тепло дата-центра потенциально можно направлять в системы отопления зданий или другие объекты, которым требуется горячая вода. Экономический смысл такого решения зависит от конкретной площадки и наличия потребителей поблизости.
Но жидкостное охлаждение не отменяет базовые принципы дата-центра.
Системе по-прежнему требуется резервирование. Если прекращается циркуляция теплоносителя, высокоплотный процессор или GPU способен очень быстро нагреться.
Поэтому насосы, CDU и внешние контуры проектируются с учётом отказов, а автоматика следит за температурой, потоком и давлением.
Сам сервер также имеет защиту. При росте температуры процессор снижает частоту, а при достижении критического значения оборудование может аварийно завершить работу.
Но задача хорошего ЦОД заключается как раз в том, чтобы до таких сценариев не доходило.
Для коммерческого клиента различие между воздушным и жидкостным охлаждением в конечном итоге проявляется в доступной мощности.
Обычный сервер может потреблять несколько сотен ватт и прекрасно работать в любой современной стойке. Более мощная машина потребует проверки лимита конкретного шкафа. Большой GPU-кластер уже заставляет выбирать не просто дата-центр, а определённую высокоплотную зону.
Поэтому вопрос сколько киловатт доступно на стойку становится тесно связан с вопросом каким способом это тепло будет удаляться.
Физически подвести к шкафу мощное электропитание недостаточно. Если система охлаждения способна отвести только часть выделяемого тепла, использовать всю доступную электрическую мощность всё равно нельзя.
Именно здесь становится понятна связь между энергетикой и охлаждением ЦОД.
Современный дата-центр проектируется не отдельно по электричеству и отдельно по кондиционированию. Эти системы рассчитываются вместе.
Каждый дополнительный киловатт, который получает вычислительное оборудование, практически сразу превращается в дополнительный киловатт тепловой нагрузки.
Для владельца обычного сайта выбирать хостинг по типу охлаждения нет необходимости. Провайдер самостоятельно отвечает за инфраструктуру площадки.
Но при аренде мощного физического сервера или размещении собственного оборудования вопрос становится практическим.
Если сервер штатно использует воздушное охлаждение, нужно убедиться, что ЦОД допускает его тепловую мощность в выбранной стойке. Для жидкостной системы необходимо проверить совместимость контуров, соединений и требования производителя оборудования.
Для GPU стоит отдельно уточнить, рассчитан ли тариф именно на высокоплотные нагрузки. Свободные 4U в стойке ещё не означают, что туда можно установить любую четырёхюнитовую машину.
В итоге воздушное и жидкостное охлаждение нельзя разделить на старое и новое.
Воздух остаётся простым, универсальным и хорошо отработанным способом охлаждения огромного количества серверов. Для умеренной плотности его преимуществ достаточно, а переход на более сложную систему только увеличит расходы.
Жидкость становится сильнее там, где в небольшой объём пытаются поместить всё больше вычислительной мощности.
Поэтому рост искусственного интеллекта не уничтожает воздушное охлаждение, а создаёт рядом с ним новый класс инфраструктуры.
В одном дата-центре вполне могут работать обычные стойки с воздушным охлаждением, высокоплотные GPU-зоны с direct-to-chip и отдельные специализированные решения.
Такой смешанный подход позволяет оператору не перестраивать весь объект ради небольшой группы мощных серверов и одновременно быть готовым к дальнейшему росту вычислительной плотности.
Для клиента главное не искать самый современный способ охлаждения, а убедиться, что выбранный ЦОД действительно рассчитан на конкретное оборудование. Для обычного сервера это может быть качественно организованный холодный коридор. Для мощного GPU-кластера уже понадобится совершенно другая инженерная инфраструктура.
