Современный дата-центр может потреблять столько электроэнергии, что его мощность удобнее измерять уже не в киловаттах, а в мегаваттах. На первый взгляд кажется, что почти вся эта энергия уходит непосредственно в серверы. На практике картина сложнее. Кроме вычислительного оборудования электричество требуется системам охлаждения, источникам бесперебойного питания, сетевой инфраструктуре, насосам, вентиляции, освещению, безопасности и другим инженерным системам.
Из-за этого две площадки с одинаковым количеством серверных стоек могут очень сильно различаться по энергопотреблению. В одном ЦОД работают обычные веб-серверы с умеренной плотностью, в другом стоят мощные GPU-кластеры, системы хранения и высокопроизводительное сетевое оборудование. Физически машинные залы могут выглядеть похоже, но нагрузка на электросеть будет совершенно разной.
Есть и ещё одна причина путаницы. В описании дата-центра часто указывается доступная или подведённая мощность. Это не обязательно означает, что площадка круглосуточно потребляет именно столько электричества. Между максимальной проектной возможностью и фактической нагрузкой может оставаться большой запас.
Поэтому вопрос сколько потребляет дата-центр нельзя свести к одной универсальной цифре. Нужно учитывать размер площадки, количество работающих стоек, тип оборудования, плотность мощности, климат, систему охлаждения и эффективность всей инженерной инфраструктуры.
Тем не менее разобраться в общей логике довольно легко. Основным потребителем остаётся IT-оборудование, а всё остальное существует для того, чтобы серверы могли работать круглосуточно и не зависеть от жары, отключения электричества или отказа отдельного инженерного узла.
Куда уходит электричество внутри дата-центра
Главная часть энергопотребления приходится непосредственно на серверы, системы хранения и сетевое оборудование. Процессоры выполняют вычисления, оперативная память хранит данные, диски работают с файлами, GPU обрабатывают параллельные задачи, а коммутаторы и маршрутизаторы передают огромные объёмы трафика.
Чем выше загрузка оборудования, тем больше электричества оно обычно потребляет. Сервер в состоянии относительного простоя может использовать значительно меньше своей максимальной мощности, а под полной вычислительной нагрузкой приблизиться к верхней границе.
Поэтому даже внутри одного ЦОД энергопотребление меняется в течение суток. Облачные платформы, корпоративные сервисы и хостинг реагируют на активность пользователей, резервное копирование запускается по расписанию, а вычислительные задачи могут создавать длительную постоянную нагрузку.
Особенно сильно на общую мощность влияет плотность оборудования в стойке.
Представим два шкафа одинаковой высоты. Первый заполнен сравнительно экономичными серверами, каждый из которых потребляет несколько сотен ватт. Второй содержит производительные GPU-системы, способные требовать несколько киловатт каждая. Количество занятых юнитов может быть почти одинаковым, но энергопотребление второй стойки окажется во много раз выше.
Именно поэтому современные дата-центры всё чаще оценивают не только по количеству доступных стоек, но и по мощности, которую можно безопасно предоставить каждой из них.
Почти вся энергия сервера превращается в тепло
У дата-центра есть неприятная физическая особенность: практически всё электричество, которое использует вычислительное оборудование, в конечном итоге превращается в тепло.
Процессор потребил энергию и выполнил вычисления — тепло нужно удалить. Работала видеокарта — снова появилось тепло. Накопители, память, блоки питания и сетевые устройства тоже нагреваются.
Поэтому увеличение вычислительной мощности автоматически создаёт вторую задачу: дата-центру приходится отвести примерно соответствующее количество тепла.
Именно здесь появляется один из крупнейших дополнительных потребителей электроэнергии — система охлаждения.
В классическом ЦОД холодный воздух подаётся к передней части серверных стоек. Вентиляторы серверов протягивают его через корпус, воздух нагревается и выходит сзади. Затем тепло удаляется системой кондиционирования.
Чтобы такая схема работала эффективно, машинный зал разделяют на холодные и горячие коридоры. В более современных конфигурациях коридоры дополнительно изолируют, чтобы холодный и нагретый воздух меньше смешивались.
Чем меньше приходится повторно охлаждать уже нагретый воздух, тем ниже расход энергии.
В охлаждении участвуют не только кондиционеры. В зависимости от архитектуры площадки работают вентиляторы, насосы, чиллеры, градирни, теплообменники и другое оборудование.
В холодном климате часть года можно использовать наружный воздух или низкую температуру окружающей среды для более экономичного охлаждения. Такой подход называют свободным охлаждением. Он позволяет уменьшить время работы наиболее энергоёмких холодильных машин.
Для высокоплотных GPU-систем всё чаще применяется жидкостное охлаждение. Оно позволяет значительно эффективнее забирать тепло непосредственно от горячих компонентов.
Но жидкость тоже не делает охлаждение бесплатным. Насосам требуется энергия, работают теплообменники, системы контроля и внешние контуры отвода тепла.
Задача инженеров заключается не в том, чтобы полностью избавиться от энергозатрат на охлаждение, а в том, чтобы удалить необходимое количество тепла с минимальными дополнительными расходами.
Часть энергии теряется ещё до того, как попадает в сервер
Электроэнергия проходит довольно длинный путь от внешней сети до блока питания конкретного сервера.
На площадке могут находиться трансформаторы, распределительные устройства, источники бесперебойного питания, шинопроводы и PDU. На каждом этапе возникают небольшие потери.
Современное оборудование проектируется с высокой эффективностью, поэтому речь не идёт о том, что половина энергии исчезает по дороге. Но в крупном дата-центре даже несколько процентов превращаются в заметную величину.
Например, если вычислительная инфраструктура потребляет много мегаватт, улучшение эффективности всего на один процент уже означает существенную экономию электроэнергии в течение года.
Поэтому производители ИБП, блоков питания и распределительного оборудования уделяют эффективности огромное внимание.
Отдельную роль играет резервирование.
Дата-центр нельзя строить по принципу один трансформатор, один ИБП и один кондиционер на всё здание. Отказ единственного компонента остановил бы слишком много оборудования.
Поэтому устанавливаются резервные узлы. Часть из них может работать одновременно с основными, часть находиться в готовности.
Такое резервирование повышает надёжность, но иногда немного снижает энергетическую эффективность. Инженерам приходится искать баланс между минимальными потерями и способностью пережить отказ оборудования.
Заметно меньше энергии используют системы освещения, контроля доступа, видеонаблюдения, автоматики, диспетчеризации и офисные помещения персонала.
На фоне тысяч серверов их доля обычно невелика, но полностью исключать её тоже нельзя.
Даже серверный зал без людей требует постоянной работы датчиков температуры, дыма, протечек, охранных систем и сетевого мониторинга.
Именно поэтому потребление всего здания всегда выше суммы энергопотребления серверов.
Как измеряют энергоэффективность ЦОД и почему один мегаватт не равен другому
Для оценки энергетической эффективности дата-центров часто используют показатель PUE. Он показывает отношение общего энергопотребления площадки к энергии, которую непосредственно получает IT-оборудование.
Логика довольно простая.
Если серверы и сеть используют условную единицу энергии, а весь дата-центр вместе с охлаждением и другими инженерными системами потребляет значительно больше, дополнительная часть приходится на инфраструктуру здания.
Чем ближе PUE к единице, тем большая доля электроэнергии непосредственно используется вычислительным оборудованием.
Достичь ровно 1,0 практически невозможно, потому что серверы всё равно необходимо охлаждать, электричество нужно распределять, а инженерные системы должны постоянно работать.
При этом сравнивать дата-центры исключительно по PUE тоже неправильно.
На показатель влияет климат. Площадка в холодном регионе потенциально может значительную часть года использовать более экономичное охлаждение. ЦОД в жарком климате приходится активнее использовать холодильное оборудование.
Влияет и загрузка объекта. Огромный новый дата-центр, в котором пока занята только небольшая часть машинных залов, может временно выглядеть менее эффективным, потому что часть инженерной инфраструктуры уже работает, а количество установленного оборудования ещё невелико.
По мере заполнения площадки соотношение меняется.
Поэтому PUE полезен как инженерный показатель, но не как единственный критерий выбора дата-центра.
Для клиента colocation гораздо важнее понять, сколько мощности оператор готов предоставить конкретному серверу или стойке, как она резервируется и что происходит при превышении согласованного лимита.
Есть и другой важный термин — IT load. Это электрическая нагрузка непосредственно вычислительного и сетевого оборудования.
Если оператор говорит, что дата-центр рассчитан на определённую IT-мощность, речь идёт именно о той части энергии, которая может использоваться серверами и другим IT-оборудованием, а не обязательно о полном потреблении всего здания.
Общая электрическая мощность объекта будет выше, поскольку необходимо обеспечить охлаждение и остальные инженерные системы.
Из-за этого при сравнении разных ЦОД важно смотреть, какую именно цифру приводит оператор.
Подведённая мощность, IT-мощность и фактическое энергопотребление являются разными показателями.
Например, к площадке может быть подведено несколько десятков мегаватт, но пока занята только половина серверных залов и реальное потребление значительно ниже.
И наоборот, старый ЦОД может быть практически полностью заполнен и находиться близко к пределу доступной мощности, даже если физически внутри остаётся место для новых стоек.
Это одна из причин, почему наличие свободных квадратных метров не гарантирует возможность установить ещё один мощный GPU-кластер.
Электричество становится фактически таким же ограниченным ресурсом дата-центра, как площадь.
Для обычного хостинга это долгое время было менее заметно. Несколько серверов можно было достаточно свободно распределить по стойкам и получить необходимую мощность.
С развитием искусственного интеллекта ситуация меняется. Высокоплотные GPU-системы резко увеличивают количество киловатт на одну стойку.
Из-за этого оператору приходится заранее проектировать отдельные зоны с усиленным электроснабжением и охлаждением.
Иногда две стойки одинакового размера оказываются совершенно разными продуктами. Одна рассчитана на несколько киловатт классической серверной нагрузки, другая на десятки киловатт высокопроизводительных вычислений.
Для клиента разница проявляется и в цене.
При colocation электрическая мощность становится одной из основных составляющих тарифа. Оператор покупает электроэнергию, содержит резервные системы, охлаждает оборудование и должен заранее обеспечить достаточный запас инженерной инфраструктуры.
Поэтому современный тариф на размещение нельзя оценивать только по стоимости одного U.
Сервер 1U с небольшим потреблением и мощная GPU-машина того же размера создают для дата-центра совершенно разные расходы.
Энергопотребление влияет и на выбор географии ЦОД.
Большой город удобен близостью к клиентам и телекоммуникационной инфраструктуре, но получить десятки дополнительных мегаватт в уже перегруженной городской энергосистеме бывает сложно.
Поэтому новые крупные дата-центры всё чаще появляются за пределами центра мегаполиса или в регионах с доступной генерацией.
Для обычного сайта расстояние до пользователей по-прежнему имеет значение. Для большого вычислительного кластера баланс может быть другим: доступ к электрической мощности иногда важнее нескольких дополнительных миллисекунд сетевой задержки.
Особенно заметно это в системах обучения искусственного интеллекта, научных вычислениях и других задачах, где серверы долго работают внутри одного кластера и относительно мало взаимодействуют с конечными пользователями.
Электроэнергия влияет даже на то, насколько быстро оператор может расширить дата-центр.
Построить новый машинный зал иногда проще, чем получить необходимую мощность от внешней сети. Требуются новые подстанции, линии электропередачи, трансформаторы и согласования.
Поэтому объявленная площадь будущего ЦОД сама по себе мало говорит о его реальных возможностях.
Гораздо интереснее знать, какую IT-нагрузку сможет обслуживать площадка после запуска.
Есть и экологическая сторона вопроса.
Чем больше дата-центров появляется в мире, тем важнее становится источник используемой ими электроэнергии. Операторы стараются повышать эффективность оборудования, использовать более экономичное охлаждение и по возможности получать энергию из источников с меньшим углеродным следом.
При этом самый эффективный способ снизить расход энергии часто находится не в здании ЦОД, а внутри серверов.
Недогруженная физическая машина всё равно потребляет электричество. Если множество серверов работает на нескольких процентах своей мощности, инфраструктура используется неэффективно.
Виртуализация и облачные платформы позволяют плотнее распределять вычислительную нагрузку и сокращать количество простаивающего оборудования.
Но и здесь нет универсального правила. Для некоторых задач отдельный физический сервер эффективнее и предсказуемее большого количества виртуальных машин.
Поэтому энергетическая эффективность начинается с правильной архитектуры приложения и заканчивается инженерными системами самого дата-центра.
Для владельца небольшого сайта энергопотребление ЦОД редко является самостоятельным критерием выбора хостинга. Провайдер уже включает электричество и охлаждение в стоимость услуги.
Ситуация меняется при аренде выделенного сервера, colocation или целой стойки. Чем больше собственного оборудования размещает компания, тем заметнее мощность влияет на коммерческое предложение.
Если сервер потребляет 300 Вт, дополнительный запас получить относительно просто. Если стойке требуется 20 или 30 кВт, выбор подходящих площадок становится гораздо уже.
Поэтому перед размещением мощной инфраструктуры лучше заранее узнать не только текущий лимит, но и возможность его увеличения.
Компания может начать с нескольких серверов, а через два года установить GPU, добавить СХД и значительно увеличить нагрузку. Если зал уже работает на пределе электроснабжения, оборудование придётся переносить в другую часть ЦОД или на другую площадку.
Именно поэтому доступная мощность является таким же ресурсом для роста, как свободные юниты.
В результате электричество в дата-центре расходуется далеко не только на работу серверов. Основная энергия действительно идёт IT-оборудованию, но вокруг него работает целая инженерная система, необходимая для круглосуточной эксплуатации.
Часть мощности забирает охлаждение, часть теряется при преобразовании и распределении электричества, небольшую долю используют системы безопасности, автоматика и освещение.
Чем эффективнее устроен ЦОД, тем больше поступившей энергии превращается непосредственно в полезные вычисления.
Но абсолютная экономия не является единственной целью. Дата-центр должен одновременно оставаться надёжным, резервированным и готовым пережить отказ оборудования или внешнего электроснабжения.
Поэтому хороший ЦОД не тот, который просто потребляет как можно меньше электричества, а тот, который разумно использует доступную мощность и способен стабильно обеспечивать ею серверы клиентов даже тогда, когда часть инженерной инфраструктуры выходит из строя.
