Дата-центр легко представить как большое помещение с рядами серверных стоек. На самом деле серверы появляются почти в самом конце проекта. До этого нужно найти подходящую площадку, получить большую электрическую мощность, построить резервное электроснабжение, продумать охлаждение, подключить несколько линий связи, организовать пожарную безопасность, физическую защиту и систему управления всей инженерией.
Именно поэтому строительство ЦОД заметно отличается от возведения обычного офиса или склада. Здание здесь является лишь оболочкой для сложного инженерного комплекса, который должен работать круглосуточно и продолжать обслуживать серверы даже при отказе отдельных компонентов.
Площадка может выглядеть совершенно новой, иметь красивые серверные залы и при этом оказаться бесполезной, если к ней невозможно подвести необходимую мощность. И наоборот, удачно расположенный объект с хорошим электроснабжением способен стать основой крупного дата-центра даже вдали от центра большого города.
Поэтому строительство ЦОД начинается задолго до заливки фундамента. Самые важные решения принимаются ещё на этапе выбора территории и технических условий.
Из каких этапов складывается строительство дата-центра
Первый вопрос будущего оператора звучит не сколько стоек поместится в здании, а сколько электрической мощности можно получить на этой площадке.
Современный дата-центр является крупным потребителем энергии. Электричество требуется не только серверам, но и системам охлаждения, насосам, вентиляции, источникам бесперебойного питания, автоматике и другой инженерной инфраструктуре.
При этом мощность должна быть не просто доступна сегодня. Нужно понимать, сможет ли объект расширяться через несколько лет.
Если первый серверный зал заполнится, а энергетическая инфраструктура уже работает на пределе, построить рядом второй корпус будет значительно сложнее. Именно поэтому крупные кампусы проектируют сразу с расчётом на несколько очередей.
Следом оценивается надёжность внешнего электроснабжения. Для серьёзного ЦОД желательно иметь несколько независимых вводов и возможность построить собственную распределительную инфраструктуру.
Однако даже несколько внешних линий не решают проблему полностью. Городская сеть может отключиться, поэтому внутри дата-центра создаётся собственная система резервирования.
Электрическая часть занимает огромную долю проекта
Между внешней сетью и блоком питания конкретного сервера находится длинная цепочка оборудования. В неё входят трансформаторы, распределительные устройства, ИБП, аккумуляторные системы, шинопроводы, PDU и резервные генераторы.
Каждый элемент должен быть рассчитан на большую нагрузку и при необходимости иметь резерв.
Например, задача источника бесперебойного питания состоит в том, чтобы серверы вообще не заметили исчезновение внешней сети. Пока ИБП поддерживает нагрузку, запускаются генераторы, после чего они принимают электроснабжение площадки на себя.
Если внешний сбой продолжается долго, дата-центр должен иметь запас топлива и возможность пополнять его, не останавливая работу.
Все эти системы стоят дорого, занимают много пространства и требуют обслуживания, хотя в нормальной ситуации часть из них может годами не использоваться по прямому назначению.
Именно в этом заключается одна из особенностей экономики ЦОД. Оператор инвестирует большие деньги в оборудование, которое существует прежде всего ради редких аварий.
Но без него дата-центр перестал бы быть дата-центром и превратился бы в обычную серверную комнату.
После энергетики проектируется охлаждение. Практически всё электричество, которое получают серверы, в конечном итоге превращается в тепло. Чем больше вычислительная нагрузка, тем больше тепла нужно удалить из машинного зала.
В традиционном ЦОД используются холодные и горячие коридоры, кондиционеры, чиллеры, насосы, теплообменники и другие элементы климатической системы.
Новые высокоплотные площадки дополнительно проектируются под жидкостное охлаждение. Особенно это актуально для GPU и инфраструктуры искусственного интеллекта.
Сложность заключается в том, что систему охлаждения нельзя просто добавить после заполнения зала серверами. Воздуховоды, трубопроводы, места для оборудования, маршруты теплоносителя и резервирование нужно учитывать на этапе проектирования здания.
Если старый ЦОД изначально создавался под небольшую мощность на стойку, превратить его в площадку для современных GPU может быть технически сложно и экономически невыгодно.
Именно поэтому новое поколение дата-центров всё чаще проектируется с запасом по плотности мощности и возможностью модернизации системы охлаждения.
Следующая часть проекта связана с телекоммуникациями.
Дата-центр без хороших каналов связи практически бесполезен. Можно построить идеальную электрическую систему и установить тысячи серверов, но если до объекта ведёт единственный оптоволоконный маршрут, вся инфраструктура остаётся зависимой от одной аварии.
Поэтому крупные ЦОД стараются подключать несколько операторов связи и заводить кабели в здание разными физическими маршрутами.
Важно именно физическое разделение. Два кабеля от разных компаний мало помогают, если они проходят в одной канализации и могут быть повреждены одним экскаватором.
Внутри здания создаются помещения ввода связи, кроссовые зоны и магистральная кабельная инфраструктура. В крупных коммерческих ЦОД клиенты могут подключаться к разным операторам и организовывать собственные соединения.
После этого начинается проектирование непосредственно серверных залов.
Нужно решить, сколько стоек будет установлено, какую мощность получит каждая, где расположатся холодные и горячие коридоры, как будут проходить силовые и сетевые кабели, каким образом инженеры смогут обслуживать оборудование.
Стойки нельзя просто расставить максимально плотно. Нужно оставить пространство для доступа, перемещения тяжёлого оборудования, циркуляции воздуха и инженерных коммуникаций.
При этом каждый лишний квадратный метр увеличивает стоимость здания, поэтому планировка является компромиссом между плотностью и удобством эксплуатации.
Большое значение имеет пол. Полностью заполненная серверная стойка может быть очень тяжёлой, особенно если внутри находятся системы хранения или плотные GPU-серверы. Конструкции здания должны выдерживать такую нагрузку с запасом.
Для высокоплотных залов требования становятся ещё жёстче.
Параллельно проектируется пожарная безопасность. Обычной пожарной сигнализации недостаточно. В ЦОД важно обнаружить признаки возгорания как можно раньше, иногда ещё до появления видимого дыма.
Используются системы раннего обнаружения, датчики, автоматика и специальные средства пожаротушения, подходящие для помещений с большим количеством дорогостоящей электроники.
Пожарная система должна быть связана с вентиляцией, электроснабжением и системой доступа. В аварийной ситуации все эти компоненты должны действовать по заранее определённому сценарию.
Отдельным проектом становится физическая безопасность.
Большой дата-центр не должен позволять посетителю пройти от входной двери непосредственно к серверной стойке. Создаются несколько уровней доступа, зоны для клиентов, охрана, видеонаблюдение, системы идентификации и журналирование посещений.
Внутри машинного зала могут использоваться закрытые стойки, отдельные клетки и изолированные зоны для крупных клиентов.
При этом безопасность не должна мешать эксплуатации. Если специалисту ночью необходимо срочно заменить неисправный диск, процедура доступа должна быть одновременно строгой и достаточно быстрой.
После строительства дата-центр ещё нельзя сразу заполнять серверами
Один из наиболее важных этапов начинается после того, как монтаж выглядит завершённым. Инженерные системы нужно проверить под нагрузкой.
Недостаточно убедиться, что генератор запускается. Нужно проверить, способен ли он принять реальную нагрузку. Недостаточно увидеть работающий кондиционер. Нужно понять, что произойдёт при отказе одного элемента климатической системы в жаркий день.
Проверяются сценарии отключения внешней сети, перехода на ИБП, запуска генераторов, отказа отдельных распределительных элементов и потери части охлаждения.
Такие испытания помогают обнаружить ошибки, которые невозможно увидеть на чертеже.
Например, оборудование может быть правильно подобрано по мощности, но автоматическое переключение между двумя системами настроено неправильно. Формально резерв существует, а фактически при аварии не включается.
Именно поэтому ввод ЦОД в эксплуатацию представляет собой самостоятельный этап, а не просто момент передачи ключей от здания.
Крупные площадки редко строят целиком за один раз. Намного рациональнее запускать их очередями.
Сначала создаётся часть серверных залов и необходимая для них инженерная инфраструктура. По мере заполнения строится следующая очередь.
Так оператору не приходится несколько лет содержать огромное пустое здание со всей уже запущенной инженерией.
Но модульное строительство требует заранее предусмотреть расширение. Нужно оставить место под дополнительные трансформаторы, генераторы, холодильные машины, кабельные трассы и будущие серверные корпуса.
Если этого не сделать, развитие площадки может потребовать остановки уже работающей инфраструктуры, что для коммерческого ЦОД крайне нежелательно.
Почему дата-центр стоит так дорого и на чём нельзя экономить
Главная ошибка при оценке стоимости ЦОД заключается в попытке сравнить его с обычным промышленным зданием аналогичной площади.
Стены, крыша и бетонный пол являются лишь небольшой частью проекта. Значительная доля инвестиций находится в инженерной инфраструктуре.
К дата-центру нужно подвести большую электрическую мощность. Иногда для этого строятся новые подстанции и линии электропередачи. Затем внутри объекта создаётся резервированная система электроснабжения.
Параллельно строится мощная система охлаждения, которая также имеет резервные элементы.
Добавляются генераторы, аккумуляторы, автоматика, пожаротушение, сети, безопасность и системы мониторинга.
В результате оборудование вокруг серверов может стоить не меньше, чем само здание.
Особенно дорого обходится резервирование.
Обычный коммерческий объект может иметь один рабочий кондиционер и запасной небольшой агрегат. Дата-центр не может рассчитывать, что ремонт удастся провести завтра утром.
Если охлаждение критичного зала остановилось, последствия могут наступить очень быстро.
Поэтому мощность проектируется так, чтобы отдельный отказ не оставил серверы без необходимого ресурса.
Та же логика работает с электричеством, насосами, сетями и другими компонентами.
Резервное оборудование увеличивает стоимость проекта, занимает место и требует обслуживания, хотя большую часть времени оно может находиться в ожидании.
Но именно это оборудование клиент фактически покупает вместе с услугой дата-центра.
Когда владелец одного сервера оплачивает colocation, он платит не только за несколько сантиметров пространства в стойке. В стоимость входят доступ к резервному электричеству, охлаждению, сетевой инфраструктуре, физической защите и инженерной команде.
Другим крупным фактором становится мощность.
Построить серверный зал на тысячу стоек относительно просто на бумаге. Намного сложнее обеспечить каждой стойке необходимое количество киловатт.
Особенно если речь идёт о новых GPU-системах.
Высокоплотное оборудование требует не только более мощного электроснабжения, но и усиленного охлаждения. Поэтому рост вычислительной плотности увеличивает стоимость сразу нескольких инженерных систем.
В старом дата-центре физически может оставаться много свободного места, но установить туда плотный AI-кластер невозможно из-за ограничений по питанию и отводу тепла.
Поэтому новые AI-ready площадки требуют значительно более серьёзных инвестиций в инфраструктуру на одну стойку.
Дорогим ресурсом является и время.
Крупный дата-центр невозможно быстро построить только потому, что инвестор нашёл деньги. Получение технических условий на электроснабжение, проектирование, закупка оборудования и строительство могут занимать длительный период.
Некоторые мощные инженерные компоненты изготавливаются под заказ. Их нельзя просто купить в ближайшем магазине после того, как строительство уже началось.
Ошибка на раннем этапе проекта поэтому обходится особенно дорого.
Если после запуска выясняется, что подстанция слишком мала или система охлаждения не рассчитана на будущую плотность стоек, исправление может потребовать серьёзной реконструкции.
Именно поэтому хороший проект закладывает определённый запас.
Но запас тоже стоит денег.
Если построить инфраструктуру на огромную мощность и затем несколько лет использовать только малую часть, инвестиции будут простаивать.
Оператору приходится прогнозировать спрос: сколько клиентов придёт, какие серверы они будут устанавливать, насколько быстро вырастет потребление на стойку и какие технологии охлаждения понадобятся через несколько лет.
Это особенно сложно сейчас, когда развитие искусственного интеллекта быстро меняет требования к дата-центрам.
Ещё несколько лет назад стойка с очень высокой электрической нагрузкой была нишевым исключением. Сегодня именно под такие конфигурации создаются новые специализированные зоны.
При этом строить весь ЦОД исключительно под максимальную плотность тоже не всегда рационально. Огромному количеству обычных серверов такие возможности не нужны.
Поэтому крупные современные площадки могут разделяться на зоны с разными характеристиками.
Одни рассчитаны на классический colocation, другие на более мощные серверы, третьи на GPU и жидкостное охлаждение.
Это позволяет не завышать стоимость инфраструктуры там, где она не требуется.
Отдельным расходом является связь. Хороший дата-центр должен иметь несколько независимых маршрутов подключения и возможности для работы разных операторов.
Строительство оптических трасс, кроссовых помещений и внутренних сетей тоже требует денег.
При этом экономить на физическом разнообразии маршрутов опасно. Несколько логически разных подключений, проходящих через одну точку, способны исчезнуть одновременно.
Затраты продолжаются и после завершения строительства.
Дата-центр работает круглосуточно. Ему нужны инженеры, охрана, техническое обслуживание, запасные компоненты, топливо для генераторов, проверки пожарной системы, обслуживание ИБП и климатического оборудования.
Часть систем необходимо периодически заменять ещё до полного выхода из строя.
Аккумуляторы стареют, механическое оборудование изнашивается, серверная плотность растёт, а требования клиентов меняются.
Поэтому ЦОД нельзя построить один раз и затем десятилетиями просто собирать арендную плату со стоек.
Это постоянно развивающаяся инженерная инфраструктура.
Для бизнеса именно поэтому строительство собственного дата-центра оправдано далеко не всегда.
Если компании нужно разместить несколько серверов или даже несколько стоек, создание отдельной площадки обычно означает огромные расходы на инфраструктуру, большая часть которой будет недоиспользована.
Коммерческий ЦОД распределяет эти затраты между множеством клиентов. Один генератор, система охлаждения и охрана обслуживают сотни или тысячи серверов разных компаний.
Именно масштаб делает colocation экономически разумным.
Собственный дата-центр начинает иметь смысл, когда организация действительно обладает очень крупной инфраструктурой, особыми требованиями к безопасности или хочет полностью контролировать физическую площадку.
Но даже крупные компании часто используют сочетание собственных и коммерческих ЦОД.
Так проще распределять риски, запускать резервные площадки и расширяться без строительства нового здания для каждой очереди серверов.
В итоге высокая стоимость дата-центра складывается не из дорогих стен и эффектных серверных стоек. Основные деньги уходят в электроэнергию, резервирование, охлаждение, сети, пожарную безопасность, физическую защиту и способность объекта продолжать работу во время аварий.
Чем выше требования к мощности и доступности, тем дороже становится каждый следующий уровень инфраструктуры.
Поэтому профессиональный ЦОД строят не как помещение, где удобно поставить серверы, а как инженерную систему, рассчитанную на непрерывную работу этих серверов в течение многих лет.
Именно эта невидимая часть проекта объясняет, почему строительство дата-центра требует настолько больших инвестиций и почему обычная серверная в офисе не может обеспечить тот же уровень инфраструктуры только установкой кондиционера и источника бесперебойного питания.
