Colocation ассоциируется прежде всего с физическими серверами, но в стойках дата-центров размещают далеко не только их. Коммутаторы, маршрутизаторы, аппаратные межсетевые экраны, балансировщики нагрузки, VPN-шлюзы и другое сетевое оборудование тоже можно перенести из офиса в профессиональный ЦОД. Для компаний со своей инфраструктурой это часто не вспомогательная мелочь, а необходимая часть всей схемы размещения.
Один сервер можно подключить непосредственно к сети дата-центра и на этом закончить. Если серверов несколько, появляются отдельные сети, резервные подключения, управление, связь между оборудованием и необходимость контролировать, какой трафик куда направляется. Тогда собственный коммутатор или маршрутизатор внутри стойки становится вполне логичным решением.
Особенно это актуально для компаний, которые переносят в ЦОД уже работающую инфраструктуру. В офисной серверной может стоять не только несколько серверов, но и привычный firewall, коммутаторы, VPN-шлюз и другое оборудование, на котором построена внутренняя сеть. Иногда дешевле и безопаснее перенести готовую архитектуру практически без изменений, чем полностью перестраивать её под сетевые сервисы нового провайдера.
Но сетевое устройство нельзя оценивать только по высоте 1U и наличию розетки. Для дата-центра важны глубина корпуса, направление воздушного потока, количество блоков питания, тип сетевых интерфейсов, количество необходимых соединений и то, с чем именно устройство должно быть связано после установки.
Поэтому услуга размещения коммутатора или маршрутизатора обычно начинается с технической схемы. Чем точнее она подготовлена, тем легче получить адекватное коммерческое предложение и избежать дополнительных работ уже после доставки оборудования.
Какое сетевое оборудование можно размещать в дата-центре
Самый простой вариант — обычный стоечный Ethernet-коммутатор. Многие модели имеют высоту 1U и без проблем устанавливаются в стандартную 19-дюймовую стойку рядом с серверами.
Такой коммутатор может объединять несколько собственных машин клиента в локальную сеть. Вместо того чтобы подключать каждый сервер отдельным кабелем к оборудованию оператора, компания строит внутреннюю коммутацию самостоятельно и получает один или несколько внешних uplink.
Эта схема особенно удобна, когда серверов становится много. Администратор сохраняет контроль над VLAN, внутренними сегментами и расположением портов, а изменения внутри своей стойки меньше зависят от сотрудников дата-центра.
Размещать можно и маршрутизаторы. Они нужны компаниям, которые самостоятельно управляют маршрутизацией между сетями, используют несколько внешних подключений или строят более сложную инфраструктуру между офисом, ЦОД и другими площадками.
Для небольшого сайта собственный маршрутизатор чаще всего не требуется. Сеть предоставит сам оператор colocation. Но для корпоративной инфраструктуры наличие собственного маршрутизатора может быть принципиальной частью архитектуры.
Следующая распространённая категория — аппаратные межсетевые экраны. Они устанавливаются между внешней сетью и защищаемой инфраструктурой и позволяют компании использовать собственные политики фильтрации независимо от базовых сетевых средств дата-центра.
Это могут быть устройства Fortinet, Cisco, UserGate, Check Point и других производителей либо специализированные аппаратные платформы с подходящим программным обеспечением.
В ЦОД также размещают балансировщики нагрузки, VPN-концентраторы, устройства шифрования, сетевые шлюзы, телекоммуникационное оборудование и другие аппаратные комплексы.
Главное ограничение обычно заключается не в назначении устройства, а в его соответствии техническим требованиям площадки.
Не всё оборудование удобно устанавливается как обычный сервер
С точки зрения монтажа идеальный вариант для дата-центра — устройство стандартной ширины 19 дюймов с комплектом креплений для стойки. Оно занимает понятное количество U и не требует отдельной полки.
Но небольшие маршрутизаторы и firewall часто выпускаются в настольном корпусе. Такое устройство может быть высотой всего несколько сантиметров, однако непосредственно закрепить его в стойке невозможно.
В этом случае применяется серверная полка. На неё можно установить одно или несколько небольших устройств, если дата-центр разрешает такую конфигурацию.
Перед заказом полезно уточнить, чья полка будет использоваться. Она может предоставляться оператором или принадлежать клиенту.
Это кажется мелочью до момента доставки оборудования. Если устройство невозможно закрепить, оно не должно просто лежать поверх сервера или висеть на кабелях. В профессиональном машинном зале оборудование должно быть установлено надёжно.
Для крупных chassis-коммутаторов ситуация противоположная. Они способны занимать много U, иметь значительную массу и потреблять больше электроэнергии, чем несколько обычных серверов.
Такие устройства необходимо согласовывать заранее. Оператору потребуются точная модель, размеры, вес и максимальная потребляемая мощность.
Важно учитывать и глубину. Сетевые устройства нередко короче серверов, но некоторые большие шасси могут быть очень глубокими и тяжёлыми. Одной характеристики 2U для расчёта недостаточно.
Воздушный поток у коммутатора может идти не так, как у сервера
Для сетевого оборудования особенно важно направление охлаждения. Большинство серверов забирает холодный воздух спереди стойки и выбрасывает горячий назад. На этой схеме построено разделение холодных и горячих коридоров в ЦОД.
У коммутаторов всё сложнее. Некоторые модели используют поток спереди назад, другие сзади вперёд. У небольших устройств вентиляция может быть боковой.
Если поставить коммутатор с обратным направлением воздушного потока в обычную серверную стойку, он может получать уже нагретый воздух из горячего коридора.
Для одного маломощного устройства это не всегда станет катастрофой, но при высокой плотности оборудования температура способна заметно вырасти.
Поэтому перед размещением полезно посмотреть спецификацию производителя и сообщить оператору направление airflow.
У многих профессиональных сетевых платформ даже выпускаются разные версии вентиляторов и блоков питания именно под направление потока.
Если ЦОД заранее знает конфигурацию, инженеры смогут правильно определить расположение устройства в стойке.
Следующий параметр — электропитание. Небольшой коммутатор может потреблять совсем немного, но мощная модель с десятками оптических интерфейсов и PoE способна иметь весьма серьёзное энергопотребление.
Особенно это касается PoE-коммутаторов. Паспортная мощность такого устройства включает не только его собственную электронику, но и энергию, которую оно способно отдавать подключённым устройствам.
Если PoE в дата-центре фактически не используется, реальная нагрузка может быть существенно меньше максимального значения.
Оператору лучше сообщать фактическую предполагаемую конфигурацию, а не просто номинал самого мощного блока питания.
Для критичного сетевого оборудования желательно два блока питания. Один можно подключить к линии A, второй к B. Тогда отказ одной ветви электроснабжения не обязательно выключит весь коммутатор или firewall.
Такое резервирование особенно важно, если через одно устройство проходит трафик нескольких серверов. Отказ единственного коммутатора может сделать недоступной всю стойку, даже если сами серверы работают идеально.
Поэтому в сетевой инфраструктуре нужно искать не только резервирование питания, но и одиночные точки отказа в самой схеме.
Например, два сервера с двумя сетевыми картами мало помогают, если оба подключены к одному коммутатору, который не имеет резервного аналога.
Для обычного небольшого проекта такая схема может быть вполне приемлемой. Для критичной инфраструктуры уже рассматривают пару коммутаторов и независимые подключения.
Что согласовать с ЦОД перед размещением коммутатора или маршрутизатора
Начать лучше с простой таблицы оборудования. Для каждого устройства указываются модель, высота в U, глубина, масса, количество блоков питания и энергопотребление.
Если устройство нестандартное, полезно приложить фотографию или ссылку на документацию производителя.
Затем составляется список физических сетевых соединений.
Например, коммутатор должен получить два uplink от дата-центра, подключиться к четырём серверам и иметь ещё один порт для управления. Такая информация намного полезнее менеджеру, чем фраза нужно подключить коммутатор к интернету.
Нужно сразу указать скорость каждого внешнего подключения. Это может быть 1 Гбит/с, 10 Гбит/с или более высокая скорость.
Для гигабитного Ethernet часто используется обычная медь. На больших скоростях чаще применяются SFP, SFP+, SFP28, QSFP и другие оптические или электрические интерфейсы.
Именно здесь появляется один из частых источников несовместимости.
На устройстве клиента может быть подходящий разъём, но конкретный трансивер не поддерживается оборудованием другой стороны. Некоторые производители дополнительно ограничивают использование сторонних оптических модулей.
Поэтому до покупки модулей лучше спросить оператора, какой тип соединения будет предоставлен и кто отвечает за трансиверы.
В одной схеме оператор устанавливает свой модуль с одной стороны, клиент свой с другой. В другой дата-центр предоставляет всё подключение целиком. Универсального правила нет.
Нужно определить и тип кабеля. Короткое соединение внутри стойки можно выполнить DAC-кабелем, а для удалённого оборудования понадобится оптика.
Если собственный коммутатор устанавливается рядом с серверами клиента в одной стойке, внутренняя коммутация обычно довольно проста.
Если соединение должно пройти в другую стойку, к оператору связи или в отдельный сегмент ЦОД, может потребоваться cross-connect.
Это уже отдельная услуга, которая нередко имеет разовый и ежемесячный платёж.
Поэтому при сравнении стоимости colocation сетевого оборудования нужно учитывать не только сам 1U.
Коммутатор стоимостью размещения одного юнита может потребовать несколько внешних соединений, и именно они составят значительную часть счёта.
Следующий вопрос — кто управляет VLAN.
Если внутри своей стойки клиент использует собственный коммутатор, внутренние VLAN он обычно создаёт самостоятельно. Но подключение к сети ЦОД всё равно должно быть согласовано с оператором.
Нужно понимать, что приходит на uplink: обычный порт, trunk, отдельная приватная сеть или другая конфигурация.
Если этого не выяснить заранее, можно привезти оборудование с готовой схемой и обнаружить, что она не соответствует модели сети площадки.
Особенно внимательно стоит относиться к management-интерфейсам сетевого оборудования.
Веб-панель, SSH или консоль управления не должны без необходимости быть доступны всему интернету. Для администрирования лучше использовать отдельную управленческую сеть, VPN или другой защищённый способ доступа.
Это касается не только серверных BMC. Коммутаторы, маршрутизаторы и межсетевые экраны сами являются критичными узлами инфраструктуры.
Компрометация административного интерфейса маршрутизатора может быть опаснее взлома одного прикладного сервера.
Перед colocation нужно продумать и аварийный доступ. Если после изменения конфигурации устройство перестало отвечать по сети, каким образом администратор вернёт управление?
У профессионального оборудования часто есть отдельный консольный порт. Но физический кабель бесполезен, если рядом нет человека или консольного сервера.
Для удалённой площадки можно использовать специализированный console server либо заранее уточнить возможности Remote Hands.
Если инженер ЦОД по заявке способен подключиться консольным кабелем и выполнить действия по инструкции, этого может быть достаточно для небольшой инфраструктуры.
Но желательно заранее знать стоимость и время реакции, а не выяснять условия во время аварии.
Отдельно следует решить, принадлежат ли IP-адреса и сети дата-центру или самой компании.
Для простого размещения одного firewall можно использовать адреса оператора. Более крупная инфраструктура иногда требует собственных сетевых ресурсов и отдельной маршрутизации, но это уже стоит обсуждать как самостоятельную сетевую задачу.
Не нужно заказывать сложную схему только потому, что она технически возможна.
Собственный маршрутизатор имеет смысл тогда, когда компания действительно хочет управлять маршрутизацией. Если нужно всего лишь подключить пять серверов к интернету, готовая сеть ЦОД может оказаться проще и дешевле.
То же относится к собственному firewall.
Для части проектов программного межсетевого экрана на сервере или сетевой услуги провайдера достаточно. Аппаратный firewall становится полезнее, когда за ним находится целый сегмент инфраструктуры или действуют особые корпоративные требования.
Поэтому перед покупкой и размещением сетевого оборудования стоит сначала определить задачу, а уже потом выбирать железо.
Если компания переносит существующую офисную серверную, полезно нарисовать текущую схему соединений. Даже простой рисунок с серверами, коммутаторами, маршрутизаторами и внешними каналами помогает увидеть зависимости.
После этого отмечается, какие элементы переезжают в дата-центр, какие остаются в офисе и каким образом они будут связаны между собой.
Нередко выясняется, что старую схему не нужно переносить буквально. Например, офисный маршрутизатор одновременно обслуживал интернет сотрудников, Wi-Fi и серверы. После переноса серверов в ЦОД эти функции логичнее разделить.
Сам серверный сегмент получает отдельное оборудование на площадке, а офис продолжает работать через свой маршрутизатор.
Так инфраструктура становится понятнее и проще обслуживается.
Если в ЦОД планируется несколько устройств, нужно заранее определить их положение в стойке.
Коммутаторы часто устанавливают рядом с патч-панелями или в верхней части шкафа. Но универсальной схемы нет. Важны удобство кабелей, направление вентиляции и доступ для обслуживания.
Устройства с большим количеством портов лучше располагать так, чтобы пачка кабелей не перекрывала соседнее оборудование.
Кабели желательно маркировать с обеих сторон. Когда в стойке десять соединений, можно надеяться на память администратора. Когда их становится пятьдесят, без маркировки любое обслуживание превращается в поиск нужного провода.
Особенно полезна понятная схема для сотрудников Remote Hands. Инженер, который впервые видит оборудование клиента, должен однозначно понять, какой кабель разрешено отключить.
Фраза переставьте синий провод справа в соседний порт опасна, если в стойке несколько десятков одинаковых синих кабелей.
Нормальная маркировка и фотография актуальной коммутации сильно снижают вероятность ошибки.
До перевозки оборудования необходимо сохранить его конфигурацию.
Для коммутатора экспортируется конфигурационный файл, для firewall сохраняются политики и резервная копия настроек, для маршрутизатора фиксируются интерфейсы и правила маршрутизации.
Физическая поломка сетевого устройства неприятна, но наличие готовой конфигурации позволяет намного быстрее заменить его аналогичной моделью.
Если конфигурация существует только внутри работающего устройства, единственный аппаратный отказ превращается одновременно и в потерю настроек.
Запасной блок питания, трансиверы и несколько подходящих кабелей тоже могут оказаться полезнее, чем кажется.
Для критичного оборудования стоит выяснить, можно ли оставить небольшие запасные компоненты в ЦОД.
Это особенно актуально, если дата-центр находится в другом городе. Доставлять один специфический SFP-модуль во время аварии намного неприятнее, чем заранее положить несколько запасных рядом с оборудованием.
При запросе коммерческого предложения оператору стоит отправлять полный список устройств сразу.
Например: два сервера 2U, два коммутатора 1U, firewall 1U, два независимых ввода питания и несколько сетевых uplink.
Так дата-центр сможет предложить подходящую конфигурацию целиком, а не считать каждый элемент отдельно без понимания общей архитектуры.
Если оборудования уже много, иногда выгоднее перейти от оплаты отдельных U к аренде серверной стойки. Тогда компания получает больше свободы во внутреннем размещении коммутаторов, серверов и других устройств.
Но полный шкаф не всегда выгоднее. Для небольшого набора оборудования поюнитное размещение остаётся проще и позволяет не оплачивать пустое пространство.
Именно поэтому стоимость нужно считать по реальной конфигурации.
В итоговом предложении должны быть понятны цена занимаемых U, электрическая мощность, количество розеток, сетевые порты, трафик, IP-адреса, cross-connect и инженерные работы, если они потребуются.
Низкая цена размещения самого коммутатора ещё не означает низкую общую стоимость подключения.
И наоборот, более дорогой базовый тариф может включать необходимые соединения и оказаться выгоднее после полного расчёта.
Размещение собственного сетевого оборудования в дата-центре имеет смысл прежде всего там, где компания хочет контролировать свою сетевую архитектуру, объединяет несколько серверов или переносит в ЦОД уже существующую корпоративную инфраструктуру.
Для одного простого сервера дополнительный коммутатор и маршрутизатор чаще всего не нужны. Их функции удобнее получить от самого оператора.
Но по мере роста инфраструктуры собственные сетевые устройства дают больше свободы. Можно самостоятельно строить локальные сегменты, резервировать подключения и сохранять привычную конфигурацию независимо от конкретных серверов.
Перед заказом достаточно сделать несколько вещей: проверить форм-фактор и охлаждение оборудования, определить энергопотребление, составить схему соединений, согласовать типы портов и трансиверов, продумать management-доступ и узнать стоимость всех внешних подключений.
После этого сетевое оборудование размещается в ЦОД по тем же понятным принципам, что и серверы, а компания получает не просто место для нескольких устройств, а полноценную собственную сетевую инфраструктуру внутри профессиональной площадки.
