Построение современного ЦОДа с нуля. Часть I

Российский рынок коммерческих ЦОДов сейчас находится в активной стадии развития. Строятся новые дата-центры, модернизируются старые, также наблюдается тенденция укрупнения центров за счет проведения сделок слияния и поглощения в данной сфере. Причиной этому служит повышающийся спрос на услуги центров обработки данных и облачных сервисов, как со стороны коммерческих организаций, так и со стороны предприятий госсектора. Особенно остро это ощущается сейчас, в период распространения коронавирусной инфекции и значительного увеличения пропускной способности сетей связи из-за выросшего спроса. Многим компаниям текущих возможностей катастрофически не хватает.

Часть I. Анализ рынка, мотивация, разработка плана, составление технического задания.

Анализ рынка коммерческих центров обработки данных

Так, в 2019 году рынок коммерческих ЦОДов продемонстрировал динамичный рост как по увеличению количества стойко-мест – на 12,3% относительно 2018 года (см. Рис. 1), так и по показателям прибыли – за последние 5 лет прибыль дата-центров возросла более чем в 2,5 раза (см. Рис. 2).

Рис. 1. Динамика роста числа стойко-мест в РФ (2015-2019 гг.), тыс. ед.

Рис. 2. Динамика выручки на рынке коммерческих ЦОДов в РФ (2015-2019 гг.), млрд руб.

По аналитическим прогнозам, такая тенденция роста сохранится и в ближайшей перспективе. "Основные усилия игроков рынка будут направлены на закрепление качественных показателей услуг ЦОД и совершенствование достигнутых отношений с корпоративными клиентами. Помимо этого, ожидается дальнейшее качественное обновление инфраструктурного базиса, которое, в частности, предполагает уход с рынка неконкурентоспособных компаний"¹.

Заметно усиливается влияние крупных игроков рынка. Так, в 2019 году компания "Ростелеком" приобрела DataLine, упрочив еще больше свою лидерскую позицию в данном сегменте. А годом ранее, осенью 2018, компания МТС выкупила один из крупнейших в России ЦОД "Авантаж", и продолжила увеличивать базу в 2019 году. В целом тенденция наращивания мощностей и укрупнения будет прослеживаться и в ближайшем будущем. Компании осознают важность и перспективность коммерциализации облачных сервисов, услуг коллокации и стремятся успеть захватить большую долю рынка. По итогам 2019 года лидерами по количеству стойко-мест стали "Ростелеком-ЦОД", IXcellerate и DataPro (см Рис. 3).

Рис. 3. Рейтинг ключевых участников рынка коммерческих ЦОД в РФ по итогу 2019 года

Основными потребителями услуг дата-центров являются компании, в которых информация и скорость ее передачи становятся ключевыми факторами работоспособности, когда от IT-инфраструктуры зависит стабильность бизнеса в целом. Это банки и логистические центры, медицинские учреждения и госструктуры, оперирующие колоссальными массивами данных. Телекоммуникационные компании также являются одними из основных потребителей услуг. Дата-центры необходимы как интернет-провайдерам, операторам платного ТВ, ОТТ-сервисам, операторам голосовой связи, так и телеканалам с целью оптимизации IT-инфраструктуры, бесперебойности, управляемости и масштабируемости предоставляемых услуг.

Зачем нужен собственный ЦОД?

Большинство компаний задумываются о создании собственных ЦОДов, а многие – такие, как мы – уже построили. При этом побудительными мотивами к реализации проекта выступают такие факторы, как:

• Рост количества оборудования в связи с увеличением потребляемых ресурсов и отсутствие достаточных площадей для его размещения;
• Необходимость объединения имеющихся серверов в единый ресурс;
• Необходимость централизованного управления данными и другим оборудованием;
• Предупреждение непредвиденных ситуаций, которые могут вывести из строя дорогостоящее оборудование.

Наша компания 18 лет успешно функционирует на телеком-рынке. Основное направление деятельности – услуги телевидения. За это время и технологии, и потребности в услугах ТВ претерпели значительные изменения. Для наших целей мощностей обычных серверных уже стало недостаточно. За эти 18 лет нашим абонентам вместо 6 каналов в сети стало доступно более 200 каналов, в том числе в таких форматах, как HD, UltraHD и 4K. Естественно, для этого требуется более функциональное оборудование с высоким уровнем отказоустойчивости.

Услуги, предоставляемые сегодня, требуют значительных вложений, как в информационные технологии, так и в профессиональное оборудование, которое сможет обеспечить надежность передачи сигнала и высокий уровень изображения, осуществить безопасное хранение большого объема данных. В связи с этим и было принято решение о создании собственного ЦОДа как для реализации своих нужд, так и для коммерческих целей. В данной статье мы делимся своим опытом создания.

Наличие собственного ЦОДа обеспечивает полный контроль над данными и сервисами, а также рабочей средой. Возведение и оснащение дата-центра – достаточно дорогостоящий проект, требующий тщательной предварительной подготовки и проработки всех нюансов. Поскольку ЦОД – это сложный инженерный объект, состоящий из строго интегрированных между собой систем, от их слаженной и эффективной работы зависит жизнеспособность дата-центра, а соответственно и всей бизнес-структуры, которую он обслуживает. На разработку концепции собственного ЦОДа, продумывание всех деталей и тонкостей, определение перспектив его дальнейшего использования у нашего генерального директора, Миронова Вячеслава Анатольевича, ушли сотни часов работы, так как только он мог видеть всю картину целиком (полный функционал системы для наших нужд и дальнейшее ее развитие). Результатом этого труда стало возведение нашего ЦОДа.

Рассмотрим основные этапа строительства с учетом личного опыта по созданию современного центра обработки данных для нужд и целей телекоммуникационного оператора.

Основные этапы:

1. Составление технического задания (ТЗ);
2. Проектирование и разработка технической документации;
3. Строительство;
4. Сдача в эксплуатацию.

Строительство ЦОДа: этап 1. Составление ТЗ

На данном этапе важно определить назначение дата-центра, цель его создания и какие функции должны выполняться в процессе его эксплуатации, в том числе и в будущем. Прорабатываются технические характеристики, архитектура ЦОДа, показатели качества и технико-экономические требования. В ТЗ также определяется порядок работ, срок их окончания, указываются ожидаемые результаты.

В разработке ТЗ для строительства дата-центра могут принимать участие:

• Технический директор;
• Руководитель службы эксплуатации;
• IT-инженер;
• Инженеры-проектировщики;
• Представители генерального подрядчика;
• Руководитель компании;
• Другие заинтересованные службы.

Согласованность и достаточная координация между структурами позволит избежать ошибок на этапе проектирования, задвоения или реализации ненужных функций, сократить и оптимизировать бюджет на реализацию проекта. Поэтому разработку технического задания необходимо проводить консолидировано, с перекрестной проверкой каждого раздела всеми заинтересованными службами, и имея единого технического специалиста, отвечающего за выпуск финального документа, – архитектора решения. Важно также до начала составления технического задания четко разграничить зоны компетенции всех подразделений и авторов документа, а также назначить ответственного исполнителя.

Одной из основных проблем на этапе разработки ТЗ выступает не только затратная часть на реализацию проекта, но и закладывание в проект перспективы на будущее. Отрасль IT чрезвычайно быстро развивается и претерпевает значительные изменения в достаточно короткие промежутки времени. При реализации проекта сегодня нужно всегда смотреть в будущее: новые запросы и требования клиентов, возможность дальнейшего масштабирования ЦОДа, увеличение нагрузки на оборудование, повышение энергоемкости и энергобезопасности, теплоотдачи, использование помещения в долгосрочной перспективе. Необходимо заложить резерв на дополнительное оснащение электроэнергией помещения, кондиционирование и пр. Оборудование должно быть рассчитано на долгий срок эксплуатации, с высоким уровнем запаса мощности, без быстрого морального износа.

Следующая проблема, с которой столкнется любая компания, строящая ЦОД с нуля – это, конечно же, высокая стоимость реализации проекта. В среднем оснащение и оборудование 1 кв. м современного дата-центра по оценке специалистов может обойтись более 250 тыс. руб. Поэтому необходимо заранее просчитывать коммерческую составляющую. С одной стороны, необходимо просчитать экономию от сокращения издержек при использовании ресурсов других коммерческих ЦОДов. Это могут быть как разовые, так и ежемесячные издержки: подключение, аренда юнитов или стоек, организация перемычек и стыков, затраты на медиалогистику: доставка и обработка сигнала и пр. Также необходимо помнить о возможном росте цен на услуги ЦОДов со временем. Приведем данные ориентировочной стоимости таких услуг в Москве от разных компаний (см. Табл. 1).

Таблица 1. Стоимость некоторых услуг коммерческих ЦОДов в Москве

В целом, ежемесячные затраты на услуги коммерческих ЦОДов могут достигать от нескольких сотен тысяч рублей до миллиона в зависимости от потребностей клиента.

С другой стороны, строительство собственного дата-центра – это возможность получения дополнительной прибыли от использования свободных мощностей вашего ЦОДа, коммерциализация услуг по работе с сигналами и потоками, осуществление кодирования, конвертации сигнала, мультиплексирования, размещение плейаутов и реализация перегона контента, услуги коллокации для партнеров. Таким образом, если сравнить все затраты на строительство собственного ЦОДа (порядка от 100-150 млн. руб. для небольшого дата-центра площадью около 100 кв. м) и экономию от его использования вместо услуг стороннего ЦОДа (до 10 млн руб. в год), а также возможность получения дополнительной выручки за счет арендаторов (если у вас 10 клиентов, то сумма может составить порядка 40 млн руб. в год), то срок окупаемости строительства будет около 3-х лет, а дальше уже пойдет получение прибыли.

Для более детальной проработки вопроса на данном этапе также используется сценарный метод анализа: производится просчет пессимистичного, реалистичного и оптимистичного сценариев развития, прорабатываются бизнес-планы и финансово-экономические показатели с долгосрочной перспективой по разному пути возможного развития. Это дает более полное понимание всех возможностей и угроз.

Для более точного понимания возможных затрат на строительство собственного ЦОДа можно также воспользоваться онлайн-сервисом "Калькулятор капитальных затрат" от компании Schneider Electric (см. Рис. 4). Выбирая необходимые параметры, начиная от проектной мощности ЦОДа, типа системы охлаждения и вентиляции, до уровня резервирования, программа посчитает примерные расходы на материалы, инженерное оборудование, проектирование и установку систем, черновую отделку помещений. Это даст более полное понимание в общей картине затрат, а также возможность сравнить разные типы систем и оборудования по стоимостным издержкам.

Рис. 4. Онлайн-калькулятор расчета затрат на строительство ЦОД от Schneider Electric

После проведения всех изучений, составляется комплексная таблица сравнений, взвешиваются все "за" и "против". Только после этого можно переходить к следующему этапу строительства дата-центра.

Во второй части статьи Александр Лебедев расскажет о проектировании и разработке технической документации, строительстве ЦОДа и введении его в эксплуатацию.

1 - iKS-Consalting, отчет "Российский рынок коммерческих дата-центров 2018-2023 гг."