Как достичь максимального UpTime? Взгляд на Дата-центры изнутри

Мой первый сайт состоял из одной html-странички со ссылками на карты к игре Heroes of Might and Magic 3. Всё очень просто: маленькие картинки-превью и синенькие ссылки на zip-архивы. Несмотря на то, что сайт существовал в рамках локальной сети, мне уже в столь юном возрасте удалось понять, из чего состоит инфраструктура, обеспечивающая бесперебойную работу моего творения.

О чем идет речь:

1. Электричество. Компьютер работал 24 часа 7 дней в неделю;
2. Охлаждение. Вентилятор крутил лопастями, беспрерывно создавая шум;
3. Сеть. Изначально это была локальная сеть на пару улиц и несколько сотен компьютеров;
4. Охрана. Родители, например, в любой момент могли выдернуть шнур из розетки.

Сейчас нет необходимости держать сервер дома и вешать на себя ответственность за поддержание всего этого хозяйства в рабочем состоянии. Дешевле и проще купить виртуальное пространство или физический сервер и разместить его в специальном Дата-Центре (ДЦ).

Сразу оговорюсь, что все ДЦ, где размещается uCoz, по отказоустойчивости соответствуют самым высоким стандартам. Отсюда и будем отталкиваться.

Итак, чтобы не перегружать вас информацией, разделю эти 4 пункта поровну на два поста. Попробую рассказать про основные нюансы кухни ДЦ на простом (как мне кажется) языке. Если останутся вопросы или замечания, прошу задать их в комментарях.

1. Электричество

Для правильной работы крупного ДЦ требуется мощный стабильный источник электроэнергии. Как правило, используется основной источник и не менее одного резервного, на случай если основной по каким-то причинам выйдет из строя. Как раз вопрос качественного энергообеспечения — один из основных критериев выбора места расположения ДЦ.

Если к электрической подстанции подключены социально-значимые объекты, например: поликлиника, детский сад, военная часть, то при прочих равных этот источник питания можно считать наиболее стабильным и надежным. Такое условие часто рассматривается при выборе физического места расположения ДЦ.

От резких отключений или скачков электричества в ДЦ спасают источники бесперебойного питания (ИБП). В среднем, их хватает на 10-15 минут, что дает возможность корректно переключиться на альтернативный источник без даунтайма (простоя в работе оборудования). ИБП постоянно проходят профилактику. Правильное обслуживание бесперебойников - это крайне важный вопрос не только из-за возможности простоя работы серверов, но и по причине нанесения физического вреда "железу" при резком отключении энергии под нагрузкой.

Случаются форс-мажоры, когда и основной и все резервные источники питания по каким-то причинам недоступны. На этот случай ДЦ держит наготове дизельный генератор. Это двигатель внутреннего сгорания, который сжигает топливо и генерирует нужное кол-во электричества. Время работы этого генератора напрямую зависит только от кол-ва сжигаемого топлива, которое при необходимости доливается в бак. По большому счету, дизельный генератор позволяет жить ДЦ условно автономно.

Несмотря на то что, казалось бы, все меры были приняты, аварии периодически случаются. Нет ничего совершенного, и все варианты развития событий предугадать невозможно.

В одном из ДЦ (не в нашем) был случай, когда в очень холодную зимнюю ночь вышли из строя оба стационарных источника электроэнергии. ИБП сработали как надо, а дизельный генератор банально не завелся. Аномальный холод превратил топливо во что-то, консистенцией схожее с желе. Установленный штатный подогрев картера двигателя вышел из строя. Все это привело к небольшому, но очень "вредному" даунтайму. Резкое отключение сервера от источника питания может повлечь за собой разные последствия, вплоть до полного выхода из строя комплектующих.

Нормальная работа системы энергообеспечения была восстановлена в короткие сроки, но на исправление последствий потребовался не один час. Любая подобная авария — очень дорогой, но полезный опыт, который указывает на тонкие места и неучтенные риски в работе ДЦ.

2. Охлаждение

Работающий сервер постоянно нагревается, как нагреваются ваши ноутбуки, планшеты и смартфоны. Правда серверы находятся под нагрузкой 24 часа в сутки и греются существенно сильней. А если учесть, что в условно небольшом помещении могут размещаться сотни постоянно работающих серверов, становится ясно, насколько важна правильно настроенная система охлаждения.

Система кондиционирования рассчитана на определенную температуру и объем воздуха в помещении. Промышленные кондиционеры забирают воздух с улицы, охлаждают и выдувают его на стойки с серверами. Кондиционеры также подключены к источникам бесперебойного питания. Они периодически изнашиваются, поэтому требуют постоянного мониторинга и регулярной диагностической работы.

За счет выдуваемого горячего воздуха из серверов некоторые высокотехнологичные ДЦ умеют нагревать воду и освещать прилегающие помещения.

Когда в Москве была аномальная жара, в одном из ДЦ (опять не в нашем), который находился на последнем этаже здания, резко упала эффективность работы кондиционеров. Внешнее навесное оборудование, по порядку, один за другим начало выходить из строя. Чтобы выйти из ситуации, было принято решение установить на крыше дополнительные светоотражающие щиты, дабы понизить влияние палящего солнца. В само помещение навезли — ВНИМАНИЕ — сухой лед! Если правильно расположить обычный комнатный вентилятор над коробкой со льдом, вся эта конструкция сможет походить на кондиционер.

Важно понимать, что инфраструктура ДЦ должна работать как одно целое. Нельзя обеспечить бесперебойность простой закупкой дополнительных мощностей и постоянным использованием ресурсов с запасом. Баланс должен соблюдаться во всем. Под постоянным контролем находится кол-во используемой электроэнергии, температура в помещении ДЦ, износ ИБП и так далее. Каждое отклонение от нормы этих показателей — сигнал к моментальному исправлению ситуации. За это отвечают опытные специалисты, находящиеся на рабочих местах 24 часа в сутки, 7 дней в неделю.

Любая авария — это большой материальный, моральный и репутационный удар для всех участников процесса: владельцев сайтов, хостинг-провайдеров и конечно самого дата-центра. Мы все заинтересованы в максимальном аптайме и комфортном размещении своих ресурсов. Делаем для этого все возможное. Инфраструктура ДЦ постоянно совершенствуется путем внедрения новых технологий и оптимизации работы существующих мощностей. Растущий спрос на услуги дата-центров порождает здоровую конкуренцию, которая в итоге положительно влияет на конечное качество продукта.

Про сеть и охрану я расскажу в следующий раз. Это очень важные и большие темы, а в этом посте уже слишком много текста для выбранного формата.

uptime, цикл:uptime, инфраструктура ДЦ

Эта статья входит в цикл статей блога "UpTime".
Ознакомиться с полным циклом можно по ссылке.

38 комментариев

Порядок вывода комментариев: