Как достичь максимального UpTime? Взгляд на Дата-центры изнутри
UpTime: часть 3. Инфраструктура ДЦ

Мой первый сайт состоял из одной html-странички со ссылками на карты к игре Heroes of Might and Magic 3. Всё очень просто: маленькие картинки-превью и синенькие ссылки на zip-архивы. Несмотря на то, что сайт существовал в рамках локальной сети, мне уже в столь юном возрасте удалось понять, из чего состоит инфраструктура, обеспечивающая бесперебойную работу моего творения.



О чем идет речь:

1. Электричество. Компьютер работал 24 часа 7 дней в неделю;
2. Охлаждение. Вентилятор крутил лопастями, беспрерывно создавая шум;
3. Сеть. Изначально это была локальная сеть на пару улиц и несколько сотен компьютеров;
4. Охрана. Родители, например, в любой момент могли выдернуть шнур из розетки.

Сейчас нет необходимости держать сервер дома и вешать на себя ответственность за поддержание всего этого хозяйства в рабочем состоянии. Дешевле и проще купить виртуальное пространство или физический сервер и разместить его в специальном Дата-Центре (ДЦ).

Сразу оговорюсь, что все ДЦ, где размещается uCoz, по отказоустойчивости соответствуют самым высоким стандартам. Отсюда и будем отталкиваться.

Итак, чтобы не перегружать вас информацией, разделю эти 4 пункта поровну на два поста. Попробую рассказать про основные нюансы кухни ДЦ на простом (как мне кажется) языке. Если останутся вопросы или замечания, прошу задать их в комментарях.


1. Электричество


Для правильной работы крупного ДЦ требуется мощный стабильный источник электроэнергии. Как правило, используется основной источник и не менее одного резервного, на случай если основной по каким-то причинам выйдет из строя. Как раз вопрос качественного энергообеспечения — один из основных критериев выбора места расположения ДЦ.

Если к электрической подстанции подключены социально-значимые объекты, например: поликлиника, детский сад, военная часть, то при прочих равных этот источник питания можно считать наиболее стабильным и надежным. Такое условие часто рассматривается при выборе физического места расположения ДЦ.

От резких отключений или скачков электричества в ДЦ спасают источники бесперебойного питания (ИБП). В среднем, их хватает на 10-15 минут, что дает возможность корректно переключиться на альтернативный источник без даунтайма (простоя в работе оборудования). ИБП постоянно проходят профилактику. Правильное обслуживание бесперебойников - это крайне важный вопрос не только из-за возможности простоя работы серверов, но и по причине нанесения физического вреда "железу" при резком отключении энергии под нагрузкой.

Случаются форс-мажоры, когда и основной и все резервные источники питания по каким-то причинам недоступны. На этот случай ДЦ держит наготове дизельный генератор. Это двигатель внутреннего сгорания, который сжигает топливо и генерирует нужное кол-во электричества. Время работы этого генератора напрямую зависит только от кол-ва сжигаемого топлива, которое при необходимости доливается в бак. По большому счету, дизельный генератор позволяет жить ДЦ условно автономно.

Несмотря на то что, казалось бы, все меры были приняты, аварии периодически случаются. Нет ничего совершенного, и все варианты развития событий предугадать невозможно.

В одном из ДЦ (не в нашем) был случай, когда в очень холодную зимнюю ночь вышли из строя оба стационарных источника электроэнергии. ИБП сработали как надо, а дизельный генератор банально не завелся. Аномальный холод превратил топливо во что-то, консистенцией схожее с желе. Установленный штатный подогрев картера двигателя вышел из строя. Все это привело к небольшому, но очень "вредному" даунтайму. Резкое отключение сервера от источника питания может повлечь за собой разные последствия, вплоть до полного выхода из строя комплектующих.

Нормальная работа системы энергообеспечения была восстановлена в короткие сроки, но на исправление последствий потребовался не один час. Любая подобная авария — очень дорогой, но полезный опыт, который указывает на тонкие места и неучтенные риски в работе ДЦ.

2. Охлаждение


Работающий сервер постоянно нагревается, как нагреваются ваши ноутбуки, планшеты и смартфоны. Правда серверы находятся под нагрузкой 24 часа в сутки и греются существенно сильней. А если учесть, что в условно небольшом помещении могут размещаться сотни постоянно работающих серверов, становится ясно, насколько важна правильно настроенная система охлаждения.

Система кондиционирования рассчитана на определенную температуру и объем воздуха в помещении. Промышленные кондиционеры забирают воздух с улицы, охлаждают и выдувают его на стойки с серверами. Кондиционеры также подключены к источникам бесперебойного питания. Они периодически изнашиваются, поэтому требуют постоянного мониторинга и регулярной диагностической работы.

За счет выдуваемого горячего воздуха из серверов некоторые высокотехнологичные ДЦ умеют нагревать воду и освещать прилегающие помещения.


Когда в Москве была аномальная жара, в одном из ДЦ (опять не в нашем), который находился на последнем этаже здания, резко упала эффективность работы кондиционеров. Внешнее навесное оборудование, по порядку, один за другим начало выходить из строя. Чтобы выйти из ситуации, было принято решение установить на крыше дополнительные светоотражающие щиты, дабы понизить влияние палящего солнца. В само помещение навезли — ВНИМАНИЕ — сухой лед! Если правильно расположить обычный комнатный вентилятор над коробкой со льдом, вся эта конструкция сможет походить на кондиционер.

Важно понимать, что инфраструктура ДЦ должна работать как одно целое. Нельзя обеспечить бесперебойность простой закупкой дополнительных мощностей и постоянным использованием ресурсов с запасом. Баланс должен соблюдаться во всем. Под постоянным контролем находится кол-во используемой электроэнергии, температура в помещении ДЦ, износ ИБП и так далее. Каждое отклонение от нормы этих показателей — сигнал к моментальному исправлению ситуации. За это отвечают опытные специалисты, находящиеся на рабочих местах 24 часа в сутки, 7 дней в неделю.

Любая авария — это большой материальный, моральный и репутационный удар для всех участников процесса: владельцев сайтов, хостинг-провайдеров и конечно самого дата-центра. Мы все заинтересованы в максимальном аптайме и комфортном размещении своих ресурсов. Делаем для этого все возможное. Инфраструктура ДЦ постоянно совершенствуется путем внедрения новых технологий и оптимизации работы существующих мощностей. Растущий спрос на услуги дата-центров порождает здоровую конкуренцию, которая в итоге положительно влияет на конечное качество продукта.

Про сеть и охрану я расскажу в следующий раз. Это очень важные и большие темы, а в этом посте уже слишком много текста для выбранного формата.

Эта статья входит в цикл статей блога "UpTime".
Ознакомиться с полным циклом можно по ссылке.
38 комментариев
avatar
1 Написал AlexPLUS 24 Февраль 2014, 14:07
О Чём речь? Мне лично не интересна твоя брехня о тестосайтах. И Про это не понял.
2 Написал stzarya 24 Февраль 2014, 14:15
Спасибо за ваше мнение smile
А по теме - это очередная статья из цикла:
http://blog.ucoz.ru/blog/sajt_i_ego_uptime/2013-10-21-281
3 Написал Ларин 24 Февраль 2014, 15:00
Хотелось бы посмотреть на сам ДЦ юкоза smile
4 Написал stzarya 24 Февраль 2014, 15:22
uCoz размещает серверы в разных ДЦ. В статье описывается собирательный образ, который подходит под любой из них.
16 Написал Bur 26 Февраль 2014, 15:08
Да, в таком духе - отлично бы подошло!  happy
5 Написал Davides 24 Февраль 2014, 19:54
А где находится ДЦ ucoz'а?
9 Написал SOFTOLAB_COM 25 Февраль 2014, 10:21
ДЦ не uCoz'а, uCoz арендует юниты или шкафы целиком.
13 Написал stzarya 25 Февраль 2014, 11:08
серверы uCoz стоят в двух ДЦ в Москве, по одному в Голландии, Чехии и США
26 Написал strannik1970 09 Март 2014, 01:38
от куда такая осведомленность? Все же интересно а про доступность ниже зря дело в том что это бывает везде.
27 Написал stzarya 09 Март 2014, 15:00
я автор статьи и работаю в uCoz
30 Написал Ignizavr 23 Март 2014, 00:03
А почему про мой сервер cy-pr пишет, что он в Британии?
31 Написал stzarya 24 Март 2014, 08:43
Наверняка сервис "смотрит" на информацию по IP-адресу, а не физическому расположению сервера. Ваш сервер в Москве.
avatar
6 Написал SkachatKino 24 Февраль 2014, 21:44
Скучное захваливаниеuCoz. Мы знаем, что у uCoz каждый день проблемы с доступом к сайтам. А такие
статьи лично у меня вызывают гнев, когда мои сайты то и дело в 500-ых ошибках
тонут. Извиняйте за негатив, но правда.Когда вы уже сделаете нужное для своих пользователей, когда уже будет мощное обновление, позволяющее оживить сайты, типа входа через соц.сети и логинзы всякие?
avatar
7 Написал yanastetsenko 24 Февраль 2014, 23:49
Цитата
когда мои сайты то и дело в 500-ых ошибках тонут


Уточните, пожалуйста, о каких сайтах идет речь?  Вы также можете обратиться в службу технической поддержки веб-сервиса uCoz через Панель управления одного из Ваших сайтов.
10 Написал SOFTOLAB_COM 25 Февраль 2014, 10:22
Каким образом софтварные проблемы относятся к ДЦ?
12 Написал stzarya 25 Февраль 2014, 11:07
Скучно - возможно немного суховато, но уверяю, многим будет интересно.
Если уж и захваливание, то ДЦ, в которых размещаемся, хотя если честно не старался.
Негатив-негативом, но 500-е ошибки не связаны никак с работой ДЦ, напишите в службу поддержки, вопрос то как-то решать надо. Во всяком случае, причины понятны будут.
А обновления приходят с завидной регулярностью, одной кнопки "сделеть всем хорошо" не бывает.
8 Написал Antonij 25 Февраль 2014, 04:29
Спасибо, прочитал с интересом! Увлекательный рассказ из тех, что «Про то, как это сделано» smile Как-то не задумывался, а благодаря чему существует мой сайт, а тут прочел и узнал. Жду продолжения!  smile
11 Написал SOFTOLAB_COM 25 Февраль 2014, 10:23
Главное что бы вас не "сшибло с ног" таким количеством информации.
http://ru.wikipedia.org/wiki/%C4%E0%F2%E0-%F6%E5%ED%F2%F0
15 Написал Antonij 25 Февраль 2014, 23:27
Ну, в принципе, в вашем рассказе то же самое, только без технических подробностей и более художественно  wink Но все равно спасибо, еще кое-чего узнал  smile
17 Написал SOFTOLAB_COM 26 Февраль 2014, 22:43
Это не мой рассказ wink
19 Написал Antonij 27 Февраль 2014, 16:04
А, ну да, не обратил внимание на разные ники  wink Бывает...
avatar
14 Написал SuperGizmo 25 Февраль 2014, 12:48
Тоже буду ждать пост про сеть с нетерпением  smile Поднятая тема очень большая и интересная, нюансов столько, что можно углубляться бесконечно. Уверена, что мало кто задумается, откуда именно берутся ресурсы, которые обеспечивают работу их сайтов и проектов. В продолжение темы - http://expert.ru/2013/08/22/ugolnoe-oblako/, http://www.computerra.ru/86196/renewable-energy-for-data-centers/
18 Написал alex-g 27 Февраль 2014, 00:50
Я уж подумал, что затишье будет длиться вечно. Давненько не было новостей от uCoz.

Статья в общих чертах будет полезна большинству людей, которые совсем ничего не знают о серверах и работе ДЦ в целом.
20 Написал Kleindberg 02 Март 2014, 17:47
Спасибо! Статья понравилась, жду продолжения!  happy
avatar
21 Написал animator-17 04 Март 2014, 17:28
Я не знаю о каких отказоустойчивых ДЦ вы пишете, но в данный момент я наблюдаю сообщение "Невозможно подключиться к удалённому серверу" и читаю сообщение от метрики, что сайт не доступен... и в данный момент это делает ещё куча пользователей.

Я не припомню, когда мне приходили сообщения от метрики по поводу недоступности сайтов находящихся у других хостеров... зато, я надолго запомнил сервер s20, который не работал неделю, а может и более...
22 Написал stzarya 04 Март 2014, 17:42
Я не знаю о каком сайте и каком сервере идет речь, но причин недоступности сайта может быть масса. Уверен, что служба поддержки поможет разобраться.
avatar
23 Написал animator-17 04 Март 2014, 20:31
Сейчас был s701 с DDoS-атакой. Но это ладно, бывает.

А вот в конце октября 2013 был s20 с многодневным ребилдом, при котором сайты на нём нормально не работали несколько дней, а может и больше - пришлось с него быстро уходить. И это считается "высокими стандартами"?
24 Написал stzarya 04 Март 2014, 22:48
Про s701 я уже ответил на форуме, ДЦ тут не при чем, да. Про это предыдущая статья.
И ребилд сервера, если я правильно помню, никакого отношения к работе ДЦ не имел, об этом расскажу в одном из следующих постов.
25 Написал strannik1970 09 Март 2014, 01:36
Недавно была у меня такая нелепица и сайт не пропал а туда нельзя было попасть (скорее по моей вине - где то упустил) Служба поддержки на ucoz на высшем уровне - ребята сразу сориентировались и помогли сайт работает так же но уже с доступом. Бывает всякое, скажите а как на счет привязки номера телефона вот в этом плане есть какие то мысли - будет интересно узнать толковое мнение.
28 Написал stzarya 09 Март 2014, 15:01
если честно, вообще не понял о чем вы. Если вопрос не касается темы этого поста, более подробно описать этот вопрос можно мне в личном сообщении.
37 Написал poparim 03 Февраль 2016, 10:06
"если чесно"... а если "грамотно"?)
0
38 Написал stzarya 03 Февраль 2016, 12:06
не со зла! спасибо, исправил.
avatar
29 Написал kostolom295 11 Март 2014, 08:12
Интересная статья!
32 Написал Ashap 28 Март 2014, 10:02
Мне статья очень понравилась. Люблю специалистов, которые делятся "секретами своей кухни". cool
avatar
33 Написал nikolai9683 12 Апрель 2014, 20:36
Подскажите как добавить кнопку для ссылки на форму регистрации?
avatar
34 Написал yanastetsenko 15 Апрель 2014, 01:15
Здравствуйте,
Ваш вопрос совершенно не касается темы данной статьи.
Рекомендуем Вам обратиться со своим вопросом в службу технической поддержки, через Панель управления Вашим сайтом.
35 Написал ЕвгенЕвгеныч 16 Июль 2014, 23:41
Цитата
Про сеть и охрану я расскажу в следующий раз.
Ну и когда уже будет этот следующий раз?! 5 месяцев уже прошло, а этого "следующего раза" всё нет и нет!
0
36 Написал stzarya 17 Июль 2014, 10:59
Обязательно будет. Отрадно, что ждете smile
Ваш комментарий