Забота о бесперебойном обеспечении электроэнергией в чем-то аналогична построению системы пожарной безопасности и отличается лишь тем, что отсутствует принуждение в ее построении со стороны надзорных государственных органов. В ваш офис не постучится легендарный пожарный для того, чтобы проверить, насколько IT-структура бизнеса защищена от сбоев. Однако в ряде случаев (при возникновении аварийной либо нештатной ситуации) ущерб от этих двух бед может оказаться по масштабу сравнимым.
К счастью, всегда были компании (а со временем их появляется все больше), понимающие, что любые сбои в функционировании оборудования могут привести не только к прямым потерям (сокращение прибыли и выплата неустойки клиентам), но и к падению имиджа. Так что приступая к работе над этим материалом, мы преследовали главную цель – после его появления увеличится число тех, кто серьезно задумается над обеспечением стабильной платформы для бизнеса.
Содержание
От чего защищаемся
Признаемся, что даже приблизительными обобщенными объективными статистическими данными о характере и длительности проблем с электропитанием ни по Украине, ни по ее столице мы, к сожалению, не располагаем. За строгой классификацией возможных неполадок предлагаем обратиться к неоднократно публикуемому списку из европейского стандарта EN 50091-3, где определены десять типов помех электропитанию. Мы же вскользь упомянем некоторые из них.
Самыми запоминающимися (так как паралич охватывает не только IT-инфраструктуру, но и связь, телекоммуникации, охранные системы обесточенного объекта), как правило, становятся длительные отключения электропитания. Причиной полного пропадания напряжения могут быть как чрезмерно возросшее энергопотребление, аварийные ситуации на подстанции, линии электропередачи и т. п., так и работы, проводимые энергоснабжающей организацией. И если десяток лет назад подобные происшествия связывались в основном с сезонными пиками, например с резкими похолоданиями, то теперь они становятся более продолжительными и явно выраженными летом. Увеличивается и их масштабность – все чаще «веерно» отключается электричество. Свежий пример – необычная даже для Калифорнии жара позволила штату поставить новый рекорд в потреблении электроэнергии – 24 июля оно превысило уровень 50 ГВт. Для сравнения: суммарная установленная мощность атомных станций Украины приблизительно равна 14 ГВт, что составляет примерно половину общегосударственной.
Тем не менее самая распространенная проблема питания, на которую, по данным Bell Labs, приходится доля в 87% всех сетевых помех, – это менее заметные «на глаз» временные провалы напряжения, вызываемые, например, большими пусковыми токами мощных электрических устройств. Падения напряжения, в особенности продолжительные, уменьшают эффективность работы и ресурс электрооборудования. Наблюдаются и обратные явления, определяемые как кратковременное (продолжительностью обычно не более двух периодов сетевой частоты) и длительное повышение напряжения, вносящие значительную лепту в увеличение вероятности выхода оборудования из строя или его нестабильной работы с потерей данных. Еще большую опасность для функционирования оборудования представляет воздействие молнии.
Имеются и несколько специфических причин, устранить либо ослабить которые можно благодаря системам бесперебойного питания. Так, если отклонения частоты в стационарной системе электропитания незначительны и проходят для большинства вычислительных устройств незаметно, то при питании от резервного генератора в момент начала его работы стабильность частоты оставляет желать лучшего. Ее флуктуации вполне могут превышать нормы, определенные для электрооборудования. Еще одна, пусть и не повсеместная, но крайне опасная для потребителей, соседствующих с определенным типом мощных промышленных электроустановок, проблема – гармонические искажения напряжения, приводящие к трудно диагностируемым сбоям в работе многих классов электрооборудования.
Параметры надежности систем: множественные «девятки» и доли процентов
Зачастую, узнав о цене мощного централизованного решения, потенциальный покупатель, ранее не сталкивавшийся с этим видом бизнеса, очень быстро начинает понимать, что проблема выбора связана не столько с мощностью предлагаемой системы либо временем поддержания в режиме работы от батарей, сколько с параметрами надежности и степенью их корреляции с совокупной стоимостью владения ею на весь срок эксплуатации. Поэтому для начала напомним два определения из соответствующего глоссария IEEE.
Надежность (Reliability) – это способность всей системы или ее компонента выполнять требуемые функции при определенных обстоятельствах в течение заданного периода времени. С другой стороны, доступность (Availability) – степень готовности системы или компонента к эксплуатации в случае необходимости. Иными словами, вероятность того, что система или ее компонент в состоянии выполнять требуемые функции при заданных условиях в определенный момент времени. Доступность определяется надежностью системы, а также временем, необходимым на восстановление в случае сбоя.
Теперь обратим внимание на такие часто используемые параметры систем, как MTBF (Mean Time Between Failure) и MTTR (Mean Time to Repair).
Среднее время между отказами (MTBF) – это термин для оценки надежности, который многими производителями и разработчиками ИБП трактуется по-разному. В основе разночтений – отличия в базовых допущениях, приводящие к тому, что фактическое число «девяток» в зависимости от подхода к их вычислению для одной и той же системы может варьироваться. Так, по мнению специалистов APC, разночтение возникает уже на уровне такого термина, как «сбой». С ним можно связывать как минимум два различных состояния:
- невозможность продукта в целом выполнить требуемые функции;
- выход из строя отдельного компонента в составе изделия, при котором оно способно функционировать далее.
Еще один источник расхождений – учитывать ли в этой вероятностной математике злополучный человеческий фактор, и как дать ему конкретное математическое описание.
MTTR, или среднее время восстановления, – это предполагаемое время восстановления системы после сбоя. Это значение может включать время, необходимое для диагностики неисправности, вызова специалиста на место, а также физического ремонта системы. Как и MTBF, MTTR выражается в единицах времени и влияет на доступность, но не определяет надежность. Соответственно, чем выше значение среднего времени восстановления, тем хуже состояние системы.
Последнее, как полагают специалисты APC, может играть в оценке главенствующую роль. Действительно, трудно не согласиться с тем, что надежная конструкция системы является наиболее важным параметром, однако в случае сбоя решающим фактором становится количество времени, требуемого для возвращения IT-оборудования и бизнес-процессов в рабочее состояние с целью минимизации времени простоя.
Хотя значение MTBF служит показателем надежности, тем не менее оно не отражает предполагаемый срок эксплуатации изделия. Поэтому, получив от поставщика заверения в исключительной надежности проектируемой системы, не стесняйтесь уточнить, на каком из методов вычислений и каком методе оценки (прогнозирования на основе аналогий или измерения данных в процессе эксплуатации) они основаны. Без этих комментариев количество «девяток» не дает заказчику ничего, кроме субъективной уверенности в исполнителе.
Вне зависимости от методик очевидно, что боóльшую достоверность представляют данные о надежности, полученные производителем на основе наблюдений со скрупулезным анализом данных о причинах неисправностей оборудования. Чем объемнее подобная база данных, чем дольше «набирается статистика», тем выше степень доверия к приводимым оценкам. Заметим, что не всем производителям, продукция которых предлагается в Украине (за пределом круга упомянутых в данной Теме недели компаний), это удается в равной мере… А ведь именно такая незаметная для обычного потребителя дорогостоящая работа и является основанием для принятия мер по усовершенствованию конструкции выпускаемых и накоплению конструкторско-технологического опыта для подготовки новых удачных моделей.
Мы же предлагаем воспользоваться нашими рассуждениями в несколько ином аспекте, напомнив, что в числе эпитетов, которым часто «награждают» данную отрасль, указывается ее консервативность: за время между выходами очередных моделей ИБП успевает смениться не одна пятерка топовых процессоров или несколько десятков чипсетов. Но поскольку системы бесперебойного питания рассчитаны на работу десятилетиями с ничтожно малыми вероятностями сбоя или выхода из строя, становится понятным, почему поспешность с технологическими или конструктивными нововведениями недопустима. Ведь даже такой «расходный» компонент, как батареи, как правило, выбирается с ресурсом в 5–10 лет и может оказаться легко уязвимым за пределами оговоренных производителем условий эксплуатации, в разы увеличив совокупную стоимость владения системой.
Бесперебойное электропитание: систематизируя известное
Вариантов построения систем бесперебойного питания множество, и предложить универсальное решение для всех видов и размеров бизнеса не представляется возможным. При разработке концепции защиты приходится учитывать большое число факторов: место расположения компании, имеющееся энергетическое оборудование, потребляемая мощность устройств, подлежащих защите, необходимое время автономной работы и т. д. И как бы банально это ни звучало, наиболее надежный способ построить систему бесперебойного питания, полностью отвечающую вашим требованием, – пригласить фирму, специализирующуюся на проектировании таких систем, знакомую с оборудованием и имеющую опыт в проектировании, поставке, построении и наладке.
Таких компаний на Украине достаточно много, равно как и типов, и торговых марок оборудования ими предлагаемого.
Не видим смысла еще раз напоминать, как делятся электронные ИБП в соответствии с примененными в них топологическими принципами, отметим только, что при мощности подключаемой нагрузки свыше нескольких киловатт из трех типов топологий предпочтение отдается линейно-интерактивным и онлайн-устройствам.
Концепции построения систем
Исходя из особенностей требований к системам и в зависимости от масштаба выполняемых задач по обеспечению бесперебойным питанием большинство потребителей систем можно разделить на следующие основные группы:
- коммутационные узлы (1–3 стойки);
- серверные комнаты (1–5 стоек);
- небольшие вычислительные центры (5–20 стоек);
- вычислительные центры средних масштабов (20–100 стоек);
- крупные вычислительные центры (более 100 стоек).
Построение систем гарантированного энергоснабжения (СГЭ) для потребителей, чьи объекты территориально расположены на нескольких этажах и, тем более, в нескольких зданиях, может выполняться по различным схемам. Наибольшее распространение получили две основные структуры СГЭ – централизованная и распределенная (локализованная, децентрализованная).
В распределенной системе каждый потребитель (или группа локальных потребителей) запитывается от отдельного (локального) ИБП. Заметим, что в данном случае термин ИБП мы применяем безотносительно тому, исполнен ли данный источник в виде одиночного прибора или представляет собой некоторую логически законченную группу энергомодулей, дополненных цепями распределения, коммутации, мониторинга и т. п.
Главными преимуществами такой системы, особенно при использовании «розеточных» ИБП, являются возможность ее воплощения без переделки сетевой разводки и простота наращивания или изменения конфигурации, что особо актуально для компаний с постоянно меняющейся дислокацией.
Недостатком распределенной системы на одиночных устройствах является неэффективное использование ресурсов аккумуляторных батарей из-за невозможности обеспечения одинаковой нагрузки для всех ИБП. Предположив равнозначное участие всех рабочих мест в бизнес-процессе, можно утверждать, что время автономной работы такой IT-системы определяется самым нагруженным аппаратом с наиболее разряженными при предыдущих сбоях питания батареями (либо менее емкими в связи с продолжительным сроком или условиями их эксплуатации). При этом время автономной работы одного устройства не может быть увеличено за счет отключения потребителей от других ИБП.
При отказе какого-либо ИБП прекращается работа только части системы. И если в резерве имеется хотя бы один запасной аппарат, то последствия отказа (в зависимости от расторопности обслуживающего персонала) могут быть устранены в течение нескольких минут.
Другим существенным недостатком такой концепции является ее низкая устойчивость при перегрузках, вызванных ошибочным подключением дополнительной нагрузки. Она объясняется тем, что запас мощности локальных ИБП, рассчитанных на питание нескольких рабочих станций или серверов, может быть сравним с пусковой мощностью, например, лазерного принтера (2–5 кВт) или даже одновременно включенных ЭЛТ-мониторов с экраном диагональю 19–21" в момент их размагничивания (1–2 кВт).
Одиночные системы
Как правило, когда речь заходит о системах мощностью 2–3 кВ•А и выше, из двух типов (линейно-интерактивных и непрерывного действия с двойным преобразованием) после анализа степени критичности оборудования и различий в стоимости устройств предпочтение все же отдается источникам онлайн-топологии. Они не только обладают нулевым временем перехода из режима работы от сети на батареи, но и наилучшим образом фильтруют все виды сетевых помех со входа и создаваемых нагрузкой, не допуская их во внешнюю сеть. В зависимости от мощности в нагрузке и ряда других требований они могут быть выполнены по схеме «1 фаза в 1», «3 фазы в 1» и «3 фазы в 3».
Основные элементы такого одномодульного ИБП – выпрямитель, инвертор, аккумуляторные батареи, зарядное устройство, а также коммутационные цепи Bypass (обходные цепи питания нагрузки, минуя схему двойного преобразования).
Одномодульная система отличается высокой надежностью и простотой. Она является оптимальным решением для нагрузок, допускающих кратковременные запланированные отключения для обслуживания ИБП. Однако когда при проведении регламентных работ возникает необходимость его перевода в режим Bypass (для этого у мощных трехфазных ИБП имеются раздельные статическая обходная и сервисная обходная цепи), потребители переводятся на «грязную» сеть. Очевидно, что для некоторых видов нагрузок с непрерывным технологическим процессом риск оказаться даже кратковременно без защиты недопустим. Кроме того, нельзя забывать о сравнительно высокой вероятности выхода из строя самого ИБП.
Для решения вышеупомянутых задач были разработаны всевозможные схемы резервирования. Основных типов базовых конфигураций систем немного: последовательное, параллельное резервирование, полное дублирование. В свою очередь, системы ИБП, содержащие несколько модулей-источников, могут быть построены по топологии с индивидуальными и коммутируемыми общими батареями.
Одна либо три фазы подключения?
Если потребитель захочет использовать централизованную систему бесперебойного питания мощностью 10–20 кВ•А или более и включит в сеть однофазный ИБП такой мощности, то скорее всего в подводящей трехфазной электрической сети возникнет неравномерное распределение нагрузки по фазам. В сильно нагруженной фазе напряжение будет меньше, а в ненагруженных – выше номинального.
Такой перекос фаз увеличивает вероятность сопутствующих неприятностей. Если к сильно нагруженной (например, к фазе А) подключены нелинейные нагрузки вроде импульсных блоков питания без соответствующих фильтров и механизмов активной коррекции коэффициента мощности, то в ней появляются гармонические искажения напряжения. Поскольку остальные фазы сети нагружены слабо, то ток нагрузки фазы А замыкается по нейтральному проводу, что приводит к гармоническим искажениям напряжения, которые влияют на работу оборудования, подключенного к остальным фазам (B и C).
Чтобы предотвратить подобную ситуацию, ИБП начиная с 10 кВ•А, как правило, предполагают подключение к трехфазной электрической сети. В диапазоне мощностей 6–25 кВ•А выпускаются и однофазные ИБП (1Ф:1Ф), и трехфазные (3Ф:3Ф), и ИБП с трехфазным входом и однофазным выходом (3Ф:1Ф), позволяющие избежать конфликтов перекоса фаз с соседями и органами электронадзора. Начиная примерно с 30 кВ•А, практически все ИБП имеют трехфазный вход и трехфазный выход.
Последовательная и параллельная работа ИБП
Прежде всего стоит обратить внимание на то, что в случае применения центрального ИБП для питания развитой инфраструктуры понадобится провести отдельную сеть технологического электропитания (так называемого вторичного, подключенного к выходу бесперебойной системы). Далее, стоимость централизованного решения, как правило, оказывается выше суммарной цены всех распределенных ИБП. В нее, кроме цены самого источника, входят и затраты на вспомогательные системы (например, кондиционирования). В ряде случаев для ее установки может потребоваться отдельное помещение. Еще один факт, который при сравнении затрат и достоинств частенько опускают поставщики маломощных устройств для распределенных систем: централизованные схемы предполагают наличие в их составе онлайн-аппаратов, в то время как небольшие ИБП используют более примитивные топологические схемы, обеспечивающие существенно меньшую степень защиты. Но если говорить о совокупной стоимости владения центрального ИБП в течение длительного периода эксплуатации, то она окажется ниже. Для этого в процессе подготовки проекта стоит тщательно оценить предлагаемые возможности при наращивании потребления энергии по мере развития бизнеса. Кроме того, если для увеличения времени автономности будет принято решение о покупке автоматического генератора (АГ), то централизованная схема защиты позволит сэкономить деньги за счет приобретения АГ с меньшей мощностью.
 |
| Рис. 1. Конфигурация "N" с одним модулем ИБП |
Создание параллельных систем может преследовать две цели: масштабирование, т. е. увеличение общей выходной мощности системы, либо повышение их общей надежности посредством аппаратного резервирования. Тут уместно будет напомнить о пресловутом параметре "N", который присутствует в описаниях схематических конфигураций ИБП. Например, система параллельного резервирования может также называться схемой "N+1", а конфигурация «система + система» обозначается как "2N". Таким образом, "N" можно определить как параметр, указывающий на соответствие мощности разрабатываемой системы бесперебойного питания критической нагрузке. Иными словами, это мощность модуля ИБП или набора параллельно соединенных модулей, необходимая для питания защищаемого оборудования (рис. 1).
Что касается системы "N+1", то под ней могут подразумеваться как конфигурация с изолированным резервированием (последовательная схема включения ИБП), так и конфигурации с параллельным резервированием. В отношении первой не требуется, чтобы модули имели одинаковую мощность или даже были выпущены одним и тем же производителем. Не нужна и шина для параллельного включения (рис. 2).
 |
| Рис. 2 Конфигурация "N+1" с изолированным резервированием. Последовательная схема |
В этой конфигурации главный (или основной) модуль ИБП обычно и обеспечивает нагрузку. Изолированный (или вспомогательный) ИБП подает питание через статическую обходную цепь. Соответственно, при нормальной работе основной модуль ИБП будет принимать на себя всю критическую нагрузку, а изолированный останется без нее. В результате удвоенная надежность, обеспечиваемая в данной конфигурации, может быть сведена на нет сравнительно сложной системой коммутации и управления.
Система с последовательным резервированием может состоять из нескольких основных модулей и одного резервного. Каждый основной в ней работает на собственную нагрузку. Резервный же используется в качестве первичного источника питания входов Bypass основных модулей системы. Мощность сегмента нагрузки ограничена возможностями соответствующего основного модуля ИБП.
При пропадании питания на входе одного из основных модулей он переходит в автономный режим, и нагрузка потребляет энергию батарейного комплекта этого ИБП. Если к моменту его разряда питание не восстановится, произойдет автоматический переход модуля в режим Bypass, т. е. на резервный блок. Разумеется, в этом случае последний будет недоступен для оставшихся основных модулей, и при переключении на обходную цепь второго основного модуля подсоединенный к нему сегмент нагрузки запитывается напрямую от незащищенного входа системы.
Эта схема – хороший способ модернизации существующей одномодульной системы для повышения ее надежности путем включения дополнительного резервного модуля, но она в значительной степени зависит от надежности коммутационного оборудования. Например, при четырех модулях (трех основных, одном резервном) потребуются три независимые линии со своими переключателями статической обходной цепи. В результате этого среднее время наработки на отказ (MTBF) системы с последовательным резервированием может оказаться ниже, чем в случае одномодульного ИБП или системы с параллельным резервированием. При дальнейшем развитии решения и увеличении количества основных модулей зависимость данной схемы от надежности коммутирующих элементов еще более возрастает.
 |
| Рис. 3. Конфигурация "N+1". Параллельная схема |
Вторая разновидность реализации конфигурации "N+1", с параллельным резервированием (рис. 3), допускает отказ одного модуля ИБП и не требует переключения критической нагрузки на электросеть. Как правило, для нее нужны модули ИБП одинаковой мощности и одного производителя, способные функционировать синхронно, зато нагрузка в штатных рабочих ситуациях равномерно распределяется между ними, а в случае выхода из строя или принудительного отключения какого-либо из них – среди оставшихся элементов. Такая схема включения обеспечивает более высокую степень защиты. При этом процесс технического обслуживания (ТО) отдельных модулей не приводит к временному питанию нагрузки от «грязной» сети. Однако для ТО системы в целом или ее переконфигурирования, а также при проведении регламентных работ с элементами шины питания нагрузки требуется перевод системы в Bypass или даже полное отключение потребителей. Поэтому схемы с параллельным резервированием непригодны в тех случаях, когда недопустима даже кратковременная работа системы от внешней сети.
Для оптимального использования денежных средств совсем не обязательно задействовать схему с двукратным запасом, обладающую двойной (или близкой к удвоенной) стоимостью. Например, для нагрузки 240 кВ•А можно построить систему 2×120 или 3×80 кВ•А. Несмотря на простоту концепции построения параллельной системы резервирования, принципы и способы ее обеспечения существенно различаются у разных производителей ИБП. А главное отличие заключено в механизме управления распределением нагрузки между модулями.
На рассмотрении этих двух базовых схем мы пока и остановимся, обратив внимание на параметры обеспечения температуры и влажности.
Температура и влажность vs. ресурс оборудования
С целью обеспечения микроклимата и создания нормальных условий эксплуатации ИБП большой мощности помещение, где он устанавливается, оборудуется промышленным кондиционером, имеющим необходимое резервирование и запас по отводу выделяемого тепла. Для бесперебойной работы оборудования в замкнутом помещении чрезвычайно важно поддержание расчетных условий температуры и относительной влажности: они должны быть не ниже соответственно 22–24 °C и 35–50%. Как и другие неблагоприятные факторы, быстрые колебания температуры могут негативно сказываться на работе оборудования. Это одна из причин того, почему оно остается включенным, даже если не выполняется обработка данных. Высокоточная система кондиционирования воздуха рассчитана на поддержание температуры на уровне 0,5 °C и относительной влажности ±3–5% круглосуточно в течение всего года. Системы комфортного кондиционирования, напротив, предполагают поддержание температуры на уровне 27 °C и относительной влажности 50% только в летних условиях при температуре 35 °C и влажности окружающей среды 48%.
Как правило, отсутствие специализированного устройства контроля влажности, а также контроллеров, не поддерживающих значения температур в заданном интервале, ведет к возникновению потенциально опасных колебаний этих параметров, снижает ресурс работы как самих ИБП, так и расположенного рядом с ними оборудования.
Путей оптимального комплексного решения этих и других задач, связанных с инженерной инфраструктурой, мы коснемся в следующей статье, рассказывая о концепции центров обработки данных (ЦОД).
В заключение попробуем сформулировать минимальный перечень, позволяющий заказчику системы бесперебойного либо гарантированного питания правильно расставить акценты в предварительный беседе с проектантом. Прежде необходимо уяснить для себя следующие параметры:
- номинальное напряжение внешней сети и нагрузки;
- номинальная мощность подключаемой нагрузки;
- определение степени критичности к перебоям;
- требуемое время автономной работы ИБП от батарей;
- предполагаемый стартовый запас мощности ИБП и динамика роста потребления инфраструктурой компании в будущем;
- возможности по размещению системы и предпочтительный вариант конструктивного исполнения ИБП.
Эти сведения послужат исходными при проектировании системы. В дальнейшем разработчик расширит их (опять же, это только начальный минимум!) за счет оценки:
- качества электропитания для данного здания или территории (аудит будет проведен им самостоятельно или поручен тем, кто располагает специальным оборудованием);
- способа подвода к сооружению электропитания (по наземным, воздушным линиям электропередачи или иначе) и мощности электрооборудования, расположенного в том же здании либо запитанного от тех же фидеров (лифтов, компрессоров, электропечей и т. п.);
- защищаемого оборудования и процессов, классифицированных с точки зрения требований к электропитанию и по территориальному принципу (месту размещения);
- уровня риска, с которым сталкивается данный тип бизнеса при возникновении проблем, связанных с электропитанием (потерь от простоев, требуемого времени и стоимости замены компонентов, потенциального ущерба и т. д.).
Надеемся, что приведенный материал послужит дополнительным поводом для размышлений о необходимости обеспечения бесперебойного электропитания бизнеса и содержит элементарный набор знаний для установления продуктивного контакта с проектантом решений, поэтому в следующей статье предлагаем сконцентрироваться на анализе концепций, архитектур, технологических аспектов и ознакомиться с основными модельными линейками оборудования, поставляемыми лидерами рынка ИБП.