Кластеры. Например…

---

В случаях, когда к вычислительной системе предъявляются высокие требования в отношении надежности, доступности и производительности, кластеры, пожалуй, стоят вне конкуренции. Конечно, кластерные решения обходятся намного дороже, чем многопроцессорный сервер. Но, тем не менее, если три вышеперечисленные характеристики являются жизненно важными для деятельности предприятия или организации, заказчик, как говорится, за ценой не постоит, чтобы не оказаться в ситуации, когда придется платить вдвойне. Поэтому кластеры в нашем регионе характеризуют не столько финансовый статус заказчика, сколько роль построенной на нем вычислительной системы в его деятельности.

---

Предварим знакомство с конкретными проектами кратким вступлением.

Прежде всего напомним определение кластера. Так называется локальная (в отличие
от распределенной) вычислительная система, состоящая из множества независимых
компьютеров, связанных между собой каналами передачи данных. Свойство локальности
кластера заключается в том, что все его подсистемы "видны" в едином
административном домене, и управление кластером выполняется как единой вычислительной
системой. Компьютеры, входящие в состав кластера, называются узлами (node). Обычно
это серийно выпускаемые универсальные компьютеры, способные работать самостоятельно.
Узлы могут быть однопроцессорными или мультипроцессорными (конфигурация SMP).
В классической схеме все узлы при работе с приложениями разделяют внешнюю память
на массиве жестких дисков, используя внутренние дисковые накопители для более
специальных функций. Для межузлового взаимодействия обычно применяется какая-нибудь
стандартная сетевая технология, хотя это не исключает специально разработанных
каналов связи. Кластерная сеть является обособленной — она отделена от внешней
сетевой среды.

В типичном случае кластеры служат для решения трех проблем. Во-первых, для обеспечения высокого уровня доступности, или готовности. Суть этой характеристики заключается в том, что система должна предоставить пользователям доступ к сервисам в запланированное время с высокой вероятностью обслуживания и иметь минимальное время незапланированных простоев. Во-вторых, для обеспечения высокой надежности. Для этого необходимо уменьшить частоту отказов системы. Решение является высоконадежным, если оно минимизирует число единых точек отказа, уменьшая тем самым риск, что отказ одного компонента приведет к отказу предоставить требуемый сервис. Высокая надежность достигается за счет избыточности, а также отказоустойчивости как аппаратных компонентов, так и прикладного и системного ПО. Ну и наконец, в-третьих, для обеспечения масштабируемости. Причем как "внутренней", так и "внешней". Под первой подразумевается возможность наращивать ресурсы узлов (количество ЦП, объем оперативной памяти, емкость дисковой системы), а под второй — увеличение (или уменьшение) числа узлов.

Узлы кластера могут быть активными и пассивными. Активные узлы обслуживают запросы, тогда как пассивные находятся в "горячем" резерве. В многоузловом кластере может быть любое сочетание активных и пассивных узлов. При выходе активного узла из строя его функции начинает выполнять соответствующий пассивный узел.

Сегодня многие организации строят катастрофоустойчивые системы, разнося узлы кластера на значительные расстояния. В большинстве случаев такая архитектура предусматривает один основной узел и один (или более) удаленный. Удаленный узел обычно является "зеркалом" основного узла. Однако в общем случае степень зеркалирования может зависеть от требований бизнеса.

Представленные здесь несколько кластерных решений, реализованных в Украине, на
наш взгляд, достаточно полно обрисовывают ситуацию в данной области. Хотя все
описываемые кластеры базируются на двух узлах, они имеют различную архитектуру.
Мы попытались получить ответы на следующие вопросы:

• чем обусловлен выбор кластерного решения;

• каковы его технические особенности;

• сколько времени потребовалось на внедрение проекта.

Проекты носят имена заказчиков, для которых они были реализованы.

ОАО "Государственный экспортно-импортный банк Украины"

Основное требование заказчика — построение катастрофоустойчивой кластерной
системы автоматизации банка (САБ). Кроме этого, САБ должна была обеспечить:

• высокий уровень информационной безопасности;

• надежность хранения больших массивов данных и их распределенную обработку;

• бесперебойную работу;

• резерв производительности и возможность расширения;

• одновременный доступ не менее 500 клиентов.

Рис. 1

Совокупность требований привела компанию S&T Soft-Tronik к решению построить
информационную систему банка на базе так называемого кампус-кластера и оборудования
Sun Microsystems (рис. 1). Одним из аргументов данного выбора было то, что компания
имеет решение Campus Clustering Solution для распределенных кластерных систем
с удалением узлов до 15 км и дисковых подсистем — до 10 км. В качестве узлов
выбраны серверы Sun Enterprise 3500, оборудованные каждый четырьмя процессорами
UltraSPARC 400 MHz, 2 GB оперативной памяти, внутренней дисковой подсистемой емкостью
18 GB и ленточным накопителем DDS-3. Узлы кластера разнесены на расстояние 9,2
км и соединены между собой оптоволоконными каналами Fast Ethernet. К каждому узлу
с помощью двух интерфейсов Fibre Channel подключены локальная и удаленная дисковые
подсистемы Sun StorEdge A5200. Запись информации на дисковые подсистемы производится
зеркально (ПО Veritas Volume Manager). На площадках установлены управляющие станции
Sun Ultra 5. Кластер работает под управлением ПО Sun Solaris 8, Sun Cluster 2.2
и обеспечивает работу СУБД Oracle8 в режиме Parallel Server.

Высокая степень готовности узлов кластера обеспечивается в результате применения технологии динамической реконфигурации и выбора альтернативного маршрута (Dynamic Reconfiguration and Alternate Pathing), а также за счет дублирования всех компонентов, контроля питания ЦП, избыточности питания и охлаждения, автоматического восстановления после сбоев и предупреждения аппаратных сбоев.

В системе реализована трехуровневая концепция резервного копирования. Каждый узел имеет внутренний ленточный накопитель для резервирования операционной системы и системных утилит. Один из узлов кластера соединен с магнитооптической библиотекой HP SureStore 160EX, предназначенной для копирования оперативных данных, а другой — с ленточной библиотекой StorEdge L1000 емкостью 1 TB (2 TB при использовании компрессии) для полного резервного копирования. Для автоматизации процесса резервного копирования применяется программное обеспечение Veritas NetBackup Data Center.

АКБ "Проминвестбанк"

Компании IBM не пришлось убеждать заказчика в необходимости внедрения кластерных технологий для выполнения поставленной задачи, а именно, создания надежной платформы для развертывания критичного финансового приложения SWIFTAlliance.

На то время в "Проминвестбанке" уже функционировал двухузловой VAX-кластер под управлением OpenVMS. Однако SWIFT (организация, предоставляющая услуги передачи финансовой информации) заявила о возможном прекращении в будущем поддержки этой платформы, и перед заказчиком стал вопрос о необходимости ее замены. Было принято решение не просто повторить имеющуюся кластерную функциональность на более современном оборудовании и ПО, а и увеличить надежность системы, сделав ее устойчивой к крупным авариям, приводящим к массовому разрушению оборудования.

Основные требования, предъявленные к системе, были следующими:

• обеспечение целостности и полной актуальности данных, а также быстрое возобновление обслуживания клиентов как в случае отказа отдельных аппаратных компонентов, так и полного физического разрушения оборудования одной из площадок;

• использование для внутрикластерных коммуникаций существующей IP-сети, связывающей удаленные площадки;

• возможность полного контроля и управления системой силами заказчика.

Очевидно, классический высокодоступный кластер не может удовлетворять поставленным требованиям. По этой причине задача была решена созданием географического кластера, т. е. системы, узлы которой могут быть разнесены на значительное расстояние.

Выбор RISC-серверов IBM и OC AIX в качестве программно-аппаратной платформы кластера обусловлен в основном тем фактором, что они традиционно рекомендуются SWIFTAlliance для развертывания подобных систем в крупных банках. Кроме того, предлагаемое IBM ПО Geographic Remote Mirroring (GeoRM) добавляет в AIX ключевую для любой геокластерной системы функциональность — средства удаленной репликации данных.

Рис. 2

Структурная схема созданного геокластера приведена на рис. 2. Основой системы
являются серверы среднего уровня p620 семейства IBM pSeries. Эти серверы при умеренной
стоимости обладают достаточной для работы SWIFTAlliance производительностью, хорошо
масштабируются, а также имеют развитые встроенные средства мониторинга и резервирования
аппаратуры. Полное дублирование таких аппаратных компонентов, как блоки питания,
вентиляторы, диски, дисковые контейнеры, SCSI-контроллеры, в сочетании с имеющимися
в ОС AIX средствами ранней диагностики и предупреждения позволило добиться высокой
степени локальной отказоустойчивости серверов.

Каждый узел содержит:

• один процессор RS64 IV 600 MHz (максимум — шесть процессоров);

• 1 GB оперативной памяти (резервный узел — 512 MB);

• четыре SCSI-диска (2 x 9 GB + 2 x 18 GB) с возможностью оперативной замены,
  объединенных в две "зеркальные" пары для ОС и ПО SWIFTAlliance соответственно;

• ленточный накопитель DDS-4 20/40 GB для резервного копирования (только основной узел).

Проект полностью реализован специалистами компании "Квазар-Микро" за пять месяцев, из которых около двух месяцев было затрачено на решение формальных вопросов с представителями SWIFT. Важный этап проекта — разработка подробного плана действий персонала в критических ситуациях. В мае 2002 г. завершилось комплексное тестирование системы, и она была введена в опытную эксплуатацию.

Значительно снизить стоимость полученного решения позволило использование для построения геокластерной сети уже существующей коммуникационной инфраструктуры заказчика, поскольку ПО GeoRM способно осуществлять репликацию данных по любой LAN/WAN IP-сети.

ЗАО "Металгрупп"

Для заказчика, кроме традиционных требований, предъявляемых к кластерным
системам, критичной явилась также общая стоимость проекта. Кластер должен был
обеспечить для распределенных по территории Украины дочерних предприятий доступ
к таким сервисам, как электронная почта и корпоративная БД.

Рис. 3

Для решения этих задач компанией "Версия" построен классический параллельный
кластер на базе двух серверов SmartServer 3000, оборудованных двумя процессорами
Intel Pentium III 800 MHz и оперативной памятью объемом 512 MB (рис. 3). Разделяемый
дисковый массив (максимальная емкость 432 GB) с многоканальным SCSI-to-SCSI-контроллером
позволяет организовать RAID уровней 50 или 51. Это обеспечивает отказоустойчивость
и автоматическую перестройку RAID в случае отказа диска без снижения производительности.
Серверы оборудованы сдвоенными блоками питания с возможностью оперативной замены.

Коммуникация между узлами выполняется с помощью дублированного канала Fast Ethernet. К сети кластер подключен двумя каналами Ethernet (один — 100Base-TX, второй — 1000Base-T), работающими в режиме балансировки нагрузки (Intel Adaptive Load Balancing). Предусмотрено также резервирование сети.

На кластере установлено следующее ПО:

• MS Cluster Service;

• MS Windows 2000 Advanced Server;

• MS Exchange Server 2000 Enterprise Edition;

• MS SQL Server 2000 Enterprise Edition.

АКБ "Трансбанк"

Рис. 4

Устойчивая триада требований — надежность,
высокая доступность и производительность — привела заказчика к необходимости
установки кластера, поставку и интеграцию которого выполнила компания "Юстар".
Классический двухузловой кластер (рис. 4) с разделяемым дисковым массивом базируется
на серверах MegaLAN 1000R и системе хранения proStorage i2500. Конфигурация узлов
несколько несимметрична: узел А имеет четыре процессора Pentium III Xeon
700 MHz, в то время как узел В — два. Это связано с разным количеством
обслуживаемых соединений. Остальные параметры следующие:

• 1 GB оперативной памяти ECC SDRAM Registered;

• дисковые накопители емкостью 18 и 40 GB для промежуточного резервирования БД;

• три блока питания по схеме N+1;

• внешний стример Sony DDS4 20/40 GB (на одном узле).

Разделяемый дисковый массив содержит 7 18 GB дисков IBM DDYS 10000 об/мин (допускается
оперативная замена), подключенных с помощью интерфейса UltraSCSI 160. Особенностью
proStorage i2500 является возможность администрирования через порт Ethernet
10/100Base-TX.

Межузловая коммуникация осуществляется посредством канала Fast Ethernet. На
кластере функционирует СУБД MS SQL Server 2000 под управлением ОС MS Windows
2000 Advanced Server. В настоящее время он обслуживает одновременно более 100
соединений.

Система была установлена в течение двух недель с учетом времени поставки оборудования.

Государственная таможенная служба Украины

Здесь кластер появился тоже не на пустом месте. Первоначально СУБД Oracle
функционировала под управлением ОС Windows NT 4.0 на SMP-сервере. Однако вскоре
нагрузка возросла настолько, что сервер перестал с ней справляться. Поскольку
требующая обработки информация стекалась со всей Украины круглосуточно семь
дней в неделю, необходимо было не только повысить производительность вычислительной
системы, но и обеспечить отказоустойчивость. Поэтому компания "Квазар-Микро",
являвшаяся исполнителем проекта, предложила реализовать ее на кластере, состоящем
из двух узлов Sun Enterprise 3500 под управлением ОС Sun Solaris. Используемые
серверы обладают встроенными средствами мониторинга и резервирования аппаратуры,
что позволяет добиться высокой надежности узлов.

Рис. 5

Кластер (рис. 5) относится к классу систем высокой доступности и построен
по схеме с разделяемым дисковым массивом. Конфигурация каждого узла следующая:

• четыре процессора UltraSPARC 400 MHz (максимум восемь процессоров);

• 2 GB оперативной памяти (максимум 8 GB);

• два диска (2 x 9 GB) с интерфейсом Fibre Channel (FC-AL) с возможностью
  оперативной замены, объединенных в зеркальную пару (RAID 1) и предназначенных
  для размещения ОС;

• двухканальный контроллер FC-AL;

• два SCSI-контроллера;

• избыточные блоки питания и вентиляторы с возможностью оперативной замены.

Доступ к разделяемому дисковому массиву общей емкостью 216 GB (12 x 18 GB) осуществляется
по четырем каналам. Массив сконфигурирован как два аппаратно-независимых подмассива,
каждый из которых содержит половинки зеркальных пар. Зеркалирование выполняется
с помощью ПО Veritas Volume Manager. Программное зеркалирование позволило отказаться
от аппаратных RAID-контроллеров, которые являются потенциальной точкой отказа.
Узлы имеют доступ к каждому подмассиву через отдельный SCSI-контроллер. В качестве
устройства для резервирования применяется роботизированная ленточная библиотека
DDS-3 Autoloader емкостью 72 GB, подключенная к серверу резервного копирования
Sun Ultra 10.

Оба узла являются активными и работают в симметричном режиме: на каждом из них функционируют экземпляры СУБД Oracle 8, предоставляющие клиентам идентичный сервис. Параллельная работа узлов осуществляется с помощью использования режима Parallel Database программного обеспечения Sun Cluster и встроенных в Oracle средств разделяемого доступа к данным Oracle Parallel Server.

Основная часть проекта (без учета времени заказа и поставки оборудования) была выполнена за неделю. За это время установлено и смонтировано оборудование, инсталлированы и настроены операционная система, кластерное и прикладное ПО, проведено тестирование поведения системы при отказах оборудования.

"Украинская Мобильная Связь" (UMC)

Рис. 6

Привлечение новых клиентов и продвижение
различных услуг на рынок Украины привели компанию UMC к необходимости пересмотреть
роль информационной инфраструктуры в поддержке бизнес-решений, а также принципы
ее организации. Были проведены анализ бизнес-требований рынка, их прогнозирование
и сопоставление с текущим состоянием платформ, обеспечивающих работоспособность
ключевых систем компании. Руководством UMC принято решение о существенной модернизации
информационной системы расчета с абонентами и системы финансово-экономического
управления предприятием. В рамках данного проекта осуществлено полное обновление
серверных платформ указанных систем. Для выбора новой платформы был разработан
ряд критериев, среди которых основными можно назвать следующие:

• специфические требования по производительности системы;

• уровень доступности серверной платформы;

• возможность масштабирования мощности платформы;

• создание нескольких системных разделов в рамках одной серверной платформы;

• возможность переконфигурирования системы без остановки основных сервисов;

• время гарантированного восстановления любой поломки оборудования.

В результате проведения переговоров выбрано кластерное решение от HP/Compaq. В роли компании-инсталлятора выступила S&T Soft-Tronik.

Главными компонентами каждого из двух кластеров стали: два мультипроцессорных сервера AlphaServer GS160 (CPU Alpha 730 MHz), дисковая система EMA12000 стартовой емкостью 1,3 TB, ленточная система архивирования ESL9326D стартовой емкостью 11 TB. Один из таких кластеров показан на рис. 6.

Межузловой обмен реализован с использованием технологии Memory Channel, разработанной специально для этих целей. Способ соединения компонентов — коммутируемая архитектура Fibre Channel SAN (Storage Area Network). Все системы работают под управлением ОС Compaq Tru64 Unix, кластеризация поддерживается программным обеспечением TruCluster Server.

Рис. 7

Четыре физических сервера AlphaServer GS160 благодаря организации системных модулей
(QBB — Quad Building Block) разбиты на два кластера, обеспечивающих работу СУБД
Oracle, а также на несколько серверов приложений и разработки для каждой из ключевых
систем (пример такого разбиения приведен на рис. 7).

В связи с необходимостью быстрого запуска приложений на новой платформе серверы перед поставкой заказчику доставили в Custom Systems — Европейский технический центр Compaq по созданию преднастроенных систем, находящийся в Анеси (Франция). В техническом центре серверы были собраны, установлены операционная система, кластерное программное обеспечение, а также одно из приложений — система финансово-экономического управления предприятием. Для последней установили пакет команд (scripts), обеспечивающий работу приложения в кластерном режиме. Обе системы протестированы в продуктивном и аварийном режимах на специально развернутом стенде.

Время реализации проекта с учетом доставки, настройки оборудования, а также миграции одного из приложений составило 4,5 месяца. После этого система была введена в продуктивную эксплуатацию.