Обзоры
Суперкомпьютерный “БигМак”
0

Суперкомпьютерный “БигМак”


Суперкомпьютеры как вид

Хотя
современные персональные компьютеры в производительности шагнули далеко вперед
по сравнению с вычислительными устройствами, существовавшими всего десяток лет
назад, но есть множество задач, для которых мощности никогда не бывает достаточно,
и за примером далеко ходить не нужно: это и прогнозирование погоды, и создание
новых медицинских препаратов и пр. Одним словом, суперкомпьютеры по-прежнему нужны,
и чем мощнее, тем лучше.

Зачастую эти системы состоят из сотен компьютеров, объединенных высокоскоростной "магистралью" для передачи данных. Такие вычислительные комплексы чаще всего строятся под заказ для крупных научных и военных исследовательских организаций. Стоимость подобных проектов измеряется десятками, а то и сотнями миллионов долларов. Так, по некоторым оценкам, цена суперкомпьютера # 1 в мире NEC Earth Simulator составляет около 250–300 млн. долл. Понятно, что такого рода комплексы доступны далеко не каждой организации. Но все больше высокопроизводительных систем сегодня строится на основе стандартных компонентов — PC и, в последнее время, Macintosh.


Power Macintosh G5


Сриниди Варадараджан: "Суперкомпьютер
— это очень просто". Самодельный кластер TCF от Virginia’s Tech вдвое
дешевле систем такого класса и запущен в эксплуатацию всего за полгода

В июне Apple представила новую модель
персональных компьютеров Power Macintosh на новом 64-битном процессоре PowerPC
970, разработанном совместно с IBM. Apple со свойственной ей смелостью назвала
этот компьютер самым быстрым в мире (подобное заявление было подкреплено сравнительными
тестами производительности процессоров PowerPC 970, Intel Pentium 4 и Intel Xeon).
Многие обозреватели не преминули покритиковать способ сравнения быстродействия
процессоров, которым воспользовалась компания, однако в итоге стороны сошлись
на том, что производительность процессора — это еще далеко не все, и нужно оценить,
как будут себя вести компьютеры "в жизни", с реальными приложениями.

Когда начались продажи системы, появилась возможность сравнить производительность G5 и с предыдущими моделями "Маков", и с разными конфигурациями PC, включая модели с процессорами Pentium 4, Xeon и даже Opteron/Athlon 64. Причем разные тесты отличались своими результатами, и шум вокруг "самой самости" по-прежнему не утихал. При этом двухпроцессорные машины так и не поступили в продажу. По слухам, задержки в их поставках связаны с тем, что Apple сначала собирается выполнить крупный заказ на партию систем для построения суперкомпьютера-кластера.

Какое-то время информация об этом предполагаемом кластере действительно не выходила за рамки слухов, но это было связано с тем, что, кроме Apple, в тендере участвовали такие именитые поставщики серверных/кластерных решений, как Dell, IBM, HP и Sun, и некоторые компании (в частности, Dell) требовали неразглашения деталей до заключения контракта. Поэтому первые официальные сообщения появились только 2 сентября, когда уже стал известен победитель конкурса — компания Apple.


Проект

Заказчиком этого проекта был Политехнический институт штата Вирджиния (Virginia’s
Tech). Цель — создание высокопроизводительного вычислительного центра для научных
исследований в сфере наноэлектроники, аэродинамики, моделирования молекул белка,
акустики и биохимии.

Одним из главных факторов для института, безусловно, была стоимость и соотношение затраченных средств к полученной производительности. Организации вроде Министерства энергетики США могут особо не задумываться над этим, главное — получить мощнейший вычислительный ресурс, а для образовательных учреждений — это одна из основных проблем.

Кроме того, второй важный аспект — сроки. Например, компания IBM также являлась одним из главных претендентов на поставку оборудования, построенного на основе PowerPC 970, но обещала предоставить его только с 2004 г. (Действительно, недавно IBM обьявила, что выпустит в начале следующего года blade-серверы размером в 1U с двумя процессорами PowerPC 970 с частотой 1,6 GHz.)

Идея построить суперкомпьютер возникла в институте в марте, финансирование было получено в апреле-мае, в июне его сотрудники (узнав об анонсе новых Power Mac G5 на основе 64-битных процессоров PowerPC 970) встретились с представителями Apple, а уже в конце сентября суперкомпьютер начал функционировать в отладочном режиме. Стоит отметить, что обычно создание суперкомпьютера, который должен попасть в десятку самых мощных в мире, занимает до полутора лет.

Одним из важных условий построения кластера являлось применение 64-битной архитектуры процессоров (вариант 32-битных решений даже не рассматривался), а также использование сети с высокой надежностью и пропускной способностью.

По утверждению доктора Сриниди Варадараджана (Srinidhi Varadarajan), вдохновителя проекта, первоначально кластер задумывался как ресурс, доступный различным исследовательским организациям. "Мы не хотим ограничивать доступ тех, у кого нет гранта на исследования. Иногда нужен результат, чтобы получить грант". Кроме того, за отдельную плату суперкомпьютер будет доступен всем, кто заинтересован в исследованиях, требующих высоких мощностей.

Дерек Бастиль (Derek Bastille) из Суперкомпьютерного центра Арктического региона сказал, что просто поражен результатами Virginia’s Tech — Центр потратил около 30 млн. долл. и два с половиной года на установку двух суперкомпьютеров от Cray и IBM.

Собирали кластер студенты института — волонтеры. Их задача заключалась в том, чтобы распаковать компьютер, включить его, затем, выключив, установить память и сетевую карту, потом еще раз проверить машину и после этого поставить компьютер в стойку. В среднем на такую процедуру с одной машиной затрачивалось около двух часов. В качестве вознаграждения студенты получали билеты на футбольные матчи. Кроме этого, дополнительные затраты на сборку кластера — около 600 пицц и сотня литров кока-колы для 165 добровольцев.

Настольный суперкомпьютер

В августе 1999 г. компания Apple представила новую модель настольных
компьютеров под названием Power Macintosh G4 на основе процессора PowerPC
7400 от Motorola. По утверждениям компании, производительность этой системы
превышала 1 миллиард операций в секунду (GFLOP). В то время в США еще действовал
закон, согласно которому машины с производительностью более 1 GFLOP попадали
в разряд суперкомпьютеров, и их экспорт в некоторые страны (в том числе
в Россию и Украину) был запрещен. Безусловно, до Apple и другие производители
компьютеров сталкивались с подобной проблемой, но именно Apple использовала
это ограничение как идею для маркетинговой акции. В начале 2000 г. оно было
изменено — теперь "планка суперкомпьютерности" находится на высоте
50 GFLOP. Двухпроцессорный Power Mac G5 IBM PowerPC 970 на частоте 2 GHz
"выдает на-гора" в пике 17 GFLOP, а уже на подходе модель с процессорами
по 2,5 GHz, летом следующего года планируется переход на PowerPC 980 с частотой
от 3 GHz. Соответственно, уровень производительности такой машины может
вплотную приблизиться к 50 GFLOP, и Apple снова достигнет того порога, за
которым ее компьютеры, скорее всего, будут ввозить в Украину "серыми"
поставками.

Hardware

Кластер "БигМак" (официальное
название — Terascale Computing Facility, TCF) состоит из 1100 Power Macintosh
G5, в каждом из которых находится по два процессора PowerPC 970 с тактовой частотой
2 GHz. Во все машины установлено дополнительно по 2 GB оперативной памяти, и таким
образом каждый узел кластера содержит по 4 GB RAM. Кроме того, 1100 жестких дисков
размером в 160 GB дают в сумме 176 TB дискового пространства. Четыре машины используются
для компиляции задания и запуска задач на кластере, а одна — для управления всем
кластером.

Компания Mellanox, производитель продуктов InfiniBand, разработанных консорциумом производителей серверных систем, стала поставщиком коммуникационного оборудования и драйверов для сетевых карт.


Сборка основной части системы
студентами заняла только один день и обошлась институту примерно в 600 пицц,
сотню литров кока-колы и несколько десятков билетов на футбол

Двадцать четыре 96-портовых коммутатора InfiniBand, которые соединяют машины в
кластер, используют специальные медные проводники для того, чтобы обеспечить передачу
данных с предельной скоростью до 20 Gbps. Реально она составила около 700 Mbps.
После изменения задержек в шине PCI-X, в разьем которой установлены сетевые карты,
скорость передачи данных возросла до 870 Mbps. Древовидная структура соединения
компьютеров в кластере позволяет им связываться между собой с задержкой менее
10 мс.

В качестве поставщика вспомогательной сетевой инфраструктуры была выбрана Cisco. Компания предоставила 5 коммутаторов Cisco 4500, каждый из которых содержит 240 гигабитных портов. Вспомогательная сеть используется для управления машинами, запуска вычислений и обычного IP-трафика. Напомним, что все модели Power Macintosh содержат встроенный сетевой адаптер со скоростью передачи данных 10/100/1000 Mbps.

Весь
набор оборудования, включая компьютеры, память, основное и вспомогательное сетевое
обеспечение, обошелся институту в 5,2 млн. долл., из них 1,6 млн. стоили коммутаторы
и сетевые карты и около 180 тыс. долл. — кабели.

Как уже отмечалось, институт рассматривал предложения и от других поставщиков компьютерных решений, но их стоимость находилась на уровне 10–12 млн. долл. И это при том, что во всех Power Mac G5 установлены дорогие CD/DVD-RW-приводы и видеокарты с 64 MB памяти, которые в данном случае не нужны; если бы был поднят вопрос о дальнейшем удешевлении предложения от Apple, то у компании оставалось еще пространство для маневрирования.

По словам д-ра Варадараджана, первоначально в качестве платформы для кластера рассматривались Opteron от AMD и Itanium 2 от Intel. Но ни один, ни другой вариант не подошел по суммарным параметрам.

Помимо Terascale Com­puting Facility, у института также есть построенный ранее суперкомпьютер на базе 400 процессоров Opteron (под управлением Linux) и кластер из 20 SGI Origin 2000. Кроме того, Virginia’s Tech подключен к National Lambda Rail — оптической сети протяженностью более 20 тыс. км, которая объединяет учебные заведения и исследовательские организации, занимающиеся HPC.


Software

На всех компьютерах в качестве операционной системы установлена Mac OS
X, которая привлекла создателей кластера тем, что базируется на FreeBSD с типичной
Unix-средой. В данный момент во всех машинах используется та версия Mac
OS X, с которой они и поставлялись, — 10.2.7. В ближайшее время планируется обновление
системного ПО до новой версии Mac OS X — 10.3 Panther.

При расчетах используется набор библиотек для параллельных вычислений под названием MPI, разработанных в университете штата Огайо. Они были портированы самим Сриниди Варадараджаном с Linux на Mac OS X благодаря Unix-корням Mac OS X. В будущем планируется совместное с лабораториями Argonne портирование библиотек MPI-2.

Для компиляции задач будут применяться встроенный в Mac OS X GCC 3.3 и xlc от IBM, который генерирует более оптимизированный код, чем GCC.

Кроме того, лаборатория планирует задействовать два разных компилятора Fortran 90/95/77 — от IBM и от NAG. Преимущество компилятора IBM — скорость, а продукт NAG имеет более широкую функциональность.

При построении подобных кластеров одно из важных условий — высокая надежность всех составляющих и возможность выполнять задачу даже в тех случаях, когда часть узлов не функционирует. Для таких ситуаций была создана программа Deja vu, которая автоматически переводит за­дачу на другой узел.


Производительность

На первом месте "хит-парада" пятисот мощнейших компьютеров планеты,
как и год назад, находится Earth Simulator Center, построенный компанией NEC на
базе 5120 специально разработанных процессоров. На втором — суперкомпьютер ASCI
Q из военной исследовательской лаборатории в Лос-Аламосе, состоящий из 8192 процессоров
Alpha и построенный компанией Hewlett-Packard. Третью позицию в этом списке занял
самостоятельно собранный Tera­scale Compu­ting Facility из 1100 Power Mac G5.

На четвертом и пятом местах также оказались кластерные вычислительные центры из
военных лабораторий, занимающихся разработкой новых видов оружия, построенные
на основе 2500 Xeon и 1936 Itanium 2 соответственно. (Полный список суперкомпьютеров
доступен на странице www.top500.org/list/2003/11/.)

В этом списке компьютеры расположены по уровню их реальной производительности. Например, у Earth Simulator ее теоретическое пиковое значение составляет более 40 TFLOP, хотя реально этот суперкомпьютер достиг только 35,8 TFLOP. ASCI Q демонстрирует результаты 20,4 и 13,8 TFLOP соответственно. "БигМак" скромно разместился на третьем месте с соотношением 17,6 TFLOP (теоретическая) и 10,3 TFLOP (максимально достигнутая производительность системы).

Такой высокий показатель возможен благодаря архитектуре процессора PowerPC 970. В каждом процессоре G5 — два блока для вычислений с плавающей точкой с двойной точностью. Блоки могут выполнять одну смешанную операцию сложения–умножения за один цикл, а каждый процессор выдает "на-гора" результат с двойной точностью при двух операциях за цикл, т. е. 8 GFLOP. Соответственно двухпроцессорная машина способна работать с производительностью около 16 GFLOP.

Взглянув на пятую позицию, где разместился кластер из почти 2 тыс. процессоров Itanium 2, можно заметить, что проигрыш в достигнутой/пиковой производительности (8,6/11,6 TFLOP) в первую очередь обусловлен разницей в тактовой частоте. Если сравнить с четвертым местом "хит-парада", то очевидно, что даже большее количество трехгигагерцевых процессоров (2500) не помогло кластеру, построенному фирмой Dell, повысить производительность суперкомпьютера (9,8/15,3 TFLOP).

Существует мнение, что если "БигМаку" добавить еще с тысячу процессоров, он вполне мог бы посоревноваться за второе место с системой, содержащей 8 тыс. процессоров Alpha. Безусловно, что увеличение производительности "БигМака" вряд ли будет пропорционально количеству добавленных процессоров, но тем не менее оно должно быть существенным.

Facility

Кроме наличия компьютеров, кабелей и сетевого оборудования, есть и другие аспекты построения такого вычислительного комплекса. Речь идет о здании, в котором нужно разместить 1100 компьютеров и создать нужную рабочую среду для оборудования — с определенным температурным и влажностным режимом, уровнем пожарной безопасности, контролем доступа и т. д. Также требуется обеспечение электричеством (2 МВт), устройствами бесперебойного питания и резервным дизельным генератором.

Современные процессоры — это мощный источник выделения тепла. Обычно в комнатах с большим количеством вычислительной техники воздух должен "обновляться" три раза в час. Расчеты показали, что в случае с TCF во избежание перегрева оборудования воздух нужно "обновлять" три раза в минуту. Сначала было решено поставить компьютеры задними стенками друг к другу и охлаждать их подаваемой снизу струей холодного воздуха. Но оказалось, для того чтобы обеспечить достаточный уровень поступления воздуха, его поток должен иметь скорость около 100 км/час, и при этом все равно сохранятся недостаточно охлажденные места.

Поэтому для построения системы охлаждения институт обратился в компанию Liebert (подразделение Emerson Network Power), известную системами охлаждения для чувствительной электроники. Решение выглядит следующим образом: между компьютерами построены специальные "радиаторы", состоящие из медных трубок, по которым течет вода с температурой в несколько градусов выше нуля. Вода поглощает выделяемое компьютерами тепло, попадает в специальный рефрижератор, в котором охлаждается, и продолжает циркулировать по системе. Стоимость подготовки здания и построения систем электрообеспечения и охлаждения составила 2 млн. долл.

Суперкомпьютер "для всех остальных"

Как сказал доктор Сриниди Варадараджан, следует ожидать появления подобных кластеров в ближайшем будущем. Интерес к системе из Power Mac G5 проявили Национальное агентство по безопасности и лаборатория Argonne по разработке новых видов оружия.

Поскольку, как уже говорилось, суперкомпьютер в институте был построен практически без помощи высококвалифицированных специалистов и наладчиков на основе доступных "широким массам" компонентов, Virginia’s Tech планирует в начале следующего года выпустить "конструктор суперкомпьютеров" — набор документации и программного обеспечения, позволяющий любой организации с достаточным количеством финансовых ресурсов построить суперкомпьютер, который сможет занять достойное место в списке самых производительных систем мира.


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: