Вы наверняка уже слышали хотя бы об одном из этих проектов: SETI@Home, Entropia
или Distributed.net. А если нет, то можете ознакомиться с оригинальной концепцией
использования свободных ресурсов ПК, подключенных к Internet, в статье "Распределенные
вычисления, или “Возьмемся за руки, друзья…”. Все эти системы ориентированы
на решение сугубо общественных задач, как то обработка данных, полученных радиообсерваториями,
поддержка различных научных проектов, уточнение знаков числа p и т. д. Их участники
— добровольцы, отдающие часть мегагерцев и некоторый объем винчестеров своих
ПК безвозмездно. Но ничто не мешает проводить таким же образом коммерческие изыскания,
а владельцам компьютеров получать, помимо духовного удовлетворения, материальную
компенсацию за "аренду производственных мощностей". И, по всей видимости,
в Глобальной Сети сейчас зарождается новый рынок с колоссальными возможностями
как с точки зрения прибылей, так и масштабности задач, которые сможет решить "всемирный
суперкомпьютер". Ведь именно способность человека к работе в коллективе послужила
основой нынешней цивилизации. К чему приведет внедрение коллективного подхода
в вычислениях?
Сначала
обратим внимание на недостатки используемой сегодня схемы распределенных вычислений.
Во-первых, не все задачи можно разбить на абсолютно независимые этапы, пригодные
к обработке на изолированных друг от друга компьютерах. Во-вторых, проблема безопасности.
Причем она касается не только пользователей (не собирается ли свежая версия клиента
заняться "шпионажем" в интересах "работодателя"?), но и корпораций,
не желающих выставлять на всеобщее обозрение свои данные. В-третьих, необходимо
учесть пестроту аппаратного и программного обеспечения, представленного в Internet.
Среди активного сетевого "населения" достаточно велик процент поклонников
Apple, Linux, Sun и различных вариантов Unix.
С другой стороны, преимущества очевидны. Очень многим иногда требуется решать сложные вычислительные задачи, но специальные ресурсы, приобретенные для периодического использования, не окупят себя. Кроме того, те же суперкомпьютеры имеют свойство устаревать. Инсталлировав "монстра", корпорация вынуждена постоянно поддерживать его в форме — обслуживать, ремонтировать, модернизировать, обучать персонал. Распределенные вычисления лишены этих недостатков — пользователи самостоятельно содержат свои ПК в порядке и по мере необходимости проводят апгрейд. Со временем, вместе с ростом армии подписчиков на скоростные линии доступа к Internet, увеличится и количество, и качество потенциальных "работников". Особенно это скажется на задачах Web-поиска. Параллельная индексация страниц будет максимально эффективно использовать ресурсы магистральных каналов. Некоторые организации обязательно ухватятся за возможность нагрузить ночной работой тысячи ПК своей корпоративной сети. Сегодня распределенные вычисления полагаются в основном на технологию клиент-сервер. Вероятно, в ближайшем будущем появятся новые системы с более эффективной архитектурой, позволяющей компьютерам-участникам обмениваться данными между собой. Это повысит общую производительность и расширит спектр задач, доступных для обработки.
О намерении дать реальную работу миллионам простаивающих днями и ночами ПК заявили сразу несколько компаний. Хотя ни одна из систем еще не начала коммерческой деятельности, Distributed Science продвинулась дальше всех.
В 2000 г. было принято решение объединить две молодые развивающиеся компании ProcessTree Network и DCypher.Net — так появилась корпорация Distributed Science (DSI). Первая из вышеупомянутых фирм принесла с собой оригинальную схему оплаты, маркетинговые инициативы и 15-тысячную базу подписчиков. Вторая — проверенную на общественных проектах технологию. Корпорация завершила первый раунд финансирования и готовится к вовлечению венчурного капитала.
Важную роль в успехе или провале нового союза играет практический опыт фирмы DCypher.Net,
которая с 1 ноября прошлого года ведет работу над проектом Gamma Flux. Его инициатором
стал студент известного шведского университета Uppsala, создатель сайта supercomputer.i.am
Питер Янсcон. Цель — поиск оптимальной конструкции контейнеров для хранения радиоактивных
отходов. Суть вычислений состоит в трассировании огромного количества потоков
радиоактивного излучения для определения итогового радиационного фона вокруг захоронения.
Разработанное программное обеспечение в принципе позволяет выполнять несколько
вычислений одновременно, однако пока сотрудникам DCypher.Net не представилось
случая это проверить. Gamma Flux — не первая задача, за которую они брались.
Сразу после открытия было решено попробовать силы в CS-Cypher Challenge — конкурсе
на поиск ключа методом перебора, объявленном французской компанией CS Group. В
случае успеха участникам этого проекта удалось бы и немного заработать — команде,
раскрывшей код, полагался приз в размере 10 тыс. евро. К сожалению, счастье не
улыбнулось им. К тому моменту, когда DCypher.Net обработала только 12% вариантов
ключа, организация Distributed.net, подключившаяся немного позже, с видимой легкостью
отыскала решение. Обескураживающее начало и не слишком обнадеживающее продолжение.
Исследования для Янссона обещают затянуться на длительный срок и, в принципе,
не могут привести к определенному конечному результату. Так что предложение ProcessTree
Network пришлось как нельзя кстати.
Первые зарегистрированные пользователи получают статус партнеров. Они могут привлечь других людей, которые также становятся партнерами, но рангом ниже. Чем выше вы расположены в иерархии, тем больше доходы, так как часть денег, заработанных вашими "рекрутами", попадает на ваш счет. Похоже на финансовую пирамиду, не правда ли? Представители ProcessTree Network утверждают, что это не так, и, видимо, добровольные участники проекта им верят. Не имея фактически ничего, кроме больших планов, клиента, приобретенного вместе с DCypher.Net и получившего статус бета-версии, единственной бесприбыльной и бесперспективной задачи GammaFlux, на 1 августа они могут похвастаться 55 тыс. подписавшихся партнеров и более 100 тыс. готовых к работе ПК. Несмотря на всеобщую эйфорию, охватившую руководство Distributed Science, необходимо обратить внимание на некоторое несовершенство клиентского ПО. Например, утилита до сих пор не поддерживает прокси-серверов. Принцип ее действия мало отличается от методики, принятой на вооружение институтом SETI, — идеологии screensaver’а. То есть вычисления выполняются исключительно в моменты простаивания ПК, когда ресурсы процессора свободны, а пользователь бездействует. Подключение к Internet требуется только для получения новых порций данных и выдачи результатов. Однако в отличие от той же SETI@Home вы не сможете наблюдать за ходом работ — суть их будет строго конфиденциальной. Только наведавшись на сайт компании, можно будет найти какую-то общую статистику. Что касается платежей, то сейчас на рассмотрении находятся две схемы: оплата провайдерских счетов (они еще просто не видели расценок за пользование телефоном и подключение в восточно-европейских странах) и перечисление заработанных сумм по требованию. Заявлена принципиальная возможность международных переводов. К сведению, по некоторой информации, в Украине пока нет объективных препятствий для такого рода заработка.
От союза выдающихся компаний — к союзу выдающихся людей: Popular Power, обосновавшаяся в Сан-Франциско фирма, сумела собрать под свои знамена известных инвесторов. Среди тех, кто поверил в ее успех, Тим О’Рейли — основатель O’Reilly & Associates, а по совместительству владелец финансовой организации O’Reilly New Ventures, Брайан Бехлендорф (Brian Behlendorf) — президент Apache Software Foundation, Джолли Чен (Jolly Chen) — один из авторов базы данных с открытым кодом Postgres95. Да и сооснователь фирмы Марк Хедлунд (Marc Hedlund) с 1997 по 1999 гг. был руководителем Internet-подразделения медиаимперии Лукаса — Lucas Online.
Программисты Popular Power — поклонники Java и безопасности. Они предпочли высокую производительность ПО, скомпилированного в естественный код, довольно объемному (более 8 Мb) клиенту, реализованному на языке Java. По всей видимости, этот шаг очень слабо помогает им в портировании программы на различные платформы (спустя полгода доступны версии только для Windows и неполная для Linux). Клиент функционирует по принципу screensaver’а и не требует постоянного подключения к Internet. В отличие от творения DSI, он действительно функционирует как хранитель экрана и демонстрирует во время работы отвлеченные презентации, записанные в формате Macromedia Flash. При желании или очень сильном эстетическом раздражении этот ролик можно самостоятельно заменить на любой другой в том же формате.
С точки зрения бизнес-схемы, Popular Power пока воздерживается от дешевых трюков с "денежными пирамидами" и предлагает партнерство только владельцам сайтов. Они смогут пропагандировать распределенные вычисления и собирать дань с подключившейся к проекту "паствы".
Несмотря на полную готовность к коммерческой деятельности заказчиков пока не видно. Единственным проектом, находящимся в работе, является общественно значимое, но бесприбыльное исследование по вакцинации от гриппа. В дальнейшем предполагается сочетать как некоммерческие, так и коммерческие задачи — пользователь может свободно выбирать между своей репутацией и доходами.
Parabon Computation — еще один сторонник Java. Разработчики компании клянутся,
что созданная ими платформа Pioneer является полностью безопасной и любой код,
исполняющийся внутри ее виртуальной машины, не способен добраться до файлов пользователя.
Для демонстрационной графики используется уже Macromedia Flash, ставший неким
негласным стандартом среди систем распределенных вычислений. Клиентская программа
может взаимодействовать только с центральным сервером под названием Frontier по
протоколу SSL. Согласно терминологии Parabon Computation участник проекта называется
провайдером. Он может, как и в предыдущих случаях, либо получать некоторую денежную
компенсацию, либо автоматически перечислять ее в любой благотворительный фонд.
В иерархии будущей организации нашлось место и промежуточному звену — так называемым
партнерами по распространению (Distribution Partners). Ими станут независимые
сайты, сумевшие привлечь своих посетителей к работе. В настоящий момент компания
поддерживает только два некоммерческих проекта — по изучению побочных эффектов
химиотерапии (Computing Against Cancer) и эксперимент по рендерингу фотореалистичных
трехмерных анимационных последовательностей по методу Монте-Карло (Vegas). Что
касается ПО, в разработке находится Frontier API — программный интерфейс, который
позволит заказчику контролировать процесс распределенных вычислений с любого персонального
компьютера. Задача (job), поступившая с ПК "клиента"-заказчика, будет
абсолютно прозрачно для него разбиваться на отдельные фрагменты (tasks) сервером
Frontier и затем распределяться между "провайдерами". Предполагается,
что система сможет принять первые коммерческие проекты этой осенью.
Несколько других компаний находятся на более ранних стадиях развития, но их предложения выглядят не менее многообещающими. Например, Centrata из Менло-Парка, основанная двумя студентами Массачусетского технологического института Шишир Мехротрой (Shishir Mehrotra) и Дэвидом Ратаджаком (David Ratajczak). Со своим бизнес-планом они были удостоены второго места в престижном конкурсе $50K Business Plan Competition, который проводится институтом. Впоследствии к компаньонам присоединились Борис Певзнер (Boris Pevzner) из компании MathSoft и некоторые другие известные ученые и бизнесмены. Пока намерения Centrata не вполне ясны, но уже сейчас есть сведения о двух связанных между собой проектах: распределенные вычисления и распределенное хранение данных. Наибольшее любопытство вызывает именно последнее начинание. Для эффективной реализации RAID-подобного Internet-хранилища потребуется создание инфраструктуры, специальных алгоритмов и схем дублирования информации, так как частные ПК вряд ли смогут обеспечить необходимую степень надежности. Да и каналы доступа, ориентированные на домашних пользователей, не отличаются высокой производительностью и стабильностью. Впрочем, в интервью Бобу Меткалфу (Bob Metcalfe) Мехротра заявил, что весь фокус в технологии использования случайных путей доступа.
Компании United Devices, Porivo и Mithral Communications & Design разрабатывают свои универсальные системы поддержки распределенных вычислений. Причем среди возможностей платформы COSM фирмы Mithral упоминается и распределенное хранение данных — Distributed File System.
Несмотря на бурное развитие множества частных и общественных организаций, сайтов
и фирм, связанных с распределенными вычислениями в Internet, все эти проекты меркнут
в сравнении с iGrid. Еще в 1997 г. начались работы по созданию сети, узлами которой
станут крупнейшие суперкомпьютеры и вычислительные центры мира. Рэнди Брамли (Randy
Bramley), ученый из Иллинойского университета, говорит, что сама по себе сеть,
составляющая основу нынешнего проекта, существует уже в течение 10 лет. Лишь само
переосмысление ее назначения как средства динамического распределения вычислительных
задач является чем-то новым. Центром международной структуры станет STAR TAP —
Science, Technology and Research Transit Access Point. Этот узел расположен в
Чикаго и создан альянсом Electronic Visualization Laboratory, Argonne National
Laboratory и Chicago’s Ameritech Advanced Data Services. Связь с ним обеспечивается
соединением производительностью 150 Mbps. В числе подключенных сетей значатся
APAN — азиатско-тихоокеанская сеть, европейская CERN, российско-американская
MIRnet, а также многие американские национальные скоростные сети.
Что ж, похоже, лихорадка распределенных вычислений охватила всех: от коммерсантов
до академиков. Теперь, вместе с увеличением количества подключившихся к Internet
пользователей, а также повышением производительности среднестатистического ПК,
возможности этой технологии будут лишь расширяться.