Internet Archive и Sun расширяют возможности архива веб-страниц

Компания Sun Microsystems и организация Internet Archive объявили о запуске нового центра по обработке и хранению данных (ЦОД), который построен не на базе традиционных серверов под управлением Linux, а использует серверы Sun Fire x4500s с ОС Solaris 10 и файловой системой ZFS. Интересен тот факт, что все компоненты центра расположены в стандартном грузовом контейнере – это сделано для удобства транспортировки и увеличения его мобильности.

Мощности нового центра по обработке и хранению данных будут пущены под нужды проекта Wayback Machine, представляющего собой настоящую историю Интернета в веб-страницах. В рамках проекта хранятся заархивированные версии всех веб-страниц, начиная с 1996 года. Например, сайт Google в 1998 году выглядел таким образом.

С момента запуска проекта, организация Internet Archive собрала более 85 миллиардов веб-страниц, объем которых составляет около 3 петабайт, а 5 лет назад архив насчитывал лишь 30 миллиардов страниц. На данный момент ежемесячно в копилку Wayback Machine добавляется по 100 терабайт данных.

Благодаря модульному дизайну, новый ЦОД от Sun Microsystems, способный обрабатывать до 500 запросов в секунду, был сформирован в 10 раз быстрее, чем в случае с постройкой стандартного центра по обработке данных.