Внешние дисковые массивы: музыку заказывает… видео

Рынок видеопроизводства, звукозаписи и вещания находится на подъеме — это видно
по объему отечественной медиапродукции массового потребления.

Спрос на цифровые системы для профессиональной работы с видео определяется зрелостью рынка и возможностями сегодняшних технологий. Не будет преувеличением сказать, что современные видеопроизводство и вещание начинаются с построения сетей хранения и обмена видеоданными. Продуктивность всех рабочих процессов, включая запись исходных материалов, редактирование, просмотр и управление контентом, передача в эфир, архивирование зависит от скорости доступа к материалам и возможностей одновременной работы с ними различных групп пользователей. Среда хранения данных формируется внутренними и внешними дисковыми массивами, библиотеками на оптических и ленточных носителях. Реализации массивов зависят от роли хранилищ в структуре предприятия, предъявляемых требований к скорости передачи данных, сохранности, наращиваемости. Технологичное производство подразумевает разделение оборудования на средства хранения информации и средства ее обработки — т. е. включение в структуру компании внешних дисковых массивов высокой емкости, соединенных с серверами скоростным интерфейсом. Попробуем разобраться, какое значение имеют для современной видео-студии такие параметры дисковых систем хранения данных, как емкость, производительность, управляемость, надежность.

Дисковые массивы в видеопроизводстве

Подробный обзор современных дисковых массивов
для видео уже публиковался в "Компьютерном Обозрении", # 37, 2003.
По-прежнему самыми востребованными остаются индивидуальные хранилища класса DAS
(Directly Attached Storage) для работы в связке с вы-сокопроизводительными станциями
нелинейного монтажа (NLE). NLE-платы профессионального уровня — это мощные аппаратные
решения, которые работают с некомпрессированным видео в реальном времени. Таковы
представленные на нашем рынке Matrox DigiSuite, dpsVelocityQ, Pinnacle TARGA 3000.
На примере линейки Pinnacle можно проследить, какие требования NLE-платы выдвигают
к параметрам отвечающих им дисковых массивов (см. таблицу).

Дисковая система NLE-станций высокого уровня традиционно строится на SCSI — для получения гарантированной потоковой скорости операций ввода/вывода. Пока хватало скорости и объема внутренних массивов — обходились ими. Однако уже для платы TARGA 3000, работающей в режиме YUV (16-битное некомпрессированное видео с потоком 21 MBps в представлении 4:2:2), проблема обеспечения места на дисках требует пересмотра бюджета или формата дисковой подсистемы. 10-дисковый встроенный массив на SCSI-винчестерах справляется с 4 потоками некомпрессированного видео, но его объема (~700 GB при использовании 73-гигабайтовых HDD) будет достаточно для порядка 8 часов исходного видео. Золотое правило монтажа — иметь 50%-ный запас дискового пространства — дополнительно увеличивает затраты на диски. А ведь большинству проектов и этого объема мало.

Последовательный отказ от накопителей SCSI в пользу относительно недорогих и емких IDE/SATA с выносом дискового массива за пределы видеосервера (станции) позволяет обеспечить высокую функциональность систем, удержав их стоимость в разумных пределах. Без высокопроизводительного интерфейса дисковому массиву не обойтись, а вот переход на носители IDE и SATA (в силу более простой реализации подключения последние становятся стандартом) индустрия пережила довольно легко. Для видеопроизводства не так характерен многозадачный (multithread) режим доступа к дискам, важнее достижение как можно большего дискового объема.

Сам по себе переход к высокоемким дискам SATA лишь отчасти решает проблему, следующим шагом является отказ от внутренних массивов в пользу внешних реализаций. Этого требуют не только конструктивные ограничения видеосерверов (на количество дисков, мощность источников питания, эффективность вентиляции), но и соображения отказоустойчивости, гибкости инфраструктуры, стоимости обслуживания.

Выбор вариантов интерфейса меж—ду внешним массивом и NLE-станцией невелик: SCSI и Fibre Channel (FC). FС перспективен, если в будущем планируется включить массив в состав сетевой структуры SAN (Storage Area Network), но с точки зрения подсоединения DAS-хранилища реализация FC заметно дороже. Запаса производительности SCSI достаточно, контроллеры SCSI распространены на рынке и относительно недороги. SCSI-массив подключается через внешний разъем SCSI-контроллера NLE-станции. Приведенные доводы оправдывают выбор в качестве устройства для тестирования внешнего дискового массива, построенного на дисках Serial ATA и работающего под управлением собственного RAID-контроллера с внешним интерфейсом Ultra 320 SCSI.

	Внешний дисковый массив Entry Store 414 позволяет разместить 16 HDD в корпусе высотой 4U

Дисковые массивы на службе безопасности В отличие от видеоиндустрии рынок систем безопасности не так публичен (есть своя специфика!), но о нем косвенно можно судить по сводкам о приросте национального продукта и… по темпам строительства элитного жилья. Базовые "ценности" здесь те же — серьезные объемы дорогостоящей информации мультимедийной природы. Источником данных для дискового массива в системах безопасности является видеосервер с интегрированной платой видеозахвата. Если сравнивать его с аналоговыми системами, такой видеосервер заменяет собой мультиплексор, квадратор, матричный коммутатор и видео-магнитофон. Внешнее хранилище на дисковых накопителях подключается к видеосерверу, обеспечивая размещение и долгосрочное хранение больших объемов оцифрованного видео. Спецпроекты У 2025 році в Україні створили AI-комітет. Які компанії стали учасниками та що у планах Не чекає, поки спрацює правило, а самостійно шукає відхилення. Як Elastic AI захищає від кіберзагроз Поток видео генерирует кодек видеосервера. В качестве примера можно привести запросы потокового кодека DvPack, применяемого в системе VideoNet — разработке российской компании "Росси СП", одного из лидеров в области цифровых систем наблюдения. Средний объем ч/б кадра при разрешении 768×576 и относительно небольшом движении составляет 7,75 KB (и это на 20—40% ниже, чем у аналогичных представленных на рынке систем). По оценкам Департамента систем безопасности донецкой компании "АМИ", для типового объекта корпоративной системы видеонаблюдения с 32 ч/б камерами, скоростью обработки 6 кадров/с по каждому каналу и разрешением 768×576, чтобы разместить собранные за сутки видеоданные, потребуется 120—150 GB дискового пространства. Разброс значений связан с прямой зависимостью объема видеоинформации от характера движения в кадре. Длительность хранения видеоархива может варьироваться от нескольких дней (казино, склады с периодом инвентаризации 7 дней и др.) до нескольких месяцев (заводы, супермаркеты, аэропорты, банки, вокзалы и другие общественные учреждения, посещаемые большим количеством людей). Для обеспечения месячного срока хранения нужен дисковый массив объемом 4,5 TB. Для обслуживания видеоархивов такого класса требуются хранилища с гарантированно высокой потоковой скоростью передачи данных от видеосервера. В системах безопасности крупных режимных объектов с распределенной структурой ввода изображений, хранения архивов и распределенным доступом к данным используют FC-сети SAN, однако из-за простоты подключения, реализации, а также относительно низкой стоимости наиболее популярным остается классическое DAS-подключение внешнего массива по интерфейсу SCSI. Учитывая, что более важным показателем для систем видеонаблюдения является запас объема хранимой информации, задействование дорогих SCSI-дисков для размещения видеоархивов нецелесообразно. Экономически оправданным становится применение дисковых массивов класса SCSI-to-SATA (SCSI-to-IDE), снабженных собственными средствами управления. Как правило, в системах видеонаблюдения используется два режима работы дисковых массивов: архивирование (переписывание данных с внутренней дисковой системы сервера на внешний дисковый массив); просмотр архивов (чтение данных в несколько потоков). Разумеется, массив должен допускать параллельную работу обоих режимов — т. е. одновременную запись и чтение. Как известно, современные хранилища поддерживают различные уровни RAID. Применение RAID 0 противоречит задаче, так как массив не будет отказоустойчивым (т. е. при выходе одного диска из строя происходит потеря всех данных). RAID уровня 10 экономически невыгоден из-за нерационального использования дискового пространства. RAID уровня 5 является наиболее оптимальным как по скорости функционирования, так и по надежности хранения данных. При работе с RAID 5 активно задействуется процессор контроллера дискового массива, что обеспечивает сохранение высоких скоростных показателей чтения/записи при физическом выходе из строя одного из дисков массива. Работа внешних управляемых дисковых массивов класса SCSI-to-SATA на реальных объектах "АМИ" показывает, что они полностью справляются с ролью центрального онлайн-видеоархива в системах видеонаблюдения. С учетом цен на SATA-накопители и стремительного роста их емкости (производителями заявлены устройства 400—500 GB) можно с уверенностью сказать, что рассмотренный вариант хранения информации обеспечивает необходимый оперативный доступ к ней с заданной производительностью при разумном уровне денежных затрат. Отдельно стоит остановиться на обеспечении сохранности данных. Если речь идет о безопасности, потеря даже отдельных фрагментов видеозаписи недопустима. Когда охраняемое на несколько порядков дороже охраны, поневоле задумаешься о том, что средства обработки и хранения информации должны быть прежде всего функциональными (производительность, отказоустойчивость, расширяемость), а уж потом экономичными.

Конфигурация тестовой системы

Исследование связки "станция NLE — внешний дисковый массив"
проводил AV-департамент компании Entry на задачах редактирования/записи многопоточного
видео. В качестве источника видеопотока была выбрана плата нелинейного монтажа
Pinnacle TARGA 3000. Через внешний разъем SCSI-контроллера станции подключался
массив Entry Store 414 — внешнее хранилище на 16 дисков SATA. Собственный 16-канальный
RAID-контроллер с двумя внешними каналами U320 SCSI позволяет обслужить впечатляющий
объем дискового пространства (4 TB на носителях емкостью 250 MB). Дисковый массив
является ОС-независимым, простым и удобным в администрировании — конфигурация
и сервисные операции осуществляются с помощью Web-интерфейса через Ethernet, порт
RS-232 или же непосредственно со встроенного LCD-экрана.

Спецификация NLE-станции:

• корпус Chenbro SR107 460W;
• материнская плата Tyan S2665ANF Thunder i7505;
• контроллер Adaptec 29160LP;
• процессор — 2xIntel Xeon 2,4 GHz (FSB 533 MHz);
• память — 2×512 MB DDR SDRAM PC2100;
• видеокарта Hercules 3D Prophet 9600 256 MB;
• плата нелинейного монтажа Pinnacle TARGA 3000;
• операционная система Windows XP Pro SP1.

Спецификация массива Entry Store 414:

• конструктив 4U с отказоустойчивым источником питания 460 Вт 2+1;
• 16-канальный SCSI-to-SATA RAID-контроллер, уровни RAID: 0, 1 (0+1), 3, 5, 6,
  JBOD;
• кэш-память 512 MB DDR ECC (поддерживается до 1024 MB);
• 16 дисков ST3160023AS Seagate Barracuda 7200.7 160 GB Serial ATA;
• два внешних разъема HDCI SCSI.

Использовались тесты:

• IOMeter 2003.02.15;
• HD_Speed v. 1.4.0.43;
• Canopus Raptor-RT Environment Checker v. 1.00;
• "живая" работа на станции нелинейного монтажа на базе Pinnacle TARGA
  3000.

Требования к объему и производительности дискового массива на примере плат NLE от Pinnacle Systems
Плата NLE компании Pinnacle Systems	Поток, MBps	Необходимый объем дискового пространства, GB/ч	Рекомендованный объем дискового пространства, GB/ч (50% запас для монтажа)
ReelTime NITRO	14,4	50,6	75,9
TARGA 2000/DTX/RTX/SDX	14,4	50,6	45,9
TARGA 3000 (MPEG)	6,25	21,9	32,9
TARGA 3000 (YUV)	21	73,8	110,7
TARGA 3000 (RGB)	42	147,6	221,4
CineWave HD	125	439,4	659,1

Содержание тестов

Тестирование проводилось при установленных
16 SATA-дисках Seagate Barracuda и 512 MB кэш-памяти. Создавался один раздел объемом
2044 GB, все тесты выполнялись при заполнении массива на 1/3. Такой подход уместен
— как показывает практика, скорость и отдельного накопителя, и любого дискового
массива снижается по мере заполнения. Для измерения скорости работы массива с
помощью теста IOMeter использовались модели Data Streaming. Тесты HD_Speed и Raptor-RT
Environment Checker проводились по пять раз, полученные данные усреднялись.

RAID 0

Различие в скорости массива в зависимости от количества дисков в RAID 0,
измеренные синтетическим тестом, незначительны. А вот работа с TARGA 3000 показала
немного другую картину. Массивы из 16, 11 и 6 дисков без проблем воспроизводят
4 потока некомпрессированного видео (YUV, 21 MBps) при длительном хронометраже
клипов (более 20 минут), а вот массив из менее чем пяти дисков хорошо справляется
лишь с двумя потоками.

RAID 6

Следует отметить, что поддержка уровня RAID 6 — достаточно редкая опция
(RAID 6 допускает двукратный отказ накопителей без потери данных). При организации
в виде RAID 6 массив из 16 дисков продемонстрировал в тестах HD_Speed и Raptor-RT
Environment Checker практически ту же производительность, что и в RAID 0: скорость
записи — 103 MBps, чтения — 97 MBps. Показатели согласуются с результатами теста
IOMeter: скорость запи—си — 103 MBps (1648 IOps), чтения — 85 MBps (1353 IOps).
Без проблем массив справился с записью одного и воспроизведением четырех потоков
некомпрессированного видео. При записи видео имитировался выход из строя одного
и двух дисков — при работе с TARGA 3000 это не вызвало проблем с записью одного
потока некомпрессированного видео (YUV, 21 MBps). В случае отказа одного из дисков
без проблем воспроизводились четыре таких потока, а при двукратном отказе на длительном
хронометраже без пропуска фреймов отрабатывалось только три потока. В режиме двукратного
отказа значения скорости, измеренные с помощью IOMeter, составили 85,9 MBps (1375
IОps) на чтение и 84,9 MBps (1359 IOps) на запись. Время воcстановления массива
(rebuild) при замене одного из вышедших из строя дисков оказалось равным 2 часа
32 минуты, при двукратном отказе — 3 часа 20 минут.

RAID 5

В RAID 5 массив сохранил показатели производительности — скорость, измеренная
HD_Speed и Raptor-RT Environment, составила 102 MBps на запись и 97 MBps на чтение.
Значения, полученные с помощью IOMeter при заполненном на треть массиве, очень
близки: 102 MBps (1632 IОps) и 94,2 MBps (1632 IОps) соответственно. Имитация
выхода одного диска из строя практически не изменила показателей. Работа с некомпрессированным
видео это подтвердила как при записи, так и при воспроизведении. Время восстановления
массива (rebuild) при замене одного из вышедших из строя дисков составило 2 часа
32 минуты, при двукратном отказе — 3 часа 20 минут. Контроллер массива позволяет
задавать приоритетность процесса rebuild, и при значениях порядка 20% не было
замечено каких-либо проблем с записью и воспроизведением трех потоков некомпрессированного
видео. С помощью паттерна для IOMeter моделировалась работа в режиме массива двухканального
вещательного сервера (один канал записи и один чтения). Скорости записи и воспроизведения
оказались равными 25 MBps.

RAID 3

От массива RAID 3 мы ожидали большей производительности по сравне-нию с
RAID 6 и RAID 5, и он оправдал наши надежды — 117 MBps на запись и 102 MBps на
чтение показали HD_Speed и Raptor-RT Environment Checker. Значения, полученные
с помощью IOMeter, — 101 MBps (1612 IОps) чтение и 91 MBps (1458 IOps) запись
— немного ниже аналогичных для RAID 5.

При работе с TARGA 3000 проблем не возникло ни в режиме записи, ни в режиме воспроизведения при выходе из строя одного из дисков. Время восстановления массива составило 1 час 50 минут. В режиме работы Entry Store 321 как внешнего массива двухканального вещательного сервера (один канал записи и один чтения) скорости записи и воспроизведения оказались также равными — 29 MBps.

Promise UltraTrak RM15000: массив SCSI-to-ATA на 15 дисков Еще до того как отечественные компании-производители серверов освоили выпуск внешних хранилищ данных, на наш рынок поставлялись так называемые дисковые стойки западных брендов. Promise Technology, начинавшая с выпуска чипов для контроллеров IDE RAID и самих контроллеров, освоила внешние хранилища сравнительно недавно, но сейчас в линейке продуктов имеются устройства, способные составить пару серьезному серверу. Одно из них — UltraTrak RM15000, использующее ставшую популярной идею сочетания интеллектуальной и быстрой шины SCSI и дешевизны IDE-винчестеров. Массив UltraTrak RM15000 выполнен в корпусе толщиной 3U и допускает одновременную инсталляцию до 15 IDE-дисков. Мак-симальный объем дискового пространства при этом будет зависеть от установленных моделей HDD — поставляется стойка без дисков, тем самым предоставляя свободу выбора винчестеров. Встроенный RAID-контроллер поддерживает уровни RAID 0, 1, 10, 3, 30, 5, 50 и JBOD. В качестве внешнего интерфейса используется Ultra160 SCSI, для наращивания суммарной емкости возможно последовательное объединение таких устройств в цепочку. Как принято для подобных устройств, особое внимание уделено отказоустойчивости: реализованы функции "горячей замены" (hot-swap, который изначально не поддерживается на IDE) и резервирования дисков (hot-spare), а основные компоненты, критичные для работы, продублированы. Мо-дульная конструкция обеспечивает доступ ко всем элементам системы через фронтальную или тыловую стенки корпуса. Служба мониторинга отслеживает состояние не только дисков, но и всех вентиляторов и блоков питания. Передняя панель выполнена в виде откидной крышки, закрывающей отсеки с установленными дисками и содержащей встроенный двухстрочный ЖК-индикатор, который может отображать состояние всего массива или каждого из установленных дисков. Управление UltraTrak RM15000 может осуществляться как с консоли по интерфейсу RS-232, так и по сети с помощью встроенного Web-сервера и ПО Promise Array Management. Стандартно поддерживаются гибкое переконфигурирование массивов без прекращения работы, мониторинг текущего состояния и механизм оповещения о сбоях (как локально, так и удаленно — вывод диалогового окна, отправка сообщения по e-mail и т. д.). Promise UltraTrak RM15000 предоставлен фирмой "ОКТА": тел. (044) 517-3256

Выводы

До недавних пор единственным возможным решением для создания массива в
системе на базе плат NLE класса Pinnacle TARGA 3000 и dpsVelocityQ оставались
дисковые массивы SCSI во внутреннем или внешнем исполнении. При этом необходимость
достижения сколь-нибудь серьезных объемов дискового пространства означала резкое
удорожание оборудования. Проведенное тестирование показало, что внешние хранилища
класса SCSI-to-SATA, снабженные собственным RAID-контроллером, решают и проблему
производительной работы с видеоданными, и обеспечения большого объема. Разница
в цене накопителей SCSI и SATA из расчета на 1 GB полезной емкости (для Entry
Store 414 она находится в пределах $2) определяет величину выигрыша.

Массивы такого класса подойдут как крупным студиям (которым уже сейчас нужны для
работы терабайты места на дисках), так и средним, планирующим постепенное наращивание
объемов выпускаемой продукции и соответственно необходимого дискового пространства.
Возможности выбора уровня RAID позволяют определить оптимальное соотношение
между производительностью и устойчивостью к отказам накопителей. Более того, можно
создавать одновременно несколько массивов с различными уровнями RAID, а также
производить наращивание объема и перестройку уровня RAID (RAID level migration)
одновременно, без остановки работы массива и с сохранением данных. Высокие скоростные
показатели в режиме "двухканального сервера" дают возможность применять
данный массив и для построения вещательных серверов, работающих как в формате
MPEG-2, так и с материалом в MJPEG, например на платах Matrox серии DigiServer.