Обзоры
О дисковых массивах для видео с небольшим историческим экскурсом
3

О дисковых массивах для видео с небольшим историческим экскурсом

Все начиналось в самом конце 70-х. Именно тогда компанией AMPEX был создан первый
промышленный образец некой системы для записи видео на жесткий диск. Устройство
HS100С имело внушительных размеров диск из алюминия с двухсторонним магнитным
напылением и четырьмя головками записи/чтения. Диск вращался с частотой 3000 об/мин,
его объем позволял записать 36 с некомпрессированного видео, причем воспроизводить
его можно было со скоростью от –1 до +3. Точно неизвестно, сколько стоило творение
канувшей в Лету AMPEX, но, думается, не одну сотню тысяч.


Medea VideoRaid RTR — пример
дискового массива для хранения и редактирования видеоданных

Поскольку поток активной части цифрового видеосигнала по стандарту CCIR-601 (4:2:2)
при уровневом кодировании 8 бит составляет более 20 MBps, становится понятно,
с какими трудностями пришлось столкнуться производителям первых устройств записи
на жесткий диск.

Вслед за AMPEX в начале 80-х на рынок вышли новые игроки, такие, как Accom, Abekas и Quantel. В то время не существовало эффективных алгоритмов компрессии видео, а главное, их было очень тяжело реализовать в виде системной логики. Уровень развития систем магнитной записи с произвольным доступом также не позволял обеспечить возможность записи видео с громадными на то время показателями потока. Каждый из пионеров создания DDR (Digital Disk Recorder) изобретал свой "велосипед" в виде монстровидных устройств с жесткими дисками собственного производства.

К концу 80-х профессионалам уже были доступны первые станции для работы с видео таких компаний, как Silicon Graphics, Avid и Quantel. В начале 90-х их счастливые обладатели гордо взирали на жалкие попытки коллег редактировать видео на РС. Но дуэт Wintel не сидел сложа руки и не собирался отказываться от борьбы за место на рынке.

Впервые видео попало на РС благодаря устройствам покадрового ввода/вывода. Поскольку пропускной способности ISA-шины, доминирующей на РС в то время, было явно недостаточно для работы с видео, производители изобрели "новый велосипед" — фрейм-буфер. Фрейм-буферы — это устройства, которые, будучи оснащенными большими или меньшими объемами памяти (самые "крутые" — 2 MB), могли вводить и выводить каждый кадр отдельно с разрешением вплоть до 768 576 и палитрой до 16 млн. цветов. Ну а существующие жесткие диски в режиме offline способны справиться с записью/считыванием за время "отката" магнитофона на следующий кадр. Лучшие из фрейм-буферов того времени обеспечивали качество, до сих пор считающееся эталоном.

Появление элементной базы, обеспечивающей аппаратную компрессию видеосигнала, обусловило бурное развитие систем захвата и монтажа видео на РС. Как только удалось реализовать в "железе" компрессию M-JPEG и добиться приемлемого качества видео при степени компрессии 6:1, подоспевшие к тому времени SCSI-диски и шина EISA позволили работать с видео на РС в реальном времени. Одним из наиболее популярных продуктов для редактирования видео в реальном времени стала плата TARGA2000 компании Truevision. От конкурирующих разработок она выгодно отличалась наличием аппаратного ускорителя просчета монтажных видеоэффектов.

Созданная в 1988 г. канадская компания Digital Processing Systems (DPS), не решаясь ставить процесс видеозахвата и сброса в зависимость от работы шины РС, выпустила плату Personal Animation Recorder (PAR) со встроенным IDE-контроллером. Плата производилась как для РС в ISA-исполнении, так и для очень популярной в то время платформы Amiga в виде полноразмерной карты ZorroII. На доступные в то время 500 мегабайт IDE-винчестера можно было записывать 3–5 мин видео. PAR стала первым продуктом DPS, с которым отечественные пользователи познакомились в начале 90-х.

А уже в ноябре 1994 г. по отечественному телевидению была показана первая программа, полностью смонтированная на жестком диске компьютера и выпущенная в эфир не с видеоленты, а непосредственно с этого же диска.

Что считать хорошей производительностью
дисковых массивов?

Производительность дисковых массивов часто выражается числом операций
ввода/вывода за секунду (IOps) и/или количеством переданных мегабайтов в
секунду (MBps).

Как MBps, так и IOps являются показателями быстродействия, но не его синонимами,
кроме того, они имеют обратную зависимость — большее значение IOps означает
низкое MBps (см. диаграмму).

Например, приложение требует 1000 IOps при размере блока 8 КB, что равнозначно
пропускной способности в 8 MBps (1000 IOps x 8 КB = 8 MBps). При использовании
канала Fibre Channel с 200 MBps значение 8 MBps уже не является хорошей
производительностью (8 MBps означает использование лишь 4% пропускной способности
FC), если говорить о ней в показателях MBps.

С другой стороны, если приложение видеомонтажа последовательно читает данные
при размере блока 64 MB в три параллельных потока, это означает, что хотя
и используется 96% пропускной способности FC (64 MB x 3 потока = 192 MBps),
показатель IOps в данном приложении равняется всего трем.

С конца 90-х началась "золотая эра" техники для работы с видео на РС
в реальном времени. Так, только в 1998 г. появилось сразу четыре профессиональные
системы нелинейного видеомонтажа с эффектами в реальном времени: TARGA2000 RTX/SDX
от Truevision, DigiSuite от Matrox, Perception RT от DPS и 601 от FAST.

Столь бурное развитие систем обработки видео на РС, где приходится оперировать огромными массивами и потоками, подхлестнуло IT-индустрию к созданию и внедрению новых устройств и технологий хранения видеоданных.

Практически одинаковые исходный некомпрессированный и записанный видеосигналы удается получить лишь при уровне компрессии менее 1,6:1. До настоящего времени не существует "стандартного" жесткого диска, который смог бы записывать видеопоток со сжатием, обеспечивающим математически одинаковое качество исходного некомпрессированного и записанного сигналов. Для записи видео с такой степенью сжатия или без него применяют распределенную запись данных одновременно на несколько жестких дисков или на нестандартные дисковые носители.

Форматы и степени сжатия
видео

Требования к пропускной способности дисковой подсистемы определяются
форматом (типом компрессии), с которым работает то или иное устройство ввода/вывода
видео.

Одним из наиболее старых форматов сжатия является M-JPEG с внутрикадровой
компрессией. Степень компрессии способна варьироваться в широких пределах,
но, как показывает практика, добиться качества, обеспечиваемого магнитофонами
Betacam SP, можно при степени компрессии 4:1–3:1. При этом поток видеоданных
составляет порядка 5–6 MBps. Минимальная степень сжатия, практически применяемого
в технике с форматом компрессии M-JPEG, составляет 1,6:1.

Сегодня существует достаточно много систем для работы и с некомпрессированным
видео. Формат D1 (YUV(4:2:2)) имеет поток порядка 20 MBps, и для хранения
1 часа видео требуется 72 GB дискового пространства. У того же формата D1,
но в виде RGB c альфа-каналом (RGBA (4:4:4:4)), поток составляет уже порядка
40 MBps, и один час видео "съест" 144 GB на диске.

В новых системах обработки видео все чаще применяется и MPEG-2, большей
частью I-frame, поскольку он позволяет производить монтаж с точностью до
кадра, в отличие от MPEG-2 с IBP-структурой. Максимальный поток равен 6,25
MBps.

Ну а DV25 (4:1:1/4:2:0), ставший на сегодняшний день "индустриальным"
стандартом, имеет поток 3,6 MBps, и один час DV-видео займет на диске "всего"
12 GB.

В то время как Ampex и Abecas самостоятельно разрабатывали специализированные
жесткие диски, компания Accom избрала другой путь (как показало время, более правильный):
использование множества стандартных жестких дисков, работающих параллельно. Тогда
еще не существовало самого понятия RAID, но идея распараллеливания, воплощенная
Accom, является по своей сути первым RAID-массивом нулевого уровня.

Со времен первого "рейда" прошло достаточно много времени, возникло само понятие RAID, появились и аппаратные реализации различных его уровней. На сегодняшний день практически любая компьютерная система для работы с цифровым видео, будь то диск-рекордер, вещательный видеосервер, станция нелинейного монтажа или постпродакшн-сервер, не обходится без RAID-массива.

RAID нулевого уровня нашел широкое применение в системах нелинейного видеомонтажа. Отличные скоростные характеристики, относительная дешевизна аппаратных средств и возможность "бесплатной" программной реализации — вот его отличительные особенности. И хотя уровень 0 не предусматривает какой-либо избыточности информации (при организации RAID 0 выход из строя любого диска приводит к полной потере всей информации), на станциях нелинейного монтажа она зачастую и не нужна — обычно все исходные материалы остаются доступными до конца работы. По крайней мере в Украине в 90% таких станций используется аппаратный либо программный RAID уровня 0. Сейчас существует достаточно много аппаратных средств, реализующих RAID 0, которые нашли свое применение в нелинейном видеомонтаже, — от дешевых интегрированных RAID-контроллеров типа HighPoint до серьезных решений от компании 3ware, позволяющих объединять в RAID 0 и более высокие уровни до 12 IDE- или SATA-дисков, что дает возможность работать даже с некомпрессированным видео.

Более серьезные требования в отношении сохранности информации предъявляются к видеосерверам (для примера: срыв выдачи в эфир рекламного блока из-за сбоя дисковой подсистемы грозит серьезными финансовыми потерями для телекомпании). В связи с бурным развитием в последнее время сетей местного кабельного телевидения и Internet/intranet видеосерверы приобрели особое значение. Над их созданием и построением в настоящий момент активно работают не только фирмы, известные в мире видео, но и "полностью компьютерные компании" и разработчики программного обеспечения. Дело в том, что с точки зрения программирования видеосервер представляет собой почти обычный файл-сервер, обеспечивающий доступ к общим файлам и БД. Принципиальное отличие заключается в необходимости обеспечения непрерывного потока видеоданных, причем зачастую одновременно по нескольким каналам. Для доступа к обычным данным время отклика системы может достигать нескольких секунд, а процесс передачи — прерываться для обслуживания более приоритетных транзакций. Время реакции для систем, работающих с видеоданными, не должно превышать сотых долей секунды, поскольку задержка в передаче данных даже в 1/25 с приведет к пропуску кадра — а это уже брак. За редким исключением все видеосерверы построены по одной схеме: устройство ввода/вывода видео, компьютер с системой управления видеоданными и RAID-массив.

RAID является одной из неотъемлемых частей видеосервера, и от его производительности и надежности зависят аналогичные параметры всего устройства. На сегодняшний день в видеосерверах наиболее часто применяются RAID уровней 3 и 5.

Следует понимать, что RAID 3 и 5 имеют несколько разную производительность, особенно при выходе какого-либо диска из строя. При одинаковом количестве дисков быстродействие RAID 5 оказывается несколько выше, чем у RAID 3, поскольку при организации уровня 5 данные и избыточная информация одновременно записываются на все диски, в то время как при RAID 3 один диск резервируется для избыточной информации. Совсем другая ситуация наблюдается при выходе из строя одного из дисков. Производительность RAID 3 практически не уменьшается в случае отказа одного из винчестеров, поскольку избыточная информация, необходимая для восстановления потерянных данных, обрабатывается системной логикой контроллера в реальном времени. При выходе из строя диска в RAID 5 для восстановления данных необходимо производить определенное количество обращений к оставшимся дискам, поскольку на них как раз и распределена избыточная информация. Понятно, что на это требуется такое же время, как и для основного цикла, и "полезная" производительность системы падает.

Исходя из жесткой необходимости страховки при хранении данных множество светлых голов в различных компаниях взялись за разработку аппаратного обеспечения, позволяющего не допустить потери или восстановить всю информацию после наступившего "локального катаклизма".

На сегодняшний день существует достаточно много производителей дисковых массивов для работы с видео- и аудиоданными — такие, например, как ADTX, Medea, Rorke Data и ряд других. Сейчас наметилась определенная тенденция более широкого применения IDE- и SATA-дисков для задач обработки видео. Так, компания Medea, выпускающая дисковые массивы исключительно для задач видеопроизводства, во всех своих моделях использует IDE-диски. Массивы Medea имеют внешний интерфейс SCSI и работают как со стандартными контроллерами SCSI (Adaptec, LSI и пр.), так и с интегрированными контроллерами, установленными на платах нелинейного монтажа (например, dpsReality). При использовании двухканальных SCSI-контроллеров системы Medea могут работать с приложениями, предназначенными для обработки и монтажа многопотокового некомпрессированного видео формата SD и HD, обеспечивая при этом эффективный поток 200 MBps. Каждый массив Medea воспринимается операционной системой как один большой SCSI-диск с единственным SCSI-идентификатором, что значительно повышает надежность хранения данных. Возможно объединение дисковых массивов Medea в цепочку, что позволяет увеличить общую емкость хранения до нескольких десятков терабайт. Аналогичную идеологию использует и ряд других производителей, в том числе ADTX.

При построении систем хранения медиаданных в вещательных и новостных комплексах широкое применение нашла технология SAN. Такие системы обычно состоят из объединенных в оптоволоконную сеть станций ввода, редактирования и подготовки видео, создания графики и оформления эфира, управления и вещания, а также серверов, используемых в качестве общего массива накопления данных. Применение SAN-технологии в таких задачах обеспечивает доступ в реальном времени всех пользователей к имеющимся аудиовидеоданным. Так, оцифрованный на одной рабочей станции материал можно редактировать на других, причем на разных станциях возможна одновременная работа с одним "исходным" видео. Это значительно повышает эффективность и оперативность всего вещательного комплекса в целом.

В Украине тоже достаточно светлых голов, которые занимаются разработкой и построением собственных решений для хранения медиаданных. Понятное дело, речь не идет о SAN, но определенные успехи в создании по крайней мере DAS-массивов (Directly Attached Storage) у ряда компаний есть. Все больше отечественных заказчиков понимают, что нужно платить не за "широкие возможности", а за "пользу", которая позволит решить их проблемы или сделать то, о чем они никогда не задумывались. А поскольку никто лучше нашего производителя не понимает задачи отечественного же потребителя — системы хранения и управления медиаданными следует искать прежде всего в Украине.


Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: