Обзоры Обзоры 22.09.2003 в 21:00 comment

О дисковых массивах для видео с небольшим историческим экскурсом

author avatar
https://secure.gravatar.com/avatar/2f8d57cddfeb455ba418faa11ee01bb0?s=96&r=g&d=https://itc.ua/wp-content/uploads/2023/06/no-avatar.png *** https://secure.gravatar.com/avatar/2f8d57cddfeb455ba418faa11ee01bb0?s=96&r=g&d=https://itc.ua/wp-content/uploads/2023/06/no-avatar.png *** https://itc.ua/wp-content/themes/ITC_6.0/images/no-avatar.svg

ITC.UA

автор

Все начиналось в самом конце 70-х. Именно тогда компанией AMPEX был создан первый
промышленный образец некой системы для записи видео на жесткий диск. Устройство
HS100С имело внушительных размеров диск из алюминия с двухсторонним магнитным
напылением и четырьмя головками записи/чтения. Диск вращался с частотой 3000 об/мин,
его объем позволял записать 36 с некомпрессированного видео, причем воспроизводить
его можно было со скоростью от —1 до +3. Точно неизвестно, сколько стоило творение
канувшей в Лету AMPEX, но, думается, не одну сотню тысяч.

О дисковых массивах для видео с небольшим историческим экскурсом
Medea VideoRaid RTR — пример
дискового массива для хранения и редактирования видеоданных
О дисковых массивах для видео с небольшим историческим экскурсом

Поскольку поток активной части цифрового видеосигнала по стандарту CCIR-601 (4:2:2)
при уровневом кодировании 8 бит составляет более 20 MBps, становится понятно,
с какими трудностями пришлось столкнуться производителям первых устройств записи
на жесткий диск.

Вслед за AMPEX в начале 80-х на рынок вышли новые игроки, такие, как Accom, Abekas и Quantel. В то время не существовало эффективных алгоритмов компрессии видео, а главное, их было очень тяжело реализовать в виде системной логики. Уровень развития систем магнитной записи с произвольным доступом также не позволял обеспечить возможность записи видео с громадными на то время показателями потока. Каждый из пионеров создания DDR (Digital Disk Recorder) изобретал свой "велосипед" в виде монстровидных устройств с жесткими дисками собственного производства.

К концу 80-х профессионалам уже были доступны первые станции для работы с видео таких компаний, как Silicon Graphics, Avid и Quantel. В начале 90-х их счастливые обладатели гордо взирали на жалкие попытки коллег редактировать видео на РС. Но дуэт Wintel не сидел сложа руки и не собирался отказываться от борьбы за место на рынке.

Впервые видео попало на РС благодаря устройствам покадрового ввода/вывода. Поскольку пропускной способности ISA-шины, доминирующей на РС в то время, было явно недостаточно для работы с видео, производители изобрели "новый велосипед" — фрейм-буфер. Фрейм-буферы — это устройства, которые, будучи оснащенными большими или меньшими объемами памяти (самые "крутые" — 2 MB), могли вводить и выводить каждый кадр отдельно с разрешением вплоть до 768 576 и палитрой до 16 млн. цветов. Ну а существующие жесткие диски в режиме offline способны справиться с записью/считыванием за время "отката" магнитофона на следующий кадр. Лучшие из фрейм-буферов того времени обеспечивали качество, до сих пор считающееся эталоном.

Появление элементной базы, обеспечивающей аппаратную компрессию видеосигнала, обусловило бурное развитие систем захвата и монтажа видео на РС. Как только удалось реализовать в "железе" компрессию M-JPEG и добиться приемлемого качества видео при степени компрессии 6:1, подоспевшие к тому времени SCSI-диски и шина EISA позволили работать с видео на РС в реальном времени. Одним из наиболее популярных продуктов для редактирования видео в реальном времени стала плата TARGA2000 компании Truevision. От конкурирующих разработок она выгодно отличалась наличием аппаратного ускорителя просчета монтажных видеоэффектов.

Курс QA.
Найпростіший шлях розпочати кар'єру в ІТ та ще й з гарантованим працевлаштуванням.
Інформація про курс

Созданная в 1988 г. канадская компания Digital Processing Systems (DPS), не решаясь ставить процесс видеозахвата и сброса в зависимость от работы шины РС, выпустила плату Personal Animation Recorder (PAR) со встроенным IDE-контроллером. Плата производилась как для РС в ISA-исполнении, так и для очень популярной в то время платформы Amiga в виде полноразмерной карты ZorroII. На доступные в то время 500 мегабайт IDE-винчестера можно было записывать 3—5 мин видео. PAR стала первым продуктом DPS, с которым отечественные пользователи познакомились в начале 90-х.

А уже в ноябре 1994 г. по отечественному телевидению была показана первая программа, полностью смонтированная на жестком диске компьютера и выпущенная в эфир не с видеоленты, а непосредственно с этого же диска.

Что считать хорошей производительностью
дисковых массивов?

Производительность дисковых массивов часто выражается числом операций
ввода/вывода за секунду (IOps) и/или количеством переданных мегабайтов в
секунду (MBps).

Как MBps, так и IOps являются показателями быстродействия, но не его синонимами,
кроме того, они имеют обратную зависимость — большее значение IOps означает
низкое MBps (см. диаграмму).

Например, приложение требует 1000 IOps при размере блока 8 КB, что равнозначно
пропускной способности в 8 MBps (1000 IOps x 8 КB = 8 MBps). При использовании
канала Fibre Channel с 200 MBps значение 8 MBps уже не является хорошей
производительностью (8 MBps означает использование лишь 4% пропускной способности
FC), если говорить о ней в показателях MBps.

С другой стороны, если приложение видеомонтажа последовательно читает данные
при размере блока 64 MB в три параллельных потока, это означает, что хотя
и используется 96% пропускной способности FC (64 MB x 3 потока = 192 MBps),
показатель IOps в данном приложении равняется всего трем.

О дисковых массивах для видео с небольшим историческим экскурсом

С конца 90-х началась "золотая эра" техники для работы с видео на РС
в реальном времени. Так, только в 1998 г. появилось сразу четыре профессиональные
системы нелинейного видеомонтажа с эффектами в реальном времени: TARGA2000 RTX/SDX
от Truevision, DigiSuite от Matrox, Perception RT от DPS и 601 от FAST.

Столь бурное развитие систем обработки видео на РС, где приходится оперировать огромными массивами и потоками, подхлестнуло IT-индустрию к созданию и внедрению новых устройств и технологий хранения видеоданных.

Практически одинаковые исходный некомпрессированный и записанный видеосигналы удается получить лишь при уровне компрессии менее 1,6:1. До настоящего времени не существует "стандартного" жесткого диска, который смог бы записывать видеопоток со сжатием, обеспечивающим математически одинаковое качество исходного некомпрессированного и записанного сигналов. Для записи видео с такой степенью сжатия или без него применяют распределенную запись данных одновременно на несколько жестких дисков или на нестандартные дисковые носители.

Курс QA.
Найпростіший шлях розпочати кар'єру в ІТ та ще й з гарантованим працевлаштуванням.
Інформація про курс
Форматы и степени сжатия
видео

Требования к пропускной способности дисковой подсистемы определяются
форматом (типом компрессии), с которым работает то или иное устройство ввода/вывода
видео.

Одним из наиболее старых форматов сжатия является M-JPEG с внутрикадровой
компрессией. Степень компрессии способна варьироваться в широких пределах,
но, как показывает практика, добиться качества, обеспечиваемого магнитофонами
Betacam SP, можно при степени компрессии 4:1—3:1. При этом поток видеоданных
составляет порядка 5—6 MBps. Минимальная степень сжатия, практически применяемого
в технике с форматом компрессии M-JPEG, составляет 1,6:1.

Сегодня существует достаточно много систем для работы и с некомпрессированным
видео. Формат D1 (YUV(4:2:2)) имеет поток порядка 20 MBps, и для хранения
1 часа видео требуется 72 GB дискового пространства. У того же формата D1,
но в виде RGB c альфа-каналом (RGBA (4:4:4:4)), поток составляет уже порядка
40 MBps, и один час видео "съест" 144 GB на диске.

В новых системах обработки видео все чаще применяется и MPEG-2, большей
частью I-frame, поскольку он позволяет производить монтаж с точностью до
кадра, в отличие от MPEG-2 с IBP-структурой. Максимальный поток равен 6,25
MBps.

Ну а DV25 (4:1:1/4:2:0), ставший на сегодняшний день "индустриальным"
стандартом, имеет поток 3,6 MBps, и один час DV-видео займет на диске "всего"
12 GB.

В то время как Ampex и Abecas самостоятельно разрабатывали специализированные
жесткие диски, компания Accom избрала другой путь (как показало время, более правильный):
использование множества стандартных жестких дисков, работающих параллельно. Тогда
еще не существовало самого понятия RAID, но идея распараллеливания, воплощенная
Accom, является по своей сути первым RAID-массивом нулевого уровня.

Со времен первого "рейда" прошло достаточно много времени, возникло само понятие RAID, появились и аппаратные реализации различных его уровней. На сегодняшний день практически любая компьютерная система для работы с цифровым видео, будь то диск-рекордер, вещательный видеосервер, станция нелинейного монтажа или постпродакшн-сервер, не обходится без RAID-массива.

RAID нулевого уровня нашел широкое применение в системах нелинейного видеомонтажа. Отличные скоростные характеристики, относительная дешевизна аппаратных средств и возможность "бесплатной" программной реализации — вот его отличительные особенности. И хотя уровень 0 не предусматривает какой-либо избыточности информации (при организации RAID 0 выход из строя любого диска приводит к полной потере всей информации), на станциях нелинейного монтажа она зачастую и не нужна — обычно все исходные материалы остаются доступными до конца работы. По крайней мере в Украине в 90% таких станций используется аппаратный либо программный RAID уровня 0. Сейчас существует достаточно много аппаратных средств, реализующих RAID 0, которые нашли свое применение в нелинейном видеомонтаже, — от дешевых интегрированных RAID-контроллеров типа HighPoint до серьезных решений от компании 3ware, позволяющих объединять в RAID 0 и более высокие уровни до 12 IDE- или SATA-дисков, что дает возможность работать даже с некомпрессированным видео.

Более серьезные требования в отношении сохранности информации предъявляются к видеосерверам (для примера: срыв выдачи в эфир рекламного блока из-за сбоя дисковой подсистемы грозит серьезными финансовыми потерями для телекомпании). В связи с бурным развитием в последнее время сетей местного кабельного телевидения и Internet/intranet видеосерверы приобрели особое значение. Над их созданием и построением в настоящий момент активно работают не только фирмы, известные в мире видео, но и "полностью компьютерные компании" и разработчики программного обеспечения. Дело в том, что с точки зрения программирования видеосервер представляет собой почти обычный файл-сервер, обеспечивающий доступ к общим файлам и БД. Принципиальное отличие заключается в необходимости обеспечения непрерывного потока видеоданных, причем зачастую одновременно по нескольким каналам. Для доступа к обычным данным время отклика системы может достигать нескольких секунд, а процесс передачи — прерываться для обслуживания более приоритетных транзакций. Время реакции для систем, работающих с видеоданными, не должно превышать сотых долей секунды, поскольку задержка в передаче данных даже в 1/25 с приведет к пропуску кадра — а это уже брак. За редким исключением все видеосерверы построены по одной схеме: устройство ввода/вывода видео, компьютер с системой управления видеоданными и RAID-массив.

RAID является одной из неотъемлемых частей видеосервера, и от его производительности и надежности зависят аналогичные параметры всего устройства. На сегодняшний день в видеосерверах наиболее часто применяются RAID уровней 3 и 5.

Следует понимать, что RAID 3 и 5 имеют несколько разную производительность, особенно при выходе какого-либо диска из строя. При одинаковом количестве дисков быстродействие RAID 5 оказывается несколько выше, чем у RAID 3, поскольку при организации уровня 5 данные и избыточная информация одновременно записываются на все диски, в то время как при RAID 3 один диск резервируется для избыточной информации. Совсем другая ситуация наблюдается при выходе из строя одного из дисков. Производительность RAID 3 практически не уменьшается в случае отказа одного из винчестеров, поскольку избыточная информация, необходимая для восстановления потерянных данных, обрабатывается системной логикой контроллера в реальном времени. При выходе из строя диска в RAID 5 для восстановления данных необходимо производить определенное количество обращений к оставшимся дискам, поскольку на них как раз и распределена избыточная информация. Понятно, что на это требуется такое же время, как и для основного цикла, и "полезная" производительность системы падает.

Исходя из жесткой необходимости страховки при хранении данных множество светлых голов в различных компаниях взялись за разработку аппаратного обеспечения, позволяющего не допустить потери или восстановить всю информацию после наступившего "локального катаклизма".

На сегодняшний день существует достаточно много производителей дисковых массивов для работы с видео- и аудиоданными — такие, например, как ADTX, Medea, Rorke Data и ряд других. Сейчас наметилась определенная тенденция более широкого применения IDE- и SATA-дисков для задач обработки видео. Так, компания Medea, выпускающая дисковые массивы исключительно для задач видеопроизводства, во всех своих моделях использует IDE-диски. Массивы Medea имеют внешний интерфейс SCSI и работают как со стандартными контроллерами SCSI (Adaptec, LSI и пр.), так и с интегрированными контроллерами, установленными на платах нелинейного монтажа (например, dpsReality). При использовании двухканальных SCSI-контроллеров системы Medea могут работать с приложениями, предназначенными для обработки и монтажа многопотокового некомпрессированного видео формата SD и HD, обеспечивая при этом эффективный поток 200 MBps. Каждый массив Medea воспринимается операционной системой как один большой SCSI-диск с единственным SCSI-идентификатором, что значительно повышает надежность хранения данных. Возможно объединение дисковых массивов Medea в цепочку, что позволяет увеличить общую емкость хранения до нескольких десятков терабайт. Аналогичную идеологию использует и ряд других производителей, в том числе ADTX.

При построении систем хранения медиаданных в вещательных и новостных комплексах широкое применение нашла технология SAN. Такие системы обычно состоят из объединенных в оптоволоконную сеть станций ввода, редактирования и подготовки видео, создания графики и оформления эфира, управления и вещания, а также серверов, используемых в качестве общего массива накопления данных. Применение SAN-технологии в таких задачах обеспечивает доступ в реальном времени всех пользователей к имеющимся аудиовидеоданным. Так, оцифрованный на одной рабочей станции материал можно редактировать на других, причем на разных станциях возможна одновременная работа с одним "исходным" видео. Это значительно повышает эффективность и оперативность всего вещательного комплекса в целом.

В Украине тоже достаточно светлых голов, которые занимаются разработкой и построением собственных решений для хранения медиаданных. Понятное дело, речь не идет о SAN, но определенные успехи в создании по крайней мере DAS-массивов (Directly Attached Storage) у ряда компаний есть. Все больше отечественных заказчиков понимают, что нужно платить не за "широкие возможности", а за "пользу", которая позволит решить их проблемы или сделать то, о чем они никогда не задумывались. А поскольку никто лучше нашего производителя не понимает задачи отечественного же потребителя — системы хранения и управления медиаданными следует искать прежде всего в Украине.

Продолжается конкурс авторов ИТС. Напиши статью о развитии игр, гейминг и игровые девайсы и выигрывай профессиональный игровой руль Logitech G923 Racing Wheel, или одну из низкопрофильных игровых клавиатур Logitech G815 LIGHTSYNC RGB Mechanical Gaming Keyboard!


Loading comments...

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: