Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
В этом году случится знаменательное событие: где-то в мире будет установлена миллиардная (!) камера видеонаблюдения. Это значит, что за каждыми семью жителями планеты уже следит одна камера. А в некоторых городах уже используются более миллиона камер, и там соотношение получается ещё более внушительным.
Это много. Но камеры используют не только для того, чтобы обеспечивать безопасность. Они также помогают бизнесу обеспечивать контроль качества процессов, улучшать логистику, лучше размещать товары, узнавать привилегированных клиентов в тот момент, когда они зашли в торговый зал и так далее.
Нам нравится применение средств видеоаналитики для бизнес-задач и мы разработали линейку решений, в основе которой лежат:
масштабируемый видеоархив, который имеет архитектуру без единой точки отказа и самый надёжный RAID в индустрии;
высокопроизводительная СХД, которая позволит значительно увеличить скорость обучения моделей;
высокопроизводительные решения для граничных инфраструктур;
мини-гиперконвергентное решение.
«Рэйдикс» предлагает три типа решений, которые можно использовать в высокопроизводительных инфраструктурах:
централизованное решение на основе высокопроизводительного движка RAIDIX ERA, NVMe-накопителей и высокопроизводительной сети от NVIDIA:
централизованное решение для создания архивов видеоданных, обеспечивающих высочайшую скорость доступа и доступность больших объёмов данных:
решение на основе RAIDIX ERA для граничных инфраструктур:
мини-гиперконвергентная платформа для небольших проектов:
Ниже мы подробнее разберём особенности создания видеоархива в современных инсталляциях.
Вызовы индустрии и требования к СХД
Как известно, проекты видеонаблюдения сталкиваются с новыми вызовами на уровне хранения данных. Это не только большие потребности в пропускной способности и ёмкости хранилища, но и изменившиеся по типу нагрузки на СХД.
Сейчас большая часть нагрузок приходится на следующее:
непрерывная случайная запись с множества камер и видеосерверов;
непредсказуемое случайное чтение видеоархива по запросу;
высокая транзакционная нагрузка к базам данных по активности;
высокоскоростная работа с памятью для аналитики.
Помимо управления разнообразием и интенсивностью этих рабочих нагрузок на СХД, решающее значение для размещения новых камер и постоянного повышения разрешения имеет возможность масштабирования ёмкости. Также для удовлетворения растущих потребностей видеонаблюдения компаниям требуются высокопроизводительные, надёжные и эффективные системы хранения данных.
Решение: кто, кроме NAS?
Крупные проекты видеонаблюдения выходят за рамки сетевых видеорегистраторов (NVR) и хранения на серверах видеонаблюдения.
Современное видеонаблюдение требует инфраструктуры корпоративного уровня с разделением серверов и хранилищ. Этот многоуровневый подход позволяет увеличить вычислительную мощность, ускорить обработку запросов ввода-вывода, увеличить пропускную способность и ёмкость.
С учётом этих требований в корпоративных системах хранения доминируют две архитектуры:
NAS — хранит данные в виде файлов и представляет эти файлы приложению в виде сетевой папки;
SAN — выглядит как локальное хранилище, предоставляя возможность операционной системе управлять диском.
Эти два подхода противопоставляются в контексте приложений видеонаблюдения.
Среди вариантов организации корпоративных хранилищ предпочтительным вариантом для видеонаблюдения стал SAN. Конечно, технология NAS хорошо подходит для многих областей, но рабочие нагрузки записи множества камер, БД и аналитики требуют производительности, которая требует прямого подключения или подхода SAN. Прогнозы IHS показывают, что рынок SAN вырастет более чем на 15% с 2020 по 2022 год, в то время как сегмент NAS снизится с 5% до примерно 2% годового роста.
По этой причине поставщики программного обеспечения для видеонаблюдения рекомендуют локальное хранилище или хранилище, подключенное по SAN.
Также сегодня многие проекты видеонаблюдения работают в виртуальных средах. В этих случаях каждому виртуальному серверу видеонаблюдения требуется высокопроизводительное хранилище не только для видеоматериалов, но и для работы операционной системы, приложений и баз данных.
Простота спасёт мир — или, по крайней мере, VSS
Ясно, что и SAN, и NAS просты в использовании. К ним применяются практически одни и те же шаги для развёртывания, поскольку обе архитектуры могут требовать подключения на основе Ethernet (хотя SAN может использовать и другие среды, такие как FC).
Решения NAS предоставляют общую файловую систему, так что к файлам и каталогам можно получить доступ из нескольких систем. Эти решения должны использовать блокировку файлов, чтобы предотвратить одновременное изменение файлов несколькими системами.
Поскольку многие системы видеонаблюдения не требуют общего доступа к видеофайлам, вся эта блокировка файлов и сложность совместно используемой файловой системы являются излишними накладными расходами, которые ограничивают производительность и создают дополнительные сложности для обслуживания и защиты.
Дедупликация и сжатие, также предлагаемые многими системами NAS и SAN, не нужны для решений видеонаблюдения. При выборе решения с этими функциями возникают дополнительные расходы на неиспользуемые технологии. Встроенные в ПО неиспользуемые функции отрицательно влияют на производительность и требуют обслуживания для обеспечения безопасности и надёжности.
Хранение данных на разных уровнях может быть полезно при развёртывании видеонаблюдения. Однако ПО для видеонаблюдения уже умеет этим управлять, создавая отдельное хранилище для баз данных, записи в реальном времени и архивов. И, поскольку данные управляются ПО для видеонаблюдения, в системе хранения нет необходимости динамически перемещать данные между уровнями. Следовательно, многоуровневое хранение данных или автоматическое управление в качестве функции хранилища не требуются и, к тому же, увеличивают риски и сложность.
Почему SAN — это эффективно
Большинству масштабируемых файловых систем для работы требуются несколько серверов. А для решений с несколькими серверами нужна внутренняя сеть, которая может создавать следующие проблемы:
каждая операция записи создаёт серию передач данных по внутренней сети, что ограничивает производительность;
межузловые соединения создают больше потенциальных точек отказа, что может усложнить увеличение объемов хранения или замену оборудования;
при достижении тех же уровней резервирования, что и в SAN, масштабируемые файловые системы будут обеспечивать меньшую пропускную способность.
SAN-решения для VSS предлагает и «Рэйдикс». В основе этих решений лежит программный RAID, способный производить расчёт контрольных сумм быстрее, чем любые аналогичные решения в индустрии. Также RAIDIX поддерживает различные SAN-протоколы (iSCSI, FC, iSER, SRP), благодаря чему достигаются:
обеспечение высокой пропускной способности (до 22ГБ/с) для работы с тысячами камер высокого разрешения, которые могут подключаться через десятки видеосерверов;
экономичность в обслуживании при росте числа камер и увеличении глубины архива: за счёт использования собственных технологий RAID-массива требуется меньше дисков для получения необходимого объема хранения и производительности;
вертикальная масштабируемость до 11ПБ на одну СХД за счёт возможности эффективно работать с большими RAID-группами до 64 дисков и обеспечивающими отработку одновременного отказа двух и более дисков (при использовании RAID 7.3/N+M), а также объединения этих групп в единый том;
высокая надёжность хранения при использовании самых отказоустойчивых на рынке RAID-массивов 7.3 и N+M. Их использование позволяет применять диски большого объёма (до 18-20ТБ) без ущерба для сохранности данных. C ростом объёма дисков и их количества в RAID-массиве резко возрастает и вероятность потери данных, так как надёжность дисков падает. Так, вероятность потери данных для RAID6 из 24 18ТБ-дисков уже после одного года эксплуатации составляет 1%, а для RAID 7.3 — всего 0,001%, то есть в тысячу раз меньше;
стабильность работы при резких увеличениях нагрузки благодаря достаточному запасу производительности даже в ситуациях, когда отказ накопителей совпадает с пиками интенсивной работы системы видеонаблюдения. Это возможно благодаря уникальным технологиям — упреждающей и частичной реконструкции;
высокая производительность СХД RAIDIX позволяет не ограничивать возможности аналитического ПО для видеонаблюдения. Распознавание лиц, фиксация движений и другие функции видеоаналитики будут работать без прерываний и с минимальной задержкой;
возможность использования полученных данных видеонаблюдения одновременно не только в задачах безопасности, но и в задачах бизнеса для проведения различной аналитики. Не требует дополнительных операций копирования в аналитические системы, а использование умной приоритезации за счёт технологии QoSmic позволяет избежать влияния дополнительных задач СХД на основную функции записи;
построение архитектуры корпоративного уровня без единой точки отказа: RAIDIX 5.X поддерживает работу в двухконтроллерном режиме с возможной репликацией на удалённые системы.
С чего начать выбор архивной СХД?
При расчёте и подборе архивной системы хранения данных потребуются следующие данные:
тип камер и их количество;
глубина архива в днях;
наличие каких-либо дополнительных требований к retention;
интенсивность движения в кадре, её распределение по времени суток или в зависимости от событий;
тип сетевой инфраструктуры на данный момент и наличие необходимости её обновления;
как развернут софт видеоаналитики;
требуется ли использовать ресурсы облачных инфраструктур;
когда и какая ожидается модернизация (изменение типа и количества камер, изменение списка сервисов, изменение глубины архива).
Для базового расчёта можно использовать один из калькуляторов, которые есть у вендоров специализированного программного обеспечения. Для более точного расчёта в сложных проектах понадобится участие специалистов.
Кроме того, при расчёте следует учесть два важных момента.
Во-первых, расчёт СХД должен проводиться для худшего сценария — максимальной нагрузке при отказе компонентов СХД: контроллеров и накопителей. К сожалению, в реальной жизни обычно так и происходит: при росте нагрузки начинают выходить из строя физические компоненты, возможности которых находятся на пределе.
Во-вторых, объём накопителей постепенно увеличивается, но их производительность пока остается прежней и классические RAID тут «не вытянут». Нужны технологии, которые позволят обеспечить доступность данных больших объемов на протяжении длительного времени. Впрочем, при массовой адаптации двух актуарных накопителей это скоро изменится.
Таким образом, элементами современного видеоархива являются:
накопители большого объёма 16-18ТБ;
два или более контроллера;
высокопроизводительные интерфейсы доступа (FC>16GBps, Eth>10GBps);
контроллерное ПО, которое позволяет легко масштабировать объем без простоев сервисов, переживать отказ нескольких накопителей без потери производительности и как минимум одного контроллера хранения, а также адаптировано к постоянной записи.
Выводы
Спрос на проекты видеонаблюдения уверенно растёт и влечёт за собой спрос на решения для создания отказоустойчивых СХД. Два основных подхода к хранению медиаданных, на которые ориентируется сегмент enterprise — это NAS и SAN. Второй тип конфигурации — с нашей точки зрения — более оптимален для проектов видеонаблюдения в силу большей производительности, возможности использовать различные среды и задействовать большое количество серверов. Для клиентов, ориентированных на высокую производительность и отказоустойчивость систем, «Рэйдикс» предоставляет передовые SAN-решения для СХД, основанные на быстром программном RAID.
В целом современные СХД предоставляют огромное число опций, и задача пользователя — определить то, что важно, и обойтись без переплат и необязательных нагрузок на систему. Например, для видеонаблюдения фактически не требуются многоуровневое хранение данных или автоматическое управление в качестве функции хранилища. В то же время это не означает, что к выбору СХД можно подходить поверхностно: существуют около десятка факторов, касающихся существующих софта и аппаратной части, на которые следует обращать внимание при выборе СХД. Также при расчётах показателей производительности и отказоустойчивости будущей СХД следует всегда ориентироваться на худший сценарий — максимальной нагрузке при отказе компонентов СХД.
