Платформы управления данными: от периферии до облака

Сегодня для большинства компаний и организаций данные – это один из стратегических активов. И с расширением возможностей аналитики, ценность собираемых и накапливаемых компаниями данных постоянно увеличивается. При этом часто говорят о взрывном, экспоненциальном росте объемов генерируемых корпоративных данных. Отмечается, что 90% всех данных были созданы за последние два года. 

Рост объемов данных сопровождается увеличением их ценности

Данные создают и используют системы аналитики больших данных, интернета вещей (IoT), искусственного интеллекта и др. Собираемые данные – основа для повышения качества обслуживания клиентов, принятия решений, поддержки операционной деятельности компаний, для различных исследований и разработок.


90% всех данных были созданы за последние два года. 

По прогнозу IDC, объем хранимых данных в мире с 2018 по 2023 годы удвоится, а общая емкость хранилищ данных достигнет 11,7 зеттабайт, причем на долю баз данных предприятий будет приходиться более трех четвертей от общего объема. Характерно, что если еще в 2018 году общая емкость поставленных дисковых накопителей (HDD), которые пока что остаются основным носителем информации, составила 869 экзабайт, то уже к 2023 году данный показатель может превысить 2,6 зеттабайта.

Платформы управления данными: для чего они нужны, и какую играют роль?

Не удивительно, что вопросы управления данными становятся для предприятий приоритетными, оказывая непосредственное влияние на их работу. Для их решения приходится подчас преодолевать такие сложности как разнородность систем, форматов данных, методов их хранения и использования, подходов к управлению в условиях «зоопарка» решений, которые внедрялись в разное время. 


Результат такого неунифицированного подхода – фрагментация массивов данных, хранимых и обрабатываемых в разных системах, разные процедуры обеспечения качества данных. Эти типовые проблемы увеличивают трудовые и финансовые затраты при работе с данными, например, при получении статистики и отчетов или при принятии управленческих решений. 

Бизнес-модель управления данными должна быть кастомизированной, адаптированной к потребностям, задачам и целям предприятия. Не существует единой автоматизированной системы, платформы управления данными, которая закрывала бы все задачи. Тем не менее, современные всеобъемлющие, гибкие и масштабируемые системы управления данными нередко представляют собой универсальное программное обеспечение для управления данными и их хранения. Они включают в себя необходимые инструменты и сервисы для эффективного управления данными. 

Новейшие разработки позволяют предприятиям переосмыслить управление данными в масштабе всей организации, получить четкое представление о том, какие данные имеются, какие с ними связаны политики, где и сколько времени данные хранятся, наконец, они дают возможность своевременно предоставлять нужную информацию нужным людям. Это решения, расширяющие возможности предприятий и позволяющие: 

• Управлять файлами, объектами, данными приложений, базами данных, данными виртуальных и облачных сред, получать доступ к данным разных типов.
• С помощью инструментов оркестрации и автоматизации перемещать данные туда, где их хранение наиболее эффективно — в первичную, вторичную инфраструктуру хранения, в ЦОД провайдера или в облако.
• Использовать комплексные функции защиты данных.
• Обеспечить интеграцию данных.
• Получать из данных оперативную аналитику. 

Платформа управления данными может строиться на основе нескольких программных продуктов или представлять собой единую унифицированную систему. Комплексная платформа обеспечивает единое управление данными в рамках всей ИТ-инфраструктуры, включая их резервное копирование, восстановление, архивирование, управление аппаратными моментальными снимками и получение отчетности.

Такая платформа позволяет реализовать мультиоблачную стратегию, расширить центр обработки данных до облачной среды, осуществить быструю миграцию в облако, использовать возможности замены оборудования и внедрения наиболее экономичных вариантов хранения данных.

Некоторые решения способны автоматически архивировать данные. А с помощью искусственного интеллекта они могут обнаруживать, что «что-то пошло не так», и автоматически предпринимать корректирующие меры или уведомлять администратора, а также выявлять и пресекать атаки различных типов. Автоматизация сервисов способствует оптимизации ИТ-операций, позволяет высвободить ИТ-персонал, свести к минимуму ошибки из-за человеческого фактора, минимизировать простои. 

Какими же качествами должна обладать современная платформа управления данными, и где такие решения применяются на практике?

Подход «одно решение для всех» не срабатывает в случае с платформами управления данными. У каждой компании свои требования к данным, они зависят от типа бизнеса, опыта работы и пр. Универсальная платформа должна, с одной стороны, обеспечивать настройку для работы с данными на конкретным предприятии, а с другой, быть независимой от специфики прикладной отрасли, сферы применения построенного на ее основе продукта и его информационного окружения. 


Практические области управления данными (источник; CMMI Institute).

Вот некоторые практические области применения платформ управления данными:

Кроме того, такие платформы играют важную роль в процессе трансформации организации в предприятие, «управляемое данными», который можно разделить на несколько этапов: 

1. Изменение управления данными в существующих системах, внедрение ролевой модели с разделением обязанностей и полномочий. Контроль качества данных, перекрестная проверка данных между системами, исправление недостоверных данных. 
2. Настройка процессов извлечения и сбора данных, их трансформации и загрузки. Приведение данных к единой системе без усложнения контроля качества данных и изменения бизнес-процессов. 
3. Интеграция данных. Автоматизация процессов доставки нужных данных в нужное место и в нужное время. 
4. Введение полноценного контроля качества данных. Определение параметров контроля качества, разработка методологии использования автоматических систем. 
5. Внедрение инструментов управления процессами сбора данных, их верификации, дедупликации и очистки. Как следствие — увеличение качества, достоверности и унификации данных всех систем предприятия. 

Преимущества платформ управления данными

Компании, которые эффективно работают с данными, как правило, добиваются большего успеха по сравнению с конкурентами, быстрее выводят на рынок продукты и услуги, лучше понимают потребности целевой аудитории, могут оперативно реагировать на изменения спроса. Платформы управления данными предоставляют возможность «очистки» данных, получения качественной и релевантной информации, трансформации данных и стратегической оценки данных предприятия. 

Пример универсальной платформы для построения систем управления корпоративными данными – российская «Юнидата», созданная на основе ПО с открытым исходным кодом. Она предлагает инструменты создания модели данных и средства расширения функциональности при интеграции в различные ИТ-среды и сторонние информационные системы: от ведения материально-технических ресурсов до безопасной обработки больших объемов персональных данных. 


Архитектура платформы «Юнидата» одноименной компании.

Эта многофункциональная платформа обеспечивает централизованный сбор данных (инвентаризация и учет ресурсов), стандартизацию сведений (нормализация и обогащение), учет текущей и исторической информации (контроль версий записи, периоды актуальности данных), качество данных и ведение статистики. Предусмотрена автоматизация таких задач как сбор, накопление, очистка, сопоставление, консолидация, проверка качества, распространение данных, а также инструменты для автоматизации системы принятия решений. 

Платформы управления данными (DPM) в рекламе и маркетинге 

В рекламе и маркетинге понятие платформы управления данными DMP (Data Management Platform) имеет более узкий смысл. Это программная платформа, которая на основе собираемых данных позволяет компаниям определять сегменты аудитории для таргетинга рекламы на конкретных пользователей и контекст рекламных кампаний в интернете. Такое программное обеспечение способно собирать, обрабатывать и хранить любые типы аудиторных данных, а также обладает возможностью их использования через привычные медиа-каналы.


По прогнозу Market Research Future (MRFR), мировой рынок платформ управления данными (DMP) может достичь к концу 2023 года 3 млрд. долларов при среднегодовом росте 15%, а в 2025 году его объем превысит 3,5 млрд. долларов.

Система DMP:

• Дает возможность собирать и структурировать все типы аудиторных данных; анализировать имеющиеся данные; передавать данные в любое медийное пространство для размещения таргетированной рекламы. 
• Помогает собирать, организовывать и активировать данные из различных источников и переводить их в полезную форму. 
• Организует все данные в категории на основе бизнес-целей и маркетинговых моделей. Система анализирует данные и генерирует сегменты аудитории, которые точно представляют клиентскую базу в широком диапазоне каналов, основанных на различных общих характеристиках.
• Позволяет повысить точность таргетинга рекламы в онлайне и выстроить персонализированные коммуникации с релевантной аудиторией. На базе DMP также можно настроить цепочки взаимодействия с каждым целевым сегментом, чтобы пользователи получали актуальные сообщения в нужное время и в нужном месте.

Увеличение доли цифрового маркетинга в значительной степени влияет на рост рынка платформ управления данными. Системы DMP могут быстро унифицировать данные из различных источников и разделять пользователей на несколько категорий на основе их модели поведения. Такие возможности способствуют спросу на DMP среди маркетологов. 

Мировой рынок платформ управления данными представлен рядом ведущих игроков, а также несколькими новыми компаниями, в том числе Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital), Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica и др.

Пример российского решения — выпущенный Mail.ru Group инфраструктурный продукт, который представляет собой единую платформу управления и обработки данных (Data Management Platform, DMP). Решение позволяет строить расширенное описание профиля аудиторных сегментов внутри платформы, интегрированной с маркетинговыми инструментами. DMP объединяет решения и сервисы Mail.ru Group в области омниканального маркетинга и работы с аудиторией. Клиенты смогут хранить, обрабатывать и структурировать собственные обезличенные данные, а также активировать их в рекламных коммуникациях, повышая эффективность бизнеса и маркетинга. 

Управление данными в облачной среде

Еще одна категория решений для управление данными – облачные платформы. В частности, использование современного решения для защиты данных в рамках управления данными в облаке позволяет избежать возможных проблем – от угроз безопасности до проблем с миграцией данных и снижения производительности, а также решить стоящие перед компанией задачи цифровой трансформации. Конечно, функции подобных систем не ограничиваются защитой данных.


Функции облачной платформы управления данными в представлении Gartner: распределение ресурсов, автоматизация и оркестрация; управление запросами на обслуживание; управление высокого уровня и контроль соблюдения политик; мониторинг и измерение параметров; поддержка мультиоблачных сред; оптимизация и прозрачность затрат; оптимизация мощностей и ресурсов; миграция в облако и обеспечение катастрофоустойчивости (DR); управление уровнем обслуживания; безопасность и идентификация; автоматизация обновления конфигураций.

Управление данными в облачной среде должно обеспечивать высокий уровень доступности данных, контроля, автоматизации управления данными в дата-центрах, по периметру сети и в облаке. 


Управление облачными данными (Cloud Data Management, CDM) – это платформа, которая используется для управления корпоративными данными в различных облачных средах с учетом частных, публичных, гибридных и мультиоблачных подходов.

Пример такого решения — Veeam Cloud Data Management Platform. Как утверждают разработчики системы, оно помогает организациям изменить подход к управлению данными, обеспечивает интеллектуальное автоматизированное управление данными и их доступность в любых приложениях или облачной инфраструктуре.


Управление облачными данными в Veeam считают неотъемлемой частью интеллектуального управления данными, обеспечивающего их доступность для бизнеса из любой точки. 

Облачная платформа Veeam Cloud Data Management Platform позволяет модернизировать резервное копирование и отказаться от устаревших систем, обеспечивает ускоренное внедрение гибридного облака и перенос данных, автоматизацию безопасности данных и соответствия нормативным требованиям. 


Veeam Cloud Data Management Platform — «современная платформа для управления данными, поддерживающая любое облако».

Как видно, современные платформы управления данными представляют достаточно обширный и разнообразный класс решений. Объединяет их, пожалуй, одно: нацеленность на эффективную работу с корпоративными данными и превращение компании или организации в современное предприятие, управляемое данными (data-driven enterprise).

Платформы управления данными — необходимая эволюция традиционного управления данными. Все больше организаций переносят данные в облако, в растущем числе различных локальных и облачных конфигураций возникают новые проблемы, которые необходимо решать именно с точки зрения управления данными. Управление данными в облаке — обновленный подход, новая парадигма, расширяющая функции управления данными для поддержки новых платформ, приложений и сценариев использования.

Кроме того, по данным исследования Veeam Cloud Data Management Report за 2019 год, компании планируют глубже интегрировать облачные технологии, технологии гибридного облака, аналитики больших данных, искусственного интеллекта и интернета вещей. Как ожидается, внедрение этих цифровых инициатив принесет компаниям значительные выгоды.

Предприятия ускоренными темпами внедряют технологии платформ данных и готовы задействовать облако для выполнения аналитических рабочих нагрузок, однако многие сталкиваются с проблемами, пытаясь использовать все свои данные для достижения лучших бизнес-результатов, считают аналитики компании 451 Research. Новейшие платформы управления данными помогут предприятиям ориентироваться в сложных процессах работы с данными в нескольких облаках, использовать средства управления данными и выполнять их анализа независимо от того, где эти данные находятся.

Так как мы стараемся идти в ногу со временем и ориентируемся на пожелания наших клиентов (как нынешних, так и потенциальных), то хотим спросить у хабрасообщества, хотелось бы вам видеть Veeam в нашем маркетплейсе? Ответить можно в опросе ниже.