Разместить здесь вашу рекламу


Использование гибридного облака: применение CDP Cloud для оценки рисков, связанных с COVID-19

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.
  • Cloudera Data Platform (CDP)

Частное облако Cloudera Data Platform (CDP-Private)

Сотрудник Cloudera
Сотрудник Cloudera

В этой серии статей я продемонстрирую, как использовать мощные возможности гибридного облака Cloudera Data Platform (CDP). Вы узнаете, как задействовать базу частного облака CDP, менеджер репликации, публичное облако CDP, Nifi, Kafka в концентраторе данных, Cloudera Data Warehouse и Cloudera Viz.

Напоминание: видение CDP 

Платформа CDP разработана для беспрепятственного развертывания любых рабочих нагрузок, а также для операций с данными (таких как сбор данных, потоковая передача, обогащение, проектирование, обслуживание и задачи AI/ML) в любой инфраструктуре с использованием новейших механизмов при сохранении согласованного уровня безопасности и управление (SDX).

Пример использования: Worldwide Bank

В этой статье я буду использовать гипотетический пример банка (Worldwide Bank).

Предположим, что Worldwide Bank - крупный международный банк, который использует традиционную локальную архитектуру больших данных (CDP PvC Base) для проектирования данных и хранения нескольких петабайт данных.

Поскольку пандемия COVID-19 перенесла мир в беспрецедентные времена, конкуренция достигла своего пика, ускоряя организацию данных за счет внедрения новейших технологий и архитектур, особенно облачных инфраструктур.

Первым вариантом использования новой технологической платформы является создание визуального отчета с оценкой для каждого из рисков,  связанных с распространением коронавируса.

Реализация этого первого сценария предполагает возможность учета следующих факторов:

  • Скорость внедрения, включая развертывание облака.

  • Поддержание высоких стандартов конфиденциальности и безопасности данных.

  • Повторное использование текущего набора навыков специалистов (например, переносимость ПО).

Архитектура реализации

После тщательного рассмотрения и анализа вариантов банк выбрал в качестве основы гибридной архитектуры платформу CDP, поскольку она удовлетворяет всем его потребностям. В частности, вот схема реализации:

В этой серии статей вы пройдете четыре шага:

  1. Репликация банковских отделений и данных сотрудников (Replication Manager, Cloudera Manager, S3, HDFS).

  2. Фильтрация конфиденциальных данных и применение средств защиты данных (профилировщики каталога данных, Atlas, Ranger).

  3. Обогащение данных, в том числе за счет статистики по COVID-19 (Nifi).

  4. Создание интерактивных визуальных отчетов (Cloudera Data Warehouse, Hive LLAP, Viz).

Примечание: все материалы статей этой серии можно найти здесь.

Источник: https://habr.com/ru/company/cloudera/blog/543890/


Интересные статьи

Интересные статьи

Появившиеся в 2006 году сервисы Google по работе с текстовыми документами (Google Docs) и таблицами (Google Sheets), дополненные 6 лет спустя возможностями работы с вирту...
В главной роли на кдпв — Боб, песель Денискина Сегодня смартфоны, умные часы и фитнес-трекеры есть повсюду. Они полезны для мониторинга нас самих, нашего окружения, могут присылать уве...
В Unix-подобных операционных системах общение программы с внешним миром и операционной системой происходит через небольшой набор функций — системных вызовов. А значит, в отладочных целях полезн...
Друзья, в преддверии выходных хотим поделиться с вами еще одной интересной публикацией, которую хотим приурочить к запуску новой группы по курсу «Разработчик JavaScript». Потратив последни...
Автор материала, перевод которого мы сегодня публикуем, говорит, что уверен в том, что многие JavaScript-разработчики пользуются, в основном, такими типами данных, как Number, String, Object, Arr...