Прежде чем перейти к статье, хочу вам представить, экономическую онлайн игру Brave Knights, в которой вы можете играть и зарабатывать. Регистируйтесь, играйте и зарабатывайте!
Недавно в своей работе начал практиковаться с Hadoop, Spark и Hive от Apache на примере организации распределенного хранилища данных в крупном и сложном проекте. Так как я хорошо дружу с Linux и вселенной Docker, только одна команда позволит не мучиться с лишней установкой Big Data-решении от Apache, не нагружая при этом свою Linux-машину(при наличии Docker и Docker-Compose):
git clone https://github.com/big-data-europe/docker-hadoop.git && git clone https://github.com/big-data-europe/docker-spark && git clone https://github.com/big-data-europe/docker-hive && cd docker-hadoop && sudo docker-compose up -d && cd .. && cd docker-spark && sudo docker-compose up -d && cd .. && cd docker-hive && sudo docker-compose up -d && cd .. && docker psПервые три команды загружают в выбранную вами директорию три Git-репозитория с файлами docker-compose.yml. Каждый репозиторий - это будущий Docker-образ Big Data-решения от Apache, который вы развернёте через минуту.
Остальные команды после первых трёх за исключением последней обращаются к папкам с файлами для будущего Docker-образа для их развёртывании с помощью docker-compose, но на загрузку и подготовку ресурсов для контейнеров может уйти полчаса в зависимости от ресурсов вашей машины и скорости Интернет-соединения. Но перед выполнением всех команд проверьте наличие 53-го порта в TCP для передачи и UDP для приёма, так как утилита без него не может правильно готовить образ. А если его нет, то добавьте;-)
И выполняется последняя команда, которая выводит список всех установленных и запущенных контейнеров. А чтобы проверить работоспособность сердца BigData-семейства Hadoop, введите в браузере адрес http://localhost:9870/ и перед вами откроется главная страница сервера Apache Hadoop:
И если у вас запущен Spark с Hive, это говорит о том, что необходимые нам инструменты успешно установлены и запущены.
Если у вас есть знания по Hadoop, Spark и Hive, вы можете их настраивать, как хотите. А если возникнут вопросы по этому материалу, оставьте их в комментариях. С удовольствием готов на них отвечать!
