基于Docker搭建Hadoop集群之升级版 | 寒雁Talk
寒雁Talk
主页
博客
RSS
关于
2016-06-12
基于Docker搭建Hadoop集群之升级版
摘要: kiwenlau/hadoop-cluster-docker是去年参加Docker巨好玩比赛开发的，得了二等奖并赢了一块苹果手表，目前这个项目已经在GitHub上获得了236个Star，DockerHub的镜像下载次数2000+。总之，项目还算很受欢迎吧，这篇博客将介绍项目的升级版。作者: KiwenLau日期: 2016-06-12一. 项目介绍将Hadoop打包到Docker镜像中，就可以快速地在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。如下图所示，Hadoop的master和slave分别运行在不同的Docker容器中，其中hadoop-master容器中运行NameNode和ResourceManager，hadoop-slave容器中运行DataNode和NodeManager。NameNode和DataNode是Hadoop分布式文件系统HDFS的组件，负责储存输入以及输出数据，而ResourceManager和NodeManager是Hadoop集群资源管理系统YARN的组件，负责CPU和内存资源的调度。之前的版本使用serf/dnsmasq为Hadoop集群提供DNS服务，由于Docker网络功能更新，现在并不需要了。更新的版本中，使用以下命令为Hadoop集群创建单独的网络:sudo docker network create --driver=bridge hadoop然后在运行Hadoop容器时，使用”–net=hadoop”选项，这时所有容器将运行在hadoop网络中，它们可以通过容器名称进行通信。项目更新要点：去除serf/dnsmasq合并Master和Slave镜像使用kiwenlau/compile-hadoop项目编译的Hadoo进行安装优化Hadoop配置二. 3节点Hadoop集群搭建步骤1. 下载Docker镜像sudo docker pull kiwenlau/hadoop:1.02. 下载GitHub仓库git clone https://github.com/kiwenlau/hadoop-cluster-docker3. 创建Hadoop网络sudo docker network create --driver=bridge hadoop4. 运行Docker容器cd hadoop-cluster-docker./start-container.sh运行结果start hadoop-master container...start hadoop-slave1 container...start hadoop-slave2 container...root@hadoop-master:~#启动了3个容器，1个master, 2个slave运行后就进入了hadoop-master容器的/root目录5. 启动hadoop./start-hadoop.sh6. 运行wordcount./run-wordcount.sh运行结果input file1.txt:Hello Hadoopinput file2.txt:Hello Dockerwordcount output:Docker1Hadoop1Hello2Hadoop网页管理地址:NameNode: http://192.168.59.1:50070/ResourceManager: http://192.168.59.1:8088/192.168.59.1为运行容器的主机的IP。三. N节点Hadoop集群搭建步骤1. 准备参考第二部分1~3：下载Docker镜像，下载GitHub仓库，以及创建Hadoop网络2. 重新构建Docker镜像./resize-cluster.sh 5可以指定任意N(N>1)3. 启动Docker容器./start-container.sh 5与第2步中的N保持一致。4. 运行Hadoop参考第二部分5~6：启动Hadoop，并运行wordcount。参考基于Docker搭建多节点Hadoop集群How to Install Hadoop on Ubuntu 13.10
关于Fundebug
Fundebug专注于JavaScript、微信小程序、微信小游戏、支付宝小程序、React
Native、Node.js和Java线上应用实时BUG监控。
自从2016年双十一正式上线，Fundebug累计处理了30亿+错误事件，付费客户有阳光保险、达令家、核桃编程、荔枝FM、微脉等众多品牌企业。欢迎大家免费试用！
版权声明:
转载时请注明作者KiwenLau以及本文地址：
https://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/
您的用户遇到BUG了吗？
体验Demo
免费使用
Docker, Hadoop
个人介绍
Fundebug 创始人
kiwenlau@126.com
寒雁周刊
关于Fundebug
一行代码搞定BUG监控！
累计处理BUG:
博客统计
201 篇博客
243479 字
标签
Fundebug Docker Ubuntu Hadoop Kubernetes Mesos Marathon Vagrant Node.js JavaScript jQuery MongoDB 翻译 Swarm Hexo Linux 测试 Git Nginx 小程序
最新博客
别了，IE浏览器
了不起的Chrome浏览器（13）：Chrome 100支持多屏应用了！
了不起的Chrome浏览器（7）：Chrome 95终于支持WebAssembly异常处理了！
了不起的Chrome浏览器（6）：Chrome 94开始WebGPU试用，Web的图像渲染及机器学能力更强了
了不起的Chrome浏览器（5）：Chrome 93支持Error Cause，我国首个ECMAScript提案可以用了
了不起的Chrome浏览器（3）：Chrome 91支持WebAssembly SIMD，加速Web在AI等领域的应用
了不起的Chrome浏览器（2）：Chrome 90将默认使用HTTPS，Web更安全了
从创业者到打工人，我在阿里这1年
了不起的Chrome浏览器（1）：Chrome 89开启Web应用的物联网时代
炒股半年赚的钱，8天就亏完了
热门博客
Copyright 2015-2021 寒雁 ·
闽ICP备17023542号-1