2019独角兽企业重金招聘Python工程师标准>>>
搭建Storm 0.9 集群的主要步骤有以下几步:
1 搭建Zookeeper集群
2 在 Nimbus和 worker上安装相应的依赖
3 下载Storm 到 Nimbus 和worker机器上
4 在storm.yaml填写必须的配置
5 用storm脚本启动storm集群
1搭建zookeeper集群
Storm主要用Zookeeper来协调集群的。Zookeeper不是用来作为消息传递的,所以Storm对Zookeeper的负载是低的。单节点集群足以满足storm需求。如果需要zookeeper 的failover可以搭建多节点的zookeeper集群。具体搭建zookeeper 步骤,这里不详细写了。
2在机器上安装相应的JDK和python
JDK版本最低为 1.6
Python版本最低为2.6.6
3下载storm到相应的机器上
最新版本为0.94 下载 解压提取到相应的Nimbus和worker机器上。
4在storm.yaml填写必须的配置项
1)storm.zookeeper.servers:
storm.zookeeper.servers:
- "111.222.333.444"
- "555.666.777.888"
如果zookeeper端口不是默认端口,必须填写端口配置
storm.zookeeper.port
2) storm.local.dir:主要是nimbus和Supervisor用来保存状态的地方,在每台机子上都有建立相应的目录,并且赋予相应的权限。
eg:
storm.local.dir: "/mnt/storm"
3) nimbus.host: worker节点需要知道哪个节点是master,以便用来下载topology的 jar和配置
nimbus.host: "111.222.333.44"
4) supervisor.slots.ports:对于每个worker节点需要配置多少个worker运行在该节点上。每个worker用单独的port接收消息,如果你配置五个端口,表明五个 worker运行在该机器上,如果3个表明3个worker运行在该机器上。默认是四个worker在一台机子上。
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
5用storm脚本启动相应的程序
1)Nimbus: 在master节点上 bin/storm nimbus 用来启动nimbus
2) Supervisor:在每台worker节点上 bin/storm supervisor 用来启动supervisor ,supervisor用来启动和关闭本机器上的worker
3) UI: 在master节点上 bin/storm ui ,主要用来在浏览器中查看storm集群的状态,http://{nimbus host}:8080
单机伪集群的全部配置如下
storm.zookeeper.servers:
- "127.0.0.1"
storm.zookeeper.port: 2181
storm.local.dir: "/home/xxx/storm/workdir"
nimbus.host: "127.0.0.1"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
主要参照 https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html 翻译
转载标注:http://my.oschina.net/robinyao/blog/415757