当前位置: 首页 > news >正文

Storm 0.9 集群搭建

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

搭建Storm 0.9 集群的主要步骤有以下几步:

    1 搭建Zookeeper集群

    2 在 Nimbus和 worker上安装相应的依赖

    3 下载Storm 到 Nimbus 和worker机器上

    4 在storm.yaml填写必须的配置

    5 用storm脚本启动storm集群

1搭建zookeeper集群

    Storm主要用Zookeeper来协调集群的。Zookeeper不是用来作为消息传递的,所以Storm对Zookeeper的负载是低的。单节点集群足以满足storm需求。如果需要zookeeper 的failover可以搭建多节点的zookeeper集群。具体搭建zookeeper  步骤,这里不详细写了。

2在机器上安装相应的JDK和python

    JDK版本最低为 1.6

    Python版本最低为2.6.6

3下载storm到相应的机器上

    最新版本为0.94  下载    解压提取到相应的Nimbus和worker机器上。

4在storm.yaml填写必须的配置项

   1)storm.zookeeper.servers:

storm.zookeeper.servers:  
 - "111.222.333.444"  
 - "555.666.777.888"

如果zookeeper端口不是默认端口,必须填写端口配置

    storm.zookeeper.port

    2) storm.local.dir:主要是nimbus和Supervisor用来保存状态的地方,在每台机子上都有建立相应的目录,并且赋予相应的权限。

    eg:

storm.local.dir: "/mnt/storm"

   3) nimbus.host: worker节点需要知道哪个节点是master,以便用来下载topology的 jar和配置

nimbus.host: "111.222.333.44"

 4) supervisor.slots.ports:对于每个worker节点需要配置多少个worker运行在该节点上。每个worker用单独的port接收消息,如果你配置五个端口,表明五个 worker运行在该机器上,如果3个表明3个worker运行在该机器上。默认是四个worker在一台机子上。

supervisor.slots.ports:     
    - 6700     
    - 6701     
    - 6702     
    - 6703


5用storm脚本启动相应的程序

    1)Nimbus: 在master节点上   bin/storm nimbus   用来启动nimbus

     2) Supervisor:在每台worker节点上  bin/storm supervisor 用来启动supervisor  ,supervisor用来启动和关闭本机器上的worker

     3) UI: 在master节点上 bin/storm ui ,主要用来在浏览器中查看storm集群的状态,http://{nimbus host}:8080



单机伪集群的全部配置如下

 storm.zookeeper.servers:
    - "127.0.0.1"
 storm.zookeeper.port: 2181 
 storm.local.dir: "/home/xxx/storm/workdir"
 nimbus.host: "127.0.0.1"

 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703


主要参照  https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html  翻译


转载标注:http://my.oschina.net/robinyao/blog/415757


转载于:https://my.oschina.net/robinyao/blog/415757

相关文章:

  • vs2017使用rdlc实现批量打印
  • Click Magick – 下一代点击跟踪和链接管理
  • GitHub推出更多课程
  • HTML/CSS实现的一个列表页
  • python引用局部变量之nonlocal
  • OpenWrt backfire trunk源码下载及编译
  • CentOS 7上安装gitlab-runner
  • sql server实战
  • could not read block 0 in file base/16389/17624
  • MongoDB-C#驱动基本操作
  • Linux详细搭建httpd网站搭建服务(阿帕奇)
  • 集群负载均衡LVS
  • Julia 1.0 正式发布,这是新出炉的一份简单中文教程
  • 这就是生活
  • 面试宝典系列-MySQL缓存详解
  • 【跃迁之路】【463天】刻意练习系列222(2018.05.14)
  • 345-反转字符串中的元音字母
  • angular组件开发
  • egg(89)--egg之redis的发布和订阅
  • FastReport在线报表设计器工作原理
  • Hibernate【inverse和cascade属性】知识要点
  • iOS动画编程-View动画[ 1 ] 基础View动画
  • JavaScript 奇技淫巧
  • php ci框架整合银盛支付
  • SpiderData 2019年2月13日 DApp数据排行榜
  • webpack4 一点通
  • 给自己的博客网站加上酷炫的初音未来音乐游戏?
  • 一些基于React、Vue、Node.js、MongoDB技术栈的实践项目
  • 用jquery写贪吃蛇
  • ​软考-高级-系统架构设计师教程(清华第2版)【第15章 面向服务架构设计理论与实践(P527~554)-思维导图】​
  • #Spring-boot高级
  • %@ page import=%的用法
  • (超简单)使用vuepress搭建自己的博客并部署到github pages上
  • (论文阅读22/100)Learning a Deep Compact Image Representation for Visual Tracking
  • (三十五)大数据实战——Superset可视化平台搭建
  • (十)DDRC架构组成、效率Efficiency及功能实现
  • (算法)前K大的和
  • (一)基于IDEA的JAVA基础10
  • (已解决)vue+element-ui实现个人中心,仿照原神
  • (原創) 如何將struct塞進vector? (C/C++) (STL)
  • (转) SpringBoot:使用spring-boot-devtools进行热部署以及不生效的问题解决
  • (转)淘淘商城系列——使用Spring来管理Redis单机版和集群版
  • ***linux下安装xampp,XAMPP目录结构(阿里云安装xampp)
  • .Family_物联网
  • .net Stream篇(六)
  • .Net各种迷惑命名解释
  • .NET企业级应用架构设计系列之开场白
  • @Documented注解的作用
  • @EventListener注解使用说明
  • @RunWith注解作用
  • @zabbix数据库历史与趋势数据占用优化(mysql存储查询)
  • [1181]linux两台服务器之间传输文件和文件夹
  • [AutoSAR 存储] 汽车智能座舱的存储需求
  • [BUG] Authentication Error
  • [BZOJ3211]:花神游历各国(小清新线段树)