189 8069 5689

Storm单机安装的方法是什么

这篇文章主要讲解了“Storm单机安装的方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Storm单机安装的方法是什么”吧!

10年积累的网站制作、网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先做网站设计后付款的网站建设流程,更有铜梁免费网站建设让你可以放心的选择与我们合作。

重点讲解:

conf.setNumWorkers(3);-------->创建的worker的进程会平均分配到storm的集群节点上的

StormSubmitter.submitTologyWithProgressBar(args[0],conf,builder.createTology());

---->args[0]  --就是前面代码中的最后一个Blot的名字count

1、Storm的集群成员:

nimbus

ZK

supervisor

worker(其中有executer)

作用:

nimbus:负责接收客户端数据和调度,调度时向zk要supervisor的信息,然后根据信息调度,nimbus 和supervisor不直接通信

supervisor:负责监控下级节点的运行状态,如果supervisor挂掉,nimbus会根据zk返回的信息重新调度

worker:worker是进程,当worker拿到任务时会启动一个executor线程,然后executor线程工作

注:,nimbus负责任务调度和接收客户端数据,supervisor和worker都是进程,supervisor是管理进程,worker是工作进程,executor才是真正的工作线程。

ZK:高可用,配置信息存储在znode上

2、Strom的安装

1)、部署依赖环境     ---  要求Java  6+  、Python  2.6.6+

2)、部署zookeeper

--3.4.5+

--zk为啥要用3.4.5,因为他支持磁盘的快照和namenode的定期删除,避免磁盘被打满。

3)、分发storm包---这里使用0.9.4版本

4)、配置storm    ---修改storm.yaml配置文件

5)、启动strom

单机安装

Java,python部署  运行java -version  和 python  -version验证版本
上传apache-storm-0.9.5.tar.gz
tar zxf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5
mkdir logs
./bin/storm dev-zookeeper >> ./logs/zk.out 2>&1 &
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
验证: 登录地址http://node11:8080/查看

jobs  --->该命令用于查看当前终端后台运行的任务。

ss  -tanl  ---->查看端口占用

6627 端口----》nimbus

supervisor  --》不许要端口,只需要监视worker

执行此命令,感受一下storm

./bin/storm  jar examples/storm-starter/storm-starter-topologies-0.9.4.jar   storm.starter.WordCountTopology  wordcount

storm 三节点的部署

3个节点部署Zookeeper集群(这里不做演示)

node11为nimbus,开始配置

1、将storm包解压

2、修改storm/conf/storm.yaml 配置文件,内容如下(注意,其中的空格是有用的,不能删除)

storm.zookeeper.servers:
  - "192.168.47.21"
  - "192.168.47.22"
  - "192.168.47.23"

storm.local.dir: "/tmp/storm"

nimbus.host: "192.168.47.21"

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

3、在storm目录中创建logs目录
4、启动ZooKeeper集群

5、node11上启动Nimbus
$ ./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
$ tail -f logs/nimbus.log
$ ./bin/storm ui >> ./logs/ui.out 2>&1 &
$ tail -f logs/ui.log

6、节点nod12和node13启动supervisor,按照配置,每启动一个supervisor就有了4个slots
$ ./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
$ tail -f logs/supervisor.log
当然node11也可以启动supervisor

7、http://192.168.47.21:8080/
$ bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.4.jar storm.starter.WordCountTopology test

8、环境变量可以配置也可以不配置
export STORM_HOME=/usr/storm
export PATH=$PATH:$STORM_HOME/bin

感谢各位的阅读,以上就是“Storm单机安装的方法是什么”的内容了,经过本文的学习后,相信大家对Storm单机安装的方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


文章名称:Storm单机安装的方法是什么
地址分享:http://jkwzsj.com/article/pepohi.html

其他资讯