[Storm]Storm的安装

Thu, 01 Oct 2015 05:12:26 +0000

用于处理高速、大型数据流的分布式实时计算系统。为Hadoop添加了可靠的实时数据处理功能。

Home link: http://storm.apache.org/

Download link: http://storm.apache.org/downloads.html

Setup

Java

CentOS 自带 JDK 1.7，此处可以忽略该步骤。

Zookeeper

Home link: http://zookeeper.apache.org/releases.html

下载安装包并上传解压

http://mirror.bit.edu.cn/apache/zookeeper/stable/
1

tar -xf zookeeper-3.4.6.tar.gz

配置Zookeeper

1
2
3
4
5
6
7
8


tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=zookeeper1:2888:3888
server.2=zookeeper2:2888:3888
server.3=zookeeper3:2888:3888

启动Zookeeper
1

bin/zkServer.sh start
测试
1

bin/zkCli.sh -server 127.0.0.1:2181
依赖库安装
Java

自带。
Python

自带。
Storm
下载安装包，上传并解压

解压命令：
1

tar -xf apache-storm-0.9.5.tar.gz
配置Zookeeper地址，在storm.yaml中配置该目录
1 2

storm.zookeeper.servers: - "127.0.0.1"
创建并配置workdir
1

storm.local.dir: "/home/admin/storm/workdir"
备注：storm.local.dir是Nimbus和Supervisor进程用于存储少量状态（如jars、confs等）的本地磁盘目录，需要提前创建该目录并给予足够的访问权限。
1

nimbus.host: "127.0.0.1"
1 2 3 4 5

supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703

启动Storm的所有服务

Nimbus

1

bin/storm nimbus >/dev/null 2>&1 &

Supervisor

1

bin/storm supervisor >/dev/null 2>&1 &

1

bin/storm ui >/dev/null 2>&1 &

Logview

1

bin/storm logviewer > /dev/null 2>&1

访问Storm UI

http://ip:8080

Storm on Coinidea的博客

[Storm]Storm的安装