用于处理高速、大型数据流的分布式实时计算系统。为Hadoop添加了可靠的实时数据处理功能。

Home link: http://storm.apache.org/

Download link: http://storm.apache.org/downloads.html

Setup

1. Java

CentOS 自带 JDK 1.7，此处可以忽略该步骤。

2. Zookeeper

Home link: http://zookeeper.apache.org/releases.html

1. 下载安装包并上传解压

   http://mirror.bit.edu.cn/apache/zookeeper/stable/

   1	tar -xf zookeeper-3.4.6.tar.gz

2. 配置Zookeeper

   1 2 3 4 5 6 7 8

   tickTime=2000 dataDir=/var/zookeeper/ clientPort=2181 initLimit=5 syncLimit=2 server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888

3. 启动Zookeeper

   1	bin/zkServer.sh start

4. 测试

   1	bin/zkCli.sh -server 127.0.0.1:2181

5. 依赖库安装

6. Java

   自带。

7. Python

   自带。

8. Storm

9. 下载安装包，上传并解压

   解压命令：

   1	tar -xf apache-storm-0.9.5.tar.gz

10. 配置Zookeeper地址，在storm.yaml中配置该目录

    1 2	storm.zookeeper.servers: - "127.0.0.1"

    创建并配置workdir

    1	storm.local.dir: "/home/admin/storm/workdir"

    备注：storm.local.dir是Nimbus和Supervisor进程用于存储少量状态（如jars、confs等）的本地磁盘目录，需要提前创建该目录并给予足够的访问权限。

    1	nimbus.host: "127.0.0.1"

    1 2 3 4 5

    supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703

11. 启动Storm的所有服务

    Nimbus

    1	bin/storm nimbus >/dev/null 2>&1 &

    Supervisor

    1	bin/storm supervisor >/dev/null 2>&1 &

    UI

    1	bin/storm ui >/dev/null 2>&1 &

    Logview

    1	bin/storm logviewer > /dev/null 2>&1

访问Storm UI

http://ip:8080