下面是自己安装和测试storm的一些笔记,比较乱,后续有时间在整理一篇。

storm jar all-my-code.jar com.storm.MyTopology arg1 arg2
这个命令会运行主类: com.strom.MyTopology, 参数是arg1, arg2。这个类的main函数定义这个topology并且把它提交给Nimbus。storm jar负责连接到Nimbus并且上传jar包。

activate和deactivate是在spout被activate或deactivate时被调用,这两个动作是由用户从外部触发的,Strom的命令行提供两个命令activate和deactivate,允许用户activate和deactivate一个Topology,当用户执行deactivate时,对应Topology的spout会被deactivate,产生影响就是spout的nextTuple此后将不会被调用,直到用户再调用activate。

Spout使用的collector是SpoutOutputCollector,Bolt使用的collector
Spout:拿数据,nextTuple()
Bolt:处理数据,execute()

本地安装Sorm:
查找ifconfig命令在哪个目录:whereis ifconfig
把ifconfig命令目录增加到环境变量:export PATH=$PATH:/sbin
ifconfig
切换root权限:su

chown -R admin tools
chmod -R 775 tools
vi /etc/yum.conf,增加代理:proxy=http://172.17.18.80:8080/
yum install unzip
su admin
tar -zxvf zookeeper-3.3.6.tar.gz
复制conf文件夹下的zoo_sample.cfg为zoo.cfg
tickTime=2000
dataDir=/home/admin/liusen/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=localstorm:2888:3888
vi /etc/sysconfig/network
HOSTNAME=localstorm
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost ->127.0.0.1 localstorm localhost
hostname localstorm
cd到zookeeper的bin目录:./zkServer.sh start
查看Zookeeper状态:./zkServer.sh status
关闭Zookeeper:./zkServer.sh stop
查看哪个结点被选作leader或者followe:echo stat|nc 127.0.0.1 2181
测试是否启动了该Server,若回复imok表示已经启动:echo ruok|nc 127.0.0.1 2181
客户端连接:./zkCli.sh –server 127.0.0.1:2181
查看Zookeeper配置:echo conf |nc 127.0.0.1 2181

tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
缺少包uuid-dev:sudo yum install e2fsprogs-devel
重新编译到制定位置:./configure --prefix=/home/admin/liusen/zeromq
make
make install

tar –jxvf Python-2.6.6.tar.bz2
./configure --prefix=/home/admin/liusen/python
make
make install

#cd /usr/bin
#ll |grep python //查看该目录下python
#rm -rf python
#ln -s /home/admin/liusen/python/bin/python ./python //建立对应的软链接
#python -V

unzip jzmq-master.zip
cd jzmq-master
./autogen.sh
./configure --prefix=/home/admin/liusen/jzmq
报错:configure: error: cannot find zmq.h
export CPPFLAGS=-I/home/admin/liusen/zeromq/include/
export LDFLAGS=-L/home/admin/liusen/zeromq/lib/
./configure --prefix=/home/admin/liusen/jzmq --with-pgm
make
make install

unzip storm-0.8.1.zip
conf/storm.yaml
storm.zookeeper.servers:
- "localstorm"
storm.local.dir: "/home/admin/liusen/storm/workdir"
java.library.path:”/usr/local/lib:/opt/local/lib:/usr/lib:/home/admin/liusen/zeromq:/home/admin/liusen/jzmq”
nimbus.host: "localstorm"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

chown -R admin liusen
chmod -R 775 liusen
./storm nimbus >/dev/null 2>&1 &
./storm supervisor >/dev/null 2>&1 &
./storm ui >/dev/null 2>&1 &
(解析:dev启动一个记录日子文件,名为null, 2是标准输出,&1是错误输出, &结束)

vi /usr/bin/yum
修改头#!/usr/bin/python => #!/usr/bin/python2.4
yum remove system-config-network system-config-network-tui
yum install system-config-network system-config-network-tui

rpm -ivh system-config-network-tui-1.3.99.21-1.el5.noarch.rpm
rpm -ivh system-config-network-1.3.99.21-1.el5.noarch.rpm

yum search vim搜索vim
yum -y install vim* 安装vim等
find / -name rhpl.translate

ls -l 查看包括软链接地址
#rm -rf python
##ln -s /home/admin/liusen/python/bin/python ./python
#ln -s python2.4 ./python

neat 查看网络设置界面
/etc/init.d/network restart 重启网络配置

chkconfig iptables off
service iptables stop
vim /etc/sysconfig/iptables
/etc/init.d/iptables status

1.windows xp的字体一般存放在c:\windows\fonts目录下,copy你要的字体到linux下,也可以直接下载,不过看着乱码。。
2.把字体copy到/usr/share/fonts 目录下,然后执行以下命令:
mkfontscale
mkfontdir //这两条命令是生成字体的索引信息
fc-cache //更新字体缓存
cp /home/admin/liusen/tools/MSYHBD.TTF /usr/share/fonts
cp /home/admin/liusen/tools/MSYH.TTF /usr/share/fonts

关机:poweroff
shutdown –h now

storm jar /home/admin/liusen/tools/stormtest.jar com.DemoTopologyLocal
./storm jar /home/admin/liusen/tools/stormtest.jar com.DemoTopologyLocal

./storm jar /home/admin/liusen/testjar/ota-dip-et-1.0.0-SNAPSHOT.jar com.travelsky.topology.TopologyMain

storm kill storm-person
查看当前storm任务列表:storm list
jps

关闭nimbus相关进程:
kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'`
干掉supervisor上的所有storm进程:
kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`

来自http://lawson.cnblogs.com

安装storm的一些很乱的笔记的更多相关文章

  1. redhat6.4安装storm集群-4节点

    0.搭建ftp服务器并建立yum源 1.在每个节点上安装java并设置环境变量 2.在三个节点上安装zookeeper 3.安装zeromq 过程中发现运行./configure时出现问题: conf ...

  2. 如何在Linux上安装Storm

    Storm是开源的分布式实时计算系统,能够让数据流处理变得简单.可靠,也因此在大数据领域有广泛的实际 应用.下面介绍一下如何在Linux系统上安装Storm.根据Storm官网介绍,安装Storm软件 ...

  3. 在mesos上安装storm,并且执行wordcount测试程序

    mesos上安装storm 1.基本说明 如果只用一句话来描述storm的话,可能会是这样:分布式实时计算系统.按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义 ...

  4. window10单机安装storm集群

    适合范围:storm自由开源的分布式实时计算系统,擅长处理海量数据.适合处理实时数据而不是批处理. 安装前的准备 1.安装zookeeper ①下载zookeeperhttps://zookeeper ...

  5. Linux 下安装 storm

    一:准备工作 (机器部署情况详见)这篇博客 3台安装supervisor,2台安装nimbus (1)安装jdk1.8 (2)安装zookeeper3.4.5 以上两部分安装可查看这篇博客 (3)下载 ...

  6. CentOS6.5 安装Storm集群

    1.首先安装依赖包 [root@Hadoop-NN-01 ~]# yum install uuid* [root@Hadoop-NN-01 ~]# yum install libuuid [root@ ...

  7. centos下安装storm

    centOS安装ZeroMQ centOS安装ZeroMQ所需组件及工具: yum install gcc yum install gcc-c++ yum install make yum insta ...

  8. xshell远程终端操作Ubuntu server安装LAMP环境之最详细笔记之二PHP开发环境配置

    前言: 昨天学会了安装server,今天试着通过远程终端xshell来安装LAMP,搭配一下开发环境,也有集成环境可以一键安装使用,还是瞎折腾一下,手动一步一步搭建一下这个开发环境. 接上一篇:ubu ...

  9. centos 7 min 编译安装php5.6+nginx1.7.5 笔记

    1.安装mysql请参照 centos 7 min 编译安装mysql5.6.20 笔记 2.编译安装php5.6+nginx1.7.5 2.1.安装php5.6.0 首先添加依赖应用yum inst ...

随机推荐

  1. IntelliJ IDEA 15,16 win 7 64位安装包以及注册码 百度云盘

    不知道发出来,有用没有,要是官网下载不了的话,可以用我的这个哦,虽然不是最新的. ideaIU-162.1447.21 ideaIU-15.0.2 win7  64系统的安装包 链接:http://p ...

  2. jquery1.7.2的源码分析(三)$.Deferred

    例子的详细讲解 Filter Resolve var filterResolve = function() { var defer = $.Deferred(), filtered = defer.t ...

  3. Placeholder在IE8的兼容问题

    <script type="text/javascript"> if( !('placeholder' in document.createElement('input ...

  4. 开发thinkphp的第一步就是给Application目录(不包括其下的文件)777权限, 关闭selinux

    开发thinkphp的时候, 总是会出现各种个样 的奇怪的毛病, 比如: 说什么Application目录不可写, 比如: 说什么 _STORAGE_WRITE_ERROR, 不能生成 Runtime ...

  5. 2.2、Hibernate用注解方式实现一对多、多对多关系

    一.一对多关系 1.在上一篇日志中用.xml配置文件项目基础上,再往lib目录先添加一个包-hibernate-jpa-2.0-api-1.0.0.Final.jar 2.新建一个com.st.bea ...

  6. 关于JavaScript设计模式(一)

    以后都在简书写文章了,所以这个转载我在简书中写的.地址这里 http://www.jianshu.com/p/c7b3c2c148c5

  7. 释放修改OS X 10.11系统文件权限【转】

    序言:有时要替换相关的(系统目录下的)文件以完成软件的破解,但在 OS X 10.11 系统图形界面下,Root(系统超级用户)已‘转变’为 Administrator(管理员用户),选择系统文件夹( ...

  8. TCP/IP 协议中的滑动窗口

    一个例子明白发送缓冲区.接受缓冲区.滑动窗口协议之间的关系. 在上面的几篇文章中简单介绍了上述几个概念在TCP网络编程中的关系,也对应了几个基本socket系统调用的几个行为,这里再列举一个例子,由于 ...

  9. Lisp永远成不了编程主流语言

        Lisp语言是第二古老的高级编程语言.许多的黑客和开发者对Lisp推崇备至,Paul Graham甚至说"编程语言现在的发展,不过刚刚赶上1958年Lisp语言的水平". ...

  10. Django Restful Framework (一): Serializer

    Serializer 允许复杂数据(比如 querysets 和 model 实例)转换成python数据类型,然后可以更容易的转换成 json 或 xml 等.同时,Serializer也提供了反序 ...