使用trident接口时，storm读取kafka数据会将kafka消费记录保存起来，将消费记录的位置保存在tridentTopology.newStream()的第一个参数里，

如果设置成从头开始消费，在单机情况下，消费记录没能保存下来，每次都是从头消费，但是在集群模式下，消费记录是被保存在zookeeper中的，再次提交集群运行并不会从头开始消费，而是从zookeeper中记录的位置开始消费，要想从新开始消费，

可以通过改变tridentTopology.newStream()的第一个参数来得到，如果集群报出消费记录越界，极有可能就是tridentTopology.newStream()的第一个参数有问题，消费错了记录位置。

												


											
storm单机运行与集群运行问题的更多相关文章
	

    
						
  1. hadoop本地运行与集群运行
		
    开发环境: windows10+伪分布式(虚拟机组成的集群)+IDEA(不需要装插件) 介绍: 本地开发,本地debug,不需要启动集群,不需要在集群启动hdfs yarn 需要准备什么: 1/配置w ...
    
		
    2. 
								
  2. Hadoop集群运行JNI程序
		
    要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情. Hadoop运行程序的方式是通过jar包,所以我们需要将所有 ...
    
		
    3. 
						
  3. 简单说明hadoop集群运行三种模式和配置文件
		
    Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下: 1.独立模式即本地运行模式(standalone或local mode)无需运行任何守护进程(daemon) ...
    
		
    4. 
						
  4. Spark学习笔记3（IDEA编写scala代码并打包上传集群运行）
		
    Spark学习笔记3 IDEA编写scala代码并打包上传集群运行 我们在IDEA上的maven项目已经搭建完成了,现在可以写一个简单的spark代码并且打成jar包 上传至集群,来检验一下我们的sp ...
    
		
    5. 
						
  5. Spark本地运行成功，集群运行空指针异。
		
    一个很久之前写的Spark作业,当时运行在local模式下.最近又开始处理这方面数据了,就打包提交集群,结果频频空指针.最开始以为是程序中有null调用了,经过排除发现是继承App导致集群运行时候无法 ...
    
		
    6. 
						
  6. 012 Spark在IDEA中打jar包，并在集群上运行（包括local模式，standalone模式，yarn模式的集群运行）
		
    一:打包成jar 1.修改代码 2.使用maven打包 但是目录中有中文,会出现打包错误 3.第二种方式 4.下一步 5.下一步 6.下一步 7.下一步 8.下一步 9.完成 二:在集群上运行(loc ...
    
		
    7. 
						
  7. hadoop一代集群运行代码案例
		
    hadoop一代集群运行代码案例 集群 一个 master,两个slave,IP分别是192.168.1.2.192.168.1.3.192.168.1.4               hadoop版 ...
    
		
    8. 
						
  8. CM记录-集群运行故障修复记录
		
    集群运行故障分析(空间不足.时钟误差.状态不良) 调整空间.同步时间.重启 修复后: 各个数据节点容量分布情况
    
		
    9. 
						
  9. 【Spark】SparkStreaming-提交到集群运行
		
    SparkStreaming-提交到集群运行 spark streaming 提交_百度搜索 SparkStreaming示例在集群中运行 - CSDN博客
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 前端之CSS属性相关
			
    宽和高 width属性可以为元素设置宽度. height属性可以为元素设置高度. 块级标签才能设置宽度,内联标签的宽度由内容来决定. 字体属性 文字字体 font-family可以把多个字体名称作为一 ...
    
			
    2. 
						
  2. 使用npm上传npm包
			
    npm是一个node的包管理仓库,一个网站,也是一条命令.如何给node里增加npm包呢?只需三步就搞定. 第一步:在开始里边打开cmd进入自己的项目中,在项目目录中输入 npm init 回车会有一 ...
    
			
    3. 
						
  3. linu基础入门（一）
			
    原创作品,允许转载,转载时请务必声明作者信息和本声明. https://www.cnblogs.com/zhu520/p/10730550.html 本人小白,有错指出.谢谢! 一:根据上一步安装与新 ...
    
			
    4. 
						
  4. myeclipse2013 jsp编辑初始化
			
    首先,大家可能有过这种经历.双击打开jsp编辑.它默认会打开视图,这样就使人恼火了,卡死了.所以我们能够自己设jsp的默认打开方式:打开Window-->preferences得: 搜索edit ...
    
			
    5. 
						
  5. vector容器的实现
			
    简单实现了构造.析构.push_back.pop_back.operator=.operator[].clear等函数 template<class T> class my_vector  ...
    
			
    6. 
						
  6. JavaScript语言基础3
			
     JavaScript能够处理一些来自于现实世界的数据类型.比如:数字和文本. 同一时候JavaScript中也包括了一些具 有抽象性质的数据类型.比如对象数据类型. JavaScript它是一种弱类 ...
    
			
    7. 
						
  7. 大数据时代的新BI系统架构发展趋势
			
    商业智能(BI,Business Intelligence).它是一套完整的解决方式,用来将企业中现有的数据进行有效的整合,高速准确的提供报表并提出决策根据.帮助企业做出明智的业务经营决策.      ...
    
			
    8. 
						
  8. 离散化求RECT1
			
    本文转载至点击打开链接 #include<stdio.h> struct node{ int x1,y1,x2,y2,c; }; struct node s[1010]; int px[2 ...
    
			
    9. 
						
  9. 热门游戏&lt;开心消消乐&gt;的“加壳”诡计！！
			
    好久没搞游戏了,前几天看了又又一次看了看<开心消消乐>的1.29最新版..于是故事開始了: 1.反编译分析 首先使用Androidkiller进行反编译,得到两个Smali代码目录:mal ...
    
			
    10. 
						
  10. ！HDU 2602 Bone Collector--DP--（裸01背包）
			
    题意:这题就是一个纯粹的裸01背包 分析:WA了好几次.01背包实现的一些细节没搞懂 1.为什么dp[i][j]赋初值为0而不是value[i].由于第i个石头可能不放! 2.在进行状态转移之前要dp ...
    
			
    11.