使用trident接口时，storm读取kafka数据会将kafka消费记录保存起来，将消费记录的位置保存在tridentTopology.newStream()的第一个参数里，

如果设置成从头开始消费，在单机情况下，消费记录没能保存下来，每次都是从头消费，但是在集群模式下，消费记录是被保存在zookeeper中的，再次提交集群运行并不会从头开始消费，而是从zookeeper中记录的位置开始消费，要想从新开始消费，

可以通过改变tridentTopology.newStream()的第一个参数来得到，如果集群报出消费记录越界，极有可能就是tridentTopology.newStream()的第一个参数有问题，消费错了记录位置。

												


											
storm单机运行与集群运行问题的更多相关文章
	

    
						
  1. hadoop本地运行与集群运行
		
    开发环境: windows10+伪分布式(虚拟机组成的集群)+IDEA(不需要装插件) 介绍: 本地开发,本地debug,不需要启动集群,不需要在集群启动hdfs yarn 需要准备什么: 1/配置w ...
    
		
    2. 
								
  2. Hadoop集群运行JNI程序
		
    要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情. Hadoop运行程序的方式是通过jar包,所以我们需要将所有 ...
    
		
    3. 
						
  3. 简单说明hadoop集群运行三种模式和配置文件
		
    Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下: 1.独立模式即本地运行模式(standalone或local mode)无需运行任何守护进程(daemon) ...
    
		
    4. 
						
  4. Spark学习笔记3（IDEA编写scala代码并打包上传集群运行）
		
    Spark学习笔记3 IDEA编写scala代码并打包上传集群运行 我们在IDEA上的maven项目已经搭建完成了,现在可以写一个简单的spark代码并且打成jar包 上传至集群,来检验一下我们的sp ...
    
		
    5. 
						
  5. Spark本地运行成功，集群运行空指针异。
		
    一个很久之前写的Spark作业,当时运行在local模式下.最近又开始处理这方面数据了,就打包提交集群,结果频频空指针.最开始以为是程序中有null调用了,经过排除发现是继承App导致集群运行时候无法 ...
    
		
    6. 
						
  6. 012 Spark在IDEA中打jar包，并在集群上运行（包括local模式，standalone模式，yarn模式的集群运行）
		
    一:打包成jar 1.修改代码 2.使用maven打包 但是目录中有中文,会出现打包错误 3.第二种方式 4.下一步 5.下一步 6.下一步 7.下一步 8.下一步 9.完成 二:在集群上运行(loc ...
    
		
    7. 
						
  7. hadoop一代集群运行代码案例
		
    hadoop一代集群运行代码案例 集群 一个 master,两个slave,IP分别是192.168.1.2.192.168.1.3.192.168.1.4               hadoop版 ...
    
		
    8. 
						
  8. CM记录-集群运行故障修复记录
		
    集群运行故障分析(空间不足.时钟误差.状态不良) 调整空间.同步时间.重启 修复后: 各个数据节点容量分布情况
    
		
    9. 
						
  9. 【Spark】SparkStreaming-提交到集群运行
		
    SparkStreaming-提交到集群运行 spark streaming 提交_百度搜索 SparkStreaming示例在集群中运行 - CSDN博客
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 洛谷3833 [SHOI2012]魔法树
			
    SHOI2012 D2T3 题目描述 Harry Potter 新学了一种魔法:可以让改变树上的果子个数.满心欢喜的他找到了一个巨大的果树,来试验他的新法术. 这棵果树共有N个节点,其中节点0是根节点 ...
    
			
    2. 
						
  2. Windows 10 计划带来颜文字和Sandbox
			
    在最新的 Window 10 测试版 Build 18305 中,Windows 10 增加了对颜文字(kaomoji)的支持. Kaomoji 是由日本符号序列组成的面脸部表情的名称.虽然有些人,比 ...
    
			
    3. 
						
  3. NodeJS代码调试
			
    1.在Chrome打开chrome://flags/#enable-devtools-experiments 2.激活Developer Tools experiments 3.重启Chrome 4. ...
    
			
    4. 
						
  4. 解决MAC下PHP连接MYSQL错误Warning: mysql_connect(): No such file or directory in conn.php
			
    今天在mac上用php去连接mysql数据库,出现了 mac PHP Warning:  mysql_connect(): [2002] No such file... 详细例如以下所看到的: Dir ...
    
			
    5. 
						
  5. ant安装配置问题：ANT_HOME is set incorrectly or ant could not be located. Please set ANT_HOME.
			
    项目用到ant 1.去官网下载:http://ant.apache.org/bindownload.cgi 2.解压至安装C盘 3.设置ANT_HOME.PATh.CLASSPATH ANT_HOME ...
    
			
    6. 
						
  6. 使用LruCache和DiskLruCache来下载图片
			
    LruCache是一个非常好用的图片缓存工具: 主要做法是:滑动图片时将图片的bitmap缓存在LruCache<String, Bitmap>中,退出程序后将图片缓存进文件中.採用Dis ...
    
			
    7. 
						
  7. 基于Java的开源3D游戏引擎jMonkeyEngine
			
    jMonkeyEngine简介 jMonkeyEngine是一款纯Java语言编写的游戏引擎,继承了Java应用跨平台的特性,而且是开放源代码的,遵循BSD开源协议,BSD开源协议用一句简单的话概括就 ...
    
			
    8. 
						
  8. Domino服务器SSL的配置录像
			
    Domino服务器SSL的配置录像 格式:avi, 大小:25M 时长: 6分钟 本文出自 "李晨光原创技术博客" 博客,转载请与作者联系!
    
			
    9. 
						
  9. SQL解析XML文件
			
    DECLARE @idoc int DECLARE @doc varchar(max) SET @doc ='<?xml version="1.0" encoding=&qu ...
    
			
    10. 
						
  10. 变量对象、作用域链和This
			
    变量对象 作用域链 This 整理自:https://www.cnblogs.com/TomXu/archive/2011/12/15/2288411.html 系列文章中变量对象,作用域链和this ...
    
			
    11.