使用trident接口时，storm读取kafka数据会将kafka消费记录保存起来，将消费记录的位置保存在tridentTopology.newStream()的第一个参数里，

如果设置成从头开始消费，在单机情况下，消费记录没能保存下来，每次都是从头消费，但是在集群模式下，消费记录是被保存在zookeeper中的，再次提交集群运行并不会从头开始消费，而是从zookeeper中记录的位置开始消费，要想从新开始消费，

可以通过改变tridentTopology.newStream()的第一个参数来得到，如果集群报出消费记录越界，极有可能就是tridentTopology.newStream()的第一个参数有问题，消费错了记录位置。

												


											
storm单机运行与集群运行问题的更多相关文章
	

    
						
  1. hadoop本地运行与集群运行
		
    开发环境: windows10+伪分布式(虚拟机组成的集群)+IDEA(不需要装插件) 介绍: 本地开发,本地debug,不需要启动集群,不需要在集群启动hdfs yarn 需要准备什么: 1/配置w ...
    
		
    2. 
								
  2. Hadoop集群运行JNI程序
		
    要在Hadoop集群运行上运行JNI程序,首先要在单机上调试程序直到可以正确运行JNI程序,之后移植到Hadoop集群就是水到渠成的事情. Hadoop运行程序的方式是通过jar包,所以我们需要将所有 ...
    
		
    3. 
						
  3. 简单说明hadoop集群运行三种模式和配置文件
		
    Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下: 1.独立模式即本地运行模式(standalone或local mode)无需运行任何守护进程(daemon) ...
    
		
    4. 
						
  4. Spark学习笔记3（IDEA编写scala代码并打包上传集群运行）
		
    Spark学习笔记3 IDEA编写scala代码并打包上传集群运行 我们在IDEA上的maven项目已经搭建完成了,现在可以写一个简单的spark代码并且打成jar包 上传至集群,来检验一下我们的sp ...
    
		
    5. 
						
  5. Spark本地运行成功，集群运行空指针异。
		
    一个很久之前写的Spark作业,当时运行在local模式下.最近又开始处理这方面数据了,就打包提交集群,结果频频空指针.最开始以为是程序中有null调用了,经过排除发现是继承App导致集群运行时候无法 ...
    
		
    6. 
						
  6. 012 Spark在IDEA中打jar包，并在集群上运行（包括local模式，standalone模式，yarn模式的集群运行）
		
    一:打包成jar 1.修改代码 2.使用maven打包 但是目录中有中文,会出现打包错误 3.第二种方式 4.下一步 5.下一步 6.下一步 7.下一步 8.下一步 9.完成 二:在集群上运行(loc ...
    
		
    7. 
						
  7. hadoop一代集群运行代码案例
		
    hadoop一代集群运行代码案例 集群 一个 master,两个slave,IP分别是192.168.1.2.192.168.1.3.192.168.1.4               hadoop版 ...
    
		
    8. 
						
  8. CM记录-集群运行故障修复记录
		
    集群运行故障分析(空间不足.时钟误差.状态不良) 调整空间.同步时间.重启 修复后: 各个数据节点容量分布情况
    
		
    9. 
						
  9. 【Spark】SparkStreaming-提交到集群运行
		
    SparkStreaming-提交到集群运行 spark streaming 提交_百度搜索 SparkStreaming示例在集群中运行 - CSDN博客
    
		
    10. 
		

	


随机推荐
	

    
									
  1. java高效判断素数
			
    java高效判断素数 package solution; public class Prime { // 偶数可以由有两个素数相加得到, 一个偶数可能有多个这样的两个素数, 请寻找到 这样两个素数,让 ...
    
			
    2. 
						
  2. Linux cp 复制命令
			
    Linux 的cp命令 功能: 复制文件或目录说明: cp指令用于复制文件或目录,如同时指定两个以上的文件或目录,且最后的目的地是一个已经存在的目录,则它会把前面指定的所有文件或目录复制到此目录中.若 ...
    
			
    3. 
						
  3. bzoj1604 牛的邻居 STL
			
    Description 了解奶牛们的人都知道,奶牛喜欢成群结队．观察约翰的N(1≤N≤100000)只奶牛,你会发现她们已经结成了几个“群”．每只奶牛在吃草的时候有一个独一无二的位置坐标Xi,Yi(l ...
    
			
    4. 
						
  4. PHP -Casbin: 支持 ACL、RBAC、ABAC 多种模型的 PHP 权限管理框架
			
    PHP-Casbin 是一个用 PHP 语言打造的轻量级开源访问控制框架( https://github.com/php-casbin... ),目前在 GitHub 开源.PHP-Casbin 采用 ...
    
			
    5. 
						
  5. CF 420B  Online Meeting 模拟题
			
    只是贴代码,这种模拟题一定要好好纪念下 TAT #include <cstdio> #include <cstring> #include <algorithm>  ...
    
			
    6. 
						
  6. SpringMVC拓展
			
    ### 原生SpringMVC有如下缺陷 参数的JSON反序列化只支持@RequestBody注解,这意味着不能在controller方法中写多个参数,如下代码是不对的 public Map test ...
    
			
    7. 
						
  7. 介绍静态链接库和动态链接库的差别，及在VC++6.0中的建立和使用
			
    首先介绍一下链接库:链接库分为动态链接库和静态链接库两种 LIB是静态链接库,在程序编译连接的时候是静态链接,其相应的文件格式是.lib. 即当程序採用静态链接库的时候..lib文件里的函数被链接到终 ...
    
			
    8. 
						
  8. hadoop(八) - sqoop安装与使用
			
    一. sqoop安装: 安装在一台节点上就能够了. 1. 使用winscp上传sqoop 2. 安装和配置 加入sqoop到环境变量 将数据库连接驱动mysql-connector-5.1.8.jar ...
    
			
    9. 
						
  9. CentOS用rpm升级glibc
			
    CentOS用rpm升级glibc #! /bin/sh # update glibc to 2.23 for CentOS 6 wget http://cbs.centos.org/kojifile ...
    
			
    10. 
						
  10. TFRecord —— tensorflow 下的统一数据存储格式
			
    tensorflow 提供了统一的数据存储格式,即 TFRecord(record 表示记录),以提高程序的可扩展性,当数据来源十分复杂时,仍能有效记录输入数据中的信息. 1. tfrecord 使用 ...
    
			
    11.