kafka命令

Kafka命令行操作及常用API

一.Kafka命令行操作 1.查看当前集群已存在的主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --list 2.创建主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --create --relication-factor 3 \ >--partition 1 \ >---topic xinnian 3.删除主题 bin/kafka-topic.sh --zookeeper hd09-01:2181…

4、Kafka命令行操作

Kafka命令行操作 1)查看当前服务器中的所有topic [test@ip101 kafka]$ bin/kafka-topics.sh --zookeeper ip101:2181 --list 2)创建topic [test@ip101 kafka]$ bin/kafka-topics.sh --zookeeper ip101:2181 --create --replication-factor 3 --partitions 1 --topic first 选项说明: --topic 定义…

kafka命令大全

kafka命令大全 http://orchome.com/454…

Hadoop生态圈-使用Kafka命令在Zookeeper中对应关系

Hadoop生态圈-使用Kafka命令在Zookeeper中对应关系作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.zookeeper保存kafka的目录二.使用Kafka命令在Zookeeper中对应关系 1>.创建主题在zookeeper中的对应关系 [yinzhengjie@s102 ~]$ kafka-topics. --create --partitions --replication-factor --topic test Created topic…

Kafka命令行操作

Kafka命令行操作 1)查看当前服务器中的所有topic [bingo@hadoop101 kafka]$ bin/kafka-topics.sh --list --zookeeper hadoop101:2181 2)创建topic [bingo@hadoop101 kafka]$ bin/kafka-topics. --replication-factor --partitions --topic first 选项说明: --topic 定义topic名 --replication-fac…

kafka命令行脚本使用

zookeeper集群部署:http://www.cnblogs.com/ding2016/p/8280696.html kafka集群部署:http://www.cnblogs.com/ding2016/p/8282907.html 测试环境: 测试流程:①主线:创建topoic,生产消息,消费消息: ②流程命令会连接不同的节点,可以顺带检测集群消息同步情况: 测试步骤: 1. 先创建一个Topic [root@server- bin]# ./kafka-topics. --replicat…

kafka命令使用

1.创建 topic /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper zoo1:2181,zoo2:2181,zoo3:2181 --replication-factor 3 --partitions 3 --topic kafka_test--topic 名字--replication-factor 副本数--partitions 分区数 2.列出所有的topic/usr/local/kafka/bin/kafka-topic…

Kafka命令操作

本文主要介绍Kafka的shell命令: 查看当前服务器所有的topic [hadoop@datanode1 kafka]$ bin/kafka-topics.sh --zookeeper datanode1:2181 --list 创建topic [hadoop@datanode1 kafka]$ bin/kafka-topics.sh --zookeeper datanode1:2181 --create --replication-factor 3 --partitions 1 --top…

Kafka命令清单

一.队列常用命令 #创建topics $ ./kafka-topics.sh --create --zookeeper chenx02:2181 --replication-factor 1 --partitions 1 --topic test #查看队列列表$ ./kafka-topics.sh --list --zookeeper chenx02:2181 #查看队列明细$ ./kafka-topics.sh --describe --zookeeper chenx02:2181 --to…

Kafka命令行常用命令说明

基于0.8.0版本. ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test (查看test的分区情况) 其实kafk…

kafka 命令笔记

以下命令都是在kafka根目录下启动自带的zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka(启动完zookeeper后,应再新开个窗口启动kafka,不然会报超时错误,可能由于我用的linux命令有问题,ctrl+z让它后台运行,没有起作用.回头在研究一下) bin/kafka-server-start.sh config/server.properties 查看所有的topic相信信息(描述…

kafka命令及启动

默认内网访问,要在外网访问的话,需要在修改config/server.properties中的配置将listeners和advertised.listeners的值用主机名进行替换,在外用使用java进行生产者或消费者连接的时候,不填写具体的IP,填写安装kafka的主机名,然后,在hosts目录中,配置该主机名对应的真是IP地址即可: 以下命令都是摘抄与官网http://kafka.apache.org/quickstart 先启动zookeeper,默认自带的 bin/zookeeper-…

./kafka-topics.sh --zookeeper ip:port --list ./kafka-topics.sh --create --topic test --zookeeper ip:port --replication-factor 1 --partitions 1 ./kafka-console-producer.sh --broker-list ip:port --topic test /kafka-console-consumer.sh --zookeeper ip:po…

Kafka--windows下简单使用kafka命令

参考 https://www.cnblogs.com/cici20166/p/9426417.html 启动zookeeper 只需要保证有可用的zookeeper,可以使用kafka内置的,也可以自己额外安装. 启动Kafka内置的zookeeper 启动自己安装的zookeeper C:\Users\ewanhiz\App\zookeeper-\bin 点就完事了启动Kafka 创建Topic 查看Topic 在指定的Topic中生产消息从头消费指定Topic中生产的消息连接Kafka…

kafka 命令行操作

1.创建主题(topic) bin/kafka-topics.sh --create --zookeeper m6:2181 --replication-factor 1 --partitions 1 --topic test 2.查看主题 bin/kafka-topics.sh --list --zookeeper m6:2181 3.向主题发送消息(生产者) bin/kafka-console-producer.sh --broker-list localhost:9092 --topic…

kafka命令总结

./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic user-asset-change-v1 --partition 2 --offset 38172100 --max-messages 2…

kafka工作流程| 命令行操作

1. 概述数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数据性数据库里数据--->hadoop)+kafka(将实时日志在线--->sparkstream在数据进行实时处理分析) 存储层:HDFS+Hbase(非关系型数据库)+kafka(节点上默认存储1G数据) 资源调度层:Yarn 计算层:MapReduce+ Hive(计算+存储型框架:sql--…

Kafka常用命令合集

在上一篇文章<Linux安装Kafka>中,已经介绍了如何在Linux安装Kafka,以及Kafka的启动/关闭和创建发话题并产生消息和消费消息.这篇文章就介绍介绍Kafka的那些常用的命令. 关于Kafka的启停/创建话题/消息的产生和消费等命令在上一篇文章<Linux安装Kafka>中已经指出,这里就不说了.就说说其他常用命令. ♛ 1 查看消费者状态和消费详情有时候我们需要关心消费者应用的状态,一般消费者应用会自己通过日志获知当前消费到了哪个topic的哪个partitio…

Kafka Broker | 命令行选项和过程

1.目标在这个Apache Kafka教程中,我们将学习Kafka Broker.Kafka Broker管理主题中的消息存储.如果Apache Kafka有多个代理,那就是我们所说的Kafka集群.此外,在本Kafka Broker教程中,我们将学习如何启动Kafka Broker和Kafka命令行选项.那么,让我们开始Apache Kafka Broker. Kafka Broker | 命令行选项和过程 2.什么是Kafa经纪人? Kafka代理也称为Kafka服务器和Kafka节点.这…

kafka的搭建,命令

a)kafka搭建 1.解压 2.修改配置/software/kafka_2.11-0.11.0.3/config/server.properties broker.id=0 log.dirs=/var/huawei/kafka-logs zookeeper.connect=node03:2181,node04,2181:node05:2181 delete.topic.enable=true 3.配置kafka启动脚本 a)创建文件 /software/kafka_2.11-0.11.0.3/…

Kafka探究之路-命令小结

操作kafka之前,要先启动安装好的zk ,因为kafka的数据都保存在zk中,zk相当于是kafka的数据库吧. 安装的zk kafka 一定要按照书上,网上的教程,将相应的配置文件全部改成自己的,端口号,ip地址,文件目录都要一一确认无误在后台启动kafka ./kafka-server-start.sh -daemon ../config/server.properties关闭kafkakafka-server-stop.sh Kafka服务关闭失败 No kafka server to…

Kafka安装与实验

接上面一篇文章: http://www.cnblogs.com/charlesblc/p/6038112.html 主要参考这篇文章: http://www.open-open.com/lib/view/open1435884136903.html 还有之前一直在跟的这篇文章: http://blog.csdn.net/ymh198816/article/details/51998085 下载了Kafka的安装包: http://apache.fayea.com/kafka/0.10.1.0/k…

【kafka命令】的更多相关文章