使用SASL/PLAIN认证 server端1.配置brokerkafka_server_jaas.conf内容KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="admin"password="admin-secret"user_admin="admin-secret"user_alice="alice-secre

如果之前没有安装jdk和zookeeper,安装了的请直接跳过 # https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html # ==================================================================安装 jdk mkdir -p /usr/java tar -zxvf ~/jdk-8u111-linux-x64

zookeeper参照https://www.cnblogs.com/wintersoft/p/11128484.html mkdir /opt/kafka -pvim /opt/kafka/Dockerfile FROM wurstmeister/kafka:2.12-2.3.0 EXPOSE 9092 sudo mkdir -p /var/log/kafka;sudo chmod -R 777 /var/log/kafka vim /opt/kafka/docker-compose.yml

Kafka配置(注意log.dirs不要配置在tmp目录下,因为该目录会被linux定时任务删除,会导致kafka崩溃)需要三个Kafka实例,分别安装在下面三个机器上:192.168.240.167192.168.240.168192.168.240.169 第一步,修改192.168.240.167机器上的Kafka配置config/server.properties:broker.id=1 listeners=PLAINTEXT://192.168.240.167:9093 这里必须加上I

ubuntu18.04配置nvidia docker和远程连接ssh+远程桌面连接(一) 本教程适用于想要在远程服务器上配置docker图形界面用于深度学习的用户. (一)ubuntu18.04配置nvidia docker 配置环境:Ubuntu 18.04.1 LTS 第一步:安装显卡驱动和CUDA 安装显卡驱动和CUDA的教程网上有很多.本教程采用的是如下安装方式. 参考网址:https://blog.csdn.net/yjt1325/article/details/84641062 CU

ubuntu18.04配置nvidia docker和远程连接ssh+远程桌面连接(三) 本教程适用于想要在远程服务器上配置docker图形界面用于深度学习的用户. (三)配置远程桌面连接访问docker容器 第一步:配置远程桌面 开启容器:sudo nvidia-docker run-it -p 10000:22 ufoym/deepo:ssh bash 容器内依次输入如下指令: apt-get install xfce4 apt-get install xubuntu-desktop apt

ubuntu18.04配置nvidia docker和远程连接ssh+远程桌面连接(二) 本教程适用于想要在远程服务器上配置docker图形界面用于深度学习的用户. (二)nvidia docker配置Deepo用于深度学习并配置ssh远程访问docker 第一步:拉取Deepo镜像 Deepo是一个几乎包含所有流行深度学习框架的Docker映像,拥有一个完整的可复制的深度学习研究环境.它涵盖了当前最流行的深度学习框架: theano,tensorflow,sonnet,pytorch,kera

Kafka配置信息 broker配置信息 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录.可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存放到当前存放partition最少的目录. port 9092 BrokerServer接受客户端连接的端口号 zookeeper.connect null Zookeeper的连接串,格式为:hostname1:port1,hostn

ref : https://www.jianshu.com/p/7635ea96e53f 用 Docker 部署 Kafka   Kafka 简介 作为一个消息中间件,Kafka 以高扩展性.高吞吐量等特点,在互联网项目中被广泛采用.不清楚 Kafka 的同学,可以先看看这篇文章:http://blog.csdn.net/suifeng3051/article/details/48053965 部署 Kafka 为了方便初学者能快速试用 Kafka ,本文演示了如何用 Docker 快速部署一个

实验平台与软件: 操作系统:windows7 32  位 java 开发包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息队列: kafka_2.11-0.11.0.1 安装序列: 1.  jdk安装预配置 jdk-8u144-windows-i586_8.0.1440.1.exe 点击安装:"下一步" ...   环境变量配置: 1)计算机/属性/高级系统设置/高级/环境变量,在系统变量中新建变量:JAVA_HOME    值:C:\Program File

Kafka是广泛使用消息服务,很多情况下关于认证部分我都是默认的配置,也就是不需要用户名/密码,也不配置证书.在内网或者在项目组内部可以,但是设计的跨部门时一般处于安全考虑都需要加上认证,防止kafka被误用,产生大量垃圾信息,干扰了正常业务的运行. Kafka提供的多种认证方式,比如SASL, 本文主要介绍启用了SASL_PLAINTEXT时,如何在kafka client配置jaas文件,以却把kafka client客户端能正确连接到kafka server上. 先上官方文档: 加载jaa

转载请注明原创地址:http://www.cnblogs.com/dongxiao-yang/p/7131626.html kafka从0.9版本以后引入了集群安全机制,由于最近需要新搭建一套kafka集群,决定采用SASL/GSSAPI (Kerberos) 作为新集群的权限系统基础,本次新集群版本为0.10.2.0. 团队内部已有同学搭建了专门的kerberos服务器,所以省掉了自建kerberos的步骤. (1)首先是为broker每台服务器在kerber服务器生成相应的principal

参考:https://www.cnblogs.com/huxi2b/p/10437844.html http://kafka.apache.org/documentation/#security_authz_examples kafka 版本 :2.3.0建立用户:kafka-configs.bat --zookeeper localhost:2181/kafka-scram --alter --add-config SCRAM-SHA-256=[iterations=8192,password

Kafka为broker,producer和consumer提供了很多的配置参数. 了解并理解这些配置参数对于我们使用kafka是非常重要的.本文列出了一些重要的配置参数. 官方的文档 Configuration比较老了,很多参数有所变动, 有些名字也有所改变.我在整理的过程中根据0.8.2的代码也做了修正. Boker配置参数 下表列出了Boker的重要的配置参数, 更多的配置请参考 kafka.server.KafkaConfig name 默认值 描述 brokerid none 每一个b

官网:http://kafka.apache.org/ 主要有3种安装方式: 1. 单机单broker 2. 单机多broker 3. 多机多broker 1. wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz 2. (可选,因为kafka自带zookeeper)wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.3.6/zo

一. Kafka中的相关概念的介绍 Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下: Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成<topic->message>对然后 丢进kafka集群相对应的称订阅topic处理对应message的进程为consumerKafka集群中的节

前言 在分布式系统中,要改个配置涉及到很多个系统,一个一个改效率低下,吃力不讨好.用配置中心可以解决这个问题.当然配置中心有不少,以下对比的表格是照搬Apollo Wiki的. 功能点 Apollo Spring Cloud Config 备注 配置界面 一个界面管理不同环境.不同集群配置 无,需要通过git操作 配置生效时间 实时 重启生效,或手动refresh生效 Spring Cloud Config需要通过Git webhook,加上额外的消息队列才能支持实时生效 版本管理 界面上直接提

1. 准备三台机器,系统CentOs6 2. 安装好JDK和zookeeper 参考: zookeeper配置记录 3. 解压安装包到指定目录 tar -zxvf kafka_2.12-2.1.0.tgz -C /javatools 4. 创建一个文件夹,用来存放日志(集群所有机器都要有) mkdir -p /kafkadata 5. 配置kafka config目录下的server.properties文件 每一个broker在集群中的唯一表示,要求是正数.当该服务器的IP地址发生改变时,br

本文简单说明了如何在Docker容器中运行GitLab. 1 准备工作 1.1 下载镜像 $ docker pull docker.io/gitlab/gitlab-ce:latest 1.2 创建持久化目录 $ mkdir -p /home/dockerdata/gitlab/config $ mkdir -p /home/dockerdata/gitlab/logs $ mkdir -p /home/dockerdata/gitlab/data 1.3 使用的端口 a, 容器内gitlab使

本文简要说明了如何在Docker容器中启动和配置Zookeeper. 1 准备工作 1.1 下载zookeeper镜像 $ docker pull zookeeper:3.4 1.2 单点模式 安装Docker CE 1.3 集群模式 安装Docker EE 创建一个名为zk-overlay的network $ docker network create -d overlay zk-overlay 2 启动Zookeeper 2.1 单点模式启动 $ docker run --name some