一.安装kafka(单机版) 因为现在的kafka安装包都自带zookeeper,所以如果是安装本地单机版kafka,不需要额外去安装zookeeper,使用自带的就可以了. 1.下载kafka 2.4版本 kafka下载地址:http://kafka.apache.org/downloads.html # wget https://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgz # tar xf kafka_2.12-2.4.

伟大的程序员版权所有,转载请注明:http://www.lenggirl.com/bigdata/server-sofeware-install.html 一.安装mongodb 官网下载包mongodb 配置文件config.conf,需绑定内网IP且开启web监控 bind_ip=172.16.0.10,127.0.0.1 rest=true dbpath=/data/db/mongodb/27017 port=27017 logpath=/data/logs/db/mongodb/mong

简介: 不想通过kafka shell来管理kafka已创建的topic信息,想通过管理页面来统一管理和查看kafka集群.所以选择了大部分人使用的kafka manager,我一共有一台主机master和三台节点slave1,slave2,slave3,一共有三个zookeeper server和三个kafka broker,分别在master,slave1,slave2.所以我把kafka manager安装在了slave3的服务器上面. 一.启动kafka的JMX端口的访问 至于JMX是什

一.官网 http://kafka.apache.org/downloads.html 二.Kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素. 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop的一样的日志数据和离线分析系统,但

简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区.多副本.冗余,因此被广泛用于大规模消息数据处理应用.Kafka 支持Java 及多种其它语言客户端,可与Hadoop.Storm.Spark等其它大数据工具结合使用. 本教程主要介绍Kafka 在Centos 7上的安装和使用,包括功能验证和集群的简单配置. 安装JDK Kafka 使用Zookeeper 来保存相关配置信息,Kafka及Zookee

1.检查当前安装的PHP包 yum list installed | grep php 如果有安装的PHP包,先删除他们 yum remove php.x86_64 php-cli.x86_64 php-common.x86_64 php-gd.x86_64 php-ldap.x86_64 php-mbstring.x86_64 php-mcrypt.x86_64 php-mysql.x86_64 php-pdo.x86_64 2.不同centos版本,在yum 安装前,增加yum仓库信息 Ce

写这篇文章的原因是:在刚开始使用Linux操作系统时想要搭建LAMP环境,于是开始在Google和百度上各种寻找资料,碰到了不是很多的问题后,我决定写这篇文章总结一下在Linux下yum安装MySQL数据库的过程,至于编译安装,我这里没法做过多的补充,因为我不想去妄言一个我还没有完全掌握的知识,各位见谅,以后搞明白了会补上的. 好了,我们直接进入正题: Linux 下 yum安装mysql 1. wget http://dev.mysql.com/get/mysql57-community-re

上面简单列出了源码安装的sls文件书写思路. 涉及到一些固定的思路:如, 1,拷贝 解压安装时候需要依赖tar.gz存在 如果已安装则无需再次安装. 2,启动脚本 加入chk时候需要文件存在,如果已添加,则无需再次添加 3,服务管理 除了有启动脚本,还要watch配置文件.   晚上睡前早上起来多撸几遍基本的软件安装就可以自己写了.下面是源码安装nginx.涉及到基础依赖包安装(yum安装),以及pcre安装(源码安装)和nginx(源码安装) 其中有些坑,调整了老半天才搞好,甚是蛋疼,要注意图

1.安装MariaDB 安装命令 yum -y install mariadb mariadb-server 安装完成MariaDB,首先启动MariaDB,两条命令都可以 systemctl start mariadb#service mariadb start 设置开机启动 systemctl enable mariadb#chkconfig mariadb on 接下来进行MariaDB的相关简单配置 mysql_secure_installation 首先是设置密码,会提示先输入密码 E

CentOS7的yum源中默认好像是没有mysql的.为了解决这个问题,我们要先下载mysql的repo源. 1. 下载mysql的repo源 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 2. 安装mysql-community-release-el7-5.noarch.rpm包 rpm -ivh mysql-community-release-el7-5.noarch.rpm 安装这个包后,会获得两个m

在工作中我们经常遇到需要给php安装插件,今天把php安装kafka的插件的步骤整理下,仅供大家参考 1:需要先安装librdkafka git clone https://github.com/edenhill/librdkafka.git./configure --prefix=/usr/local/product/librdkafkamake make installln -s /usr/local/product/librdkafka/lib/lib* /usr/local/libln

vanish可以让用户自己选择缓存数据是存于内存还是硬盘,存于内存一般基于二八法则即常访问的数据是磁盘存储的总数据五分之一,因此内存也应该是硬盘文件大概五分之一.如果有多台vanish则,总内存满足即可,由前端代理服务器实现负载调度.最后由于缓存需要平凡的刷新,因此内存也不要过大,否则会浪费在内存调度算法上.一般7500转每分的磁盘只能完成每秒80左右的随机io,为了增加磁盘io,则可以做raind0,固态硬盘擦写十万次,是指写满整个磁盘才算一次.      缓存的保持有两种方式为文档请求机制和

1.查看CentOS自带JDK是否已安装. 输入:yum list installed |grep java. 2.若有自带安装的JDK,如何卸载CentOS系统自带Java环境? 卸载JDK相关文件输入:yum -y remove java-1.7.0-openjdk*. 3.查看yum库中的Java安装包. 输入:yum -y list java* . 4.使用yum安装Java环境. 输入:yum -y install java-1.7.0-openjdk* ,以yum库中java-1.7

1. 用yum安装Apache,Mysql,PHP. 1.1安装Apache yum install httpd httpd-devel 安装完成后,用/etc/init.d/httpd start 启动apache 设为开机启动:chkconfig httpd on 1.2 安装mysql 1.2.1 yum install mysql mysql-server mysql-devel 同样,完成后,用/etc/init.d/mysqld start 启动mysql 1.2.2 设置mysql

1. 查看系统里面有没有mysql 的repo   yum repolist all | grep mysql 2. 如果没有发现,则需要配置repo 注意,如果要使用5.7 或者其他任何版本,只能有一个是 enabled=1的,其他的都得enabled=0. #vim /etc/yum.repos.d/mysql-community.repo# Enable to use MySQL 5.6[mysql56-community]name=MySQL 5.6 Community Serverba

1.在 /etc/yum.repos.d/ 下建立 MariaDB.repo,内容如下: [azureuser@mono etc]$ cd /etc/yum.repos.d [azureuser@mono yum.repos.d]$ vi MariaDB.repo # MariaDB 10.0 CentOS repository list - created 2013-08-23 13:08 UTC # http://mariadb.org/mariadb/repositories/ [mari

E.1   安装Kafka E.1.1    下载Kafka Kafka是由LinkedIn设计的一个高吞吐量.分布式.基于发布订阅模式的消息系统,使用Scala编写,它以可水平扩展.可靠性.异步通信和高吞吐率等特性而被广泛使用.目前越来越多的开源分布式处理系统都支持与Kafka集成,其中Spark Streaming作为后端流引擎配合Kafka作为前端消息系统正成为当前流处理系统的主流架构之一. Kafka安装包可以在其官网下载页面下载,下载地址如下,为加快下载速度可以选择中国境内的镜像,选择

原文地址:http://54im.com/openldap/centos-6-yum-install-openldap-phpldapadmin-tls-%E5%8F%8C%E4%B8%BB%E9%85%8D%E7%BD%AE.html 钿畑的文章索引 1.概念介绍 2. 环境介绍 2. 准备工作 3. yum部署ldap 4. phpldapadmin安装 5.ldap客户端配置 6.用户目录自动挂载 6.1 服务器端配置 6.2 客户端配置 7.配置TLS传输加密 8.配置openldap双

Alternative PHP Cache(可选PHP缓存),依赖于 PECL扩展库 用源码方式安装,直接yum就行了:首先要安装apc的依赖包:yum install php-pear php-devel httpd-devel pcre-devel gcc make 然后使用pecl安装apc:pecl install apc 添加apc扩展到配置文件:echo "extension=apc.so" > /etc/php.d/apc.ini 最后记得重启服务器:service

一. 不多说其他的无用话题.直接看步骤: 1.要安装某个工具,首先得知道这个工具需要依赖包. eg:iftop 就依赖 以下这几个依赖包(不清楚工具依赖什么包“Google.百度”). flex   byacc    libpcap    ncurses    ncurses-devel    libpcap-devel 2.既然知道了 工具依赖包时哪些了,是不得知道这些个依赖包在目标服务器上是否有安装. eg:命令: rpm -q samba //查询程序是否安装

Windows 7 安装Apache kafka_2.11-0.9.0.1     下载所需文件 Zookeeper: http://www.apache.org/dyn/closer.cgi/zookeeper/ Kafka :http://kafka.apache.org/downloads.html     帮助文档:http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_configuration     安装Zook