Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker. producers通过网络将消息发送到Kafka集群,集群向消费者提供

安装脚本 #!/bin/bash # auto install kafka echo "========= Start to install kafka ==============" function install_kafka(){ if [ -f "./kafka_2.12-2.0.0.gz" ];then echo "Start installing kafka" isopen9=$(firewall-cmd --query-port=/

1.下载二进制的Flink,根据你喜欢的Hadoop/Scala版本选择对应的Flink版本. https://flink.apache.org/downloads.html2.选择存放目录 解压 flink-1.7.2-bin-hadoop28-scala_2.11.tar 存放目录: /usr/local/flink 解压: tar -xvf flink-1.7.2-bin-hadoop28-scala_2.11.tar3.配置flink环境变量4.启动Flink ./bin/start-l

linux安装单机版redis已经在另一篇文章说过了,下边来搞集群,环境是新浪云服务器: redis3.0以后开始支持集群. 前言:redis用什么做集群? 用一个叫redis-trib.rb的ruby脚本.redis-trib.rb是redis官方推出的管理redis集群的工具,集成在redis的源码src目录下(redis-xxx/src/).是基于redis提供的集群命令封装成简单.便捷.实用的操作工具.redis-trib.rb是redis作者用ruby完成的.所以redis集群需要先安

简单记录单机版kafka的安装:JDK1.8(jdk-8u131-linux-x64.rpm)zookeeper (zookeeper-3.4.10.tar.gz)kafka (kafka_2.12-2.0.0.tgz) 安装好JDK后一.zookeeper安装1.下载:wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz2.解压: tar -zxvf zookeeper-3.

阅读本文需要安装JDK 一 Zookeeper简介 zookeeper是用java语言编写的一款为分布式应用所设计的协调服务 zookeeper是apacahe hadoop的子项目 使用zookeeper可以减轻分布式应用程序所承担的协调任务 二 Zookeeper应用场景 1. 作为dubbo服务的注册中心 2. 作为集群的管理工具 三 环境 阿里云服务器: CentOS 7.4 64位(基于RedHat) 本机: macOS High Sierra 四 压缩包 http://mirrors

阅读本文需要一定的Linux基础 一 Redis简介 redis是用c语言编写的一款开源的高性能键值对(key-value)数据库 它通过提供多种键值数据类型来适应不同场景下的存储需求 二 Redis应用场景 1. 缓存(使用最多) 2. 任务队列 3. 应用排行榜 4. 网站访问统计 5. 数据过期处理(可以精确到毫秒) 6. 分布式集群架构中的session分离 三 环境 阿里云服务器: CentOS 7.4 64位(基于RedHat) 本机: macOS High Sierra 四 压缩包

阅读本文需要一定的Linux基础 一 FastDFS简介 fastdfs是用c语言编写的一款开源分布式文件系统, fastdfs为互联网量身定制, 充分考虑了冗余备份, 负载均衡, 线性扩容等机制, 并注重高可用, 高性能等指标, 使用fastdfs很容易搭建一套高性能的文件服务器集群提供文件上传|下载等服务. 二 FastDFS架构 fastdfs架构包括tracker server和storage server, 客户端请求tracker server进行文件上传|下载, 通过tracker

本文主要和大家分享最详细的linux安装php过程,然后写好了nginx的安装配置,后面就是php的安装和mysql的安装,不过时间有限,而且放篇里也太长,所以都是分开来写,php安装完毕后就是mysql的配置了. 一:检查是否安装了php 1)yum安装检查:yum list已安装| grep php 2)rpm安装检查:rpm -qa | grep php 3)自己编译安装的有多种方式查询,例如查找php的执行程序,或者检查进程ps -ef | grep php等方法. 二:检查如果没有安装

Linux 下搭建 Kafka 环境 作者:Grey 原文地址: 博客园:Linux 下搭建 Kafka 环境 CSDN:Linux 下搭建 Kafka 环境 环境要求 操作系统:CentOS 7 下载地址 安装说明 Kafka 版本:2.11-2.1.0 下载地址 注:这个版本的 Kafka 需要依赖 JDK 和 Zookeeper. JDK 版本:8u181 下载地址 Zookeeper 版本:3.4.5 下载地址 注:以上中间件均搭建在一个 Linux 系统中,如果需要分不同的系统安装,注

搜狗输入法linux安装版,先安装各种依赖包,大概12个依赖,可能中途还需要其他依赖,可以效仿解决依赖问题.如图这12个文件要是手动点击下载,那也太笨点了,我们要用shell命令批量下载.命令如下:wget -c http://http.kali.org/pool/main/f/fcitx/fcitx-libs_4.2.8.5-2_amd64.debwget -c http://http.kali.org/pool/main/f/fcitx/fcitx-libs-qt_4.2.8.5-2_amd

接上篇:linux安装apache 一.安装php 先安装libxml2库 [root@ctxsdhy package]# yum -y install libxml2-devel 最新地址在:http://php.net/downloads.php 可以手动下载,也可以用wget 执行: [root@ctxsdhy package]# wget http://cn2.php.net/distributions/php-7.0.13.tar.gz [root@ctxsdhy package]#

准备oracle安装文件 Oracle11gR2包含两个文件linux_11gR2_database_1of2.zip和linux_11gR2_database_2of2.zip,将这两个文件通过SSH上传到/usr /local/oracle中. 解压安装文件到当前目录 [root@localhost root]#cd /usr/local/oracle [root@localhost oracle]#unzip linux_11gR2_database_1of2.zip [root@loca

TODO:Linux安装PHP MongoDB驱动 PHP利于学习,使用广泛,主要适用于Web开发领域. MongoDB的主要目标是在键/值存储方式(提供了高性能和高度伸缩性)以及传统的RDBMS系统(丰富的功能)架起一座桥梁,集两者的优势于一身. 在php中使用mongodb你必须使用 mongodb 的 php驱动. 本文是小编在部署生产环境的时候简单记录. 1. 下载PHP的mongodb驱动安装包mongodb-1.1.9.tgz wget https://pecl.php.net/ge

以前写过一篇文章介绍过Symantec Backup Exec 2012 Agent For Linux安装安装,今天介绍一下Symantec Backup Exec 2010 Agent For Linux安装,关于赛门铁克的Backup Exec的功能请看下面主要功能和主要优势介绍.有兴趣的可以参考官网介绍:http://www.symantec.com/zh/cn/backup-exec. 现在最新的版本是Symantec Backup Exec 2014. 主要功能 使用单个解决方案保护

Backup Exec 2012 介绍 Backup Exec 2012 是一种为虚拟和物理环境提供保护的集成产品,能够简化备份和灾难恢复,并提供了无可匹敌的恢复功能.借助于强大的 Symantec V-Ray 技术,Backup Exec 2012 可以恢复整个服务器.关键 Microsoft 应用程序以及 VMware 或 Microsoft Hyper-V 虚拟环境,从而最大限度减少业务停机. 主要功能 使用获得专利的 V-Ray 技术,通过一次性备份在数秒内轻松地恢复虚拟机.应用程序.数

1.Linux安装JDK步骤1. 先从网上下载jdk(jdk-1_5_0_02-linux-i586.rpm) ,推荐SUN的官方网站www.sun.com,下载后放在/home目录中,当然其它地方也行.进入安装目录#cd /home#cp jdk-1_5_0_02-linux-i586.rpm /usr/local#cd /usr/local 2.给所用户添加可执行的权限#chmod +x jdk-1_5_0_02-linux-i586.rpm.bin#./jdk-1_5_0_02-linux

Hadoop Linux安装 步骤流程 1.硬件准备 2.软件准备(推荐CDH) 3.将Hadoop安装包分发到各个节点下 4.安装JDK 5.修改/etc/hosts配置文件 6.设置SSH免密码登陆 7.修改配置文件 8.启动服务 9.验证 1.下载软件 1.1 apache版本 下载链接:http://www.apache.org/ 1.2 CDH 下载链接:http://www.cloudera.com/ 2.安装JDK.解压Hadoop安装包并分发到各个节点 3.修改/etc/host

接着上回说道,我把双系统做好啦,开心.... 之后我就在想几个问题: 1.在Ubuntu装好后,重启电脑却还是win7,等我用EasyBCD之后,才可选择使用装好的Ubuntu呢? 2.在用EasyBCD时,为什么device要选择boot挂载点呢? 3.在分区的时候,我只看到了/dev/sda1. /dev/sda5. /dev/sda6…,那sda2,sda3,sda4都哪去了? 4.分区又是怎么回事,怎么才能何理的进行分区呢? 几个概念: 硬盘的扇区:硬盘上面的一种单位,大小为512Byt

1 Debian 安装 ssh2 首先确保你的Debian或者linux安装ssh并开启ssh服务 Debian和ubuntu的安装方法一样,只要源OK的话,可以直接安装 apt-get install openssh-server 启动SSH服务 /etc/init.d/ssh start 如果是非管理员用户请使用 su 命令切换到 root 用户执行. 2 windows 安装 SecureCRT 网上下载SecureCRT直接安装即可. 只需要输入IP,protocol选择SSH2即可,端

阿里云Linux安装软件镜像源 阿里云是最近新出的一个镜像源.得益与阿里云的高速发展,这么大的需求,肯定会推出自己的镜像源.阿里云Linux安装镜像源地址:http://mirrors.aliyun.com/ CentOS系统更换软件安装源第一步:备份你的原镜像文件,以免出错后可以恢复. mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup第二步:下载新的CentOS-Base.repo 到/e