1. 如果你的集群尚未安装所需软件,你得首先安装它们. 以Ubuntu Linux为例: $ sudo apt-get install ssh $ sudo apt-get install rsync 2.为了获取Hadoop的发行版,从Apache的某个镜像服务器上下载最近的 稳定发行版 3.解压所下载的Hadoop发行版.编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径. 4.在etc/hadoop目录下修改hadoop-env.sh加入j…

原文链接:http://www.yiidian.com/springcloud/build-eureka-single.html 本文介绍搭建单机版的Eureka Server服务 1 创建项目,导入依赖 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="…

搭建单机版的kafka  …

0x00 环境及软件 1.系统环境 OS:Windows10_x64 专业版 2.所需软件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8.3.tar.gz scala-2.11.8.zip hadoop-common-2.2.0-bin-master.zip(主要使用里面的winutils.exe) IntelliJ IDEA(版本:2017.1.2 Build #IU-171.4249.32,built on April 21…

版本:虚拟机下安装的ubuntu14.04(64位),hadoop-2.6.0 下面是hadoop2.6.0的官方英文教程: http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation hadoop下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/ 选择hadoop-…

转载:ubuntu搭建hadoop-Ver2.6.0完全分布式环境笔记 自己在搭建hadoop平台时,碰到一些困难,按照该博文解决了问题,转载一下,作为记录. 2 先决条件 确保在你集群中的每个节点上都安装了所有必需软件:JDK ,ssh,Hadoop 3 实验环境搭建 3.1 准备工作 操作系统:Ubuntu 部署:Vmvare 在vmvare安装好一台Ubuntu虚拟机后,可以导出或者克隆出另外两台虚拟机. 说明: 保证虚拟机的ip和主机的ip在同一个ip段,这样几个虚拟机和主机之间可以相互…

第一章:Zookeeper介绍 Zookeeper,动物管理员,是用来管理hadoop(大象).Hive(蜜蜂).Pig(小猪)的管理员. Apache Hbase和Apache Solr的分布式集群都用到了Zookeeper. Zookeeper是一个分布式.开源的程序协调服务,是Hadoop项目下的一个子项目.它提供的主要功能是配置管理.名字服务.分布式锁.集群管理. 1.1:Zookeeper的作用:配置管理(重点) 抛出问题: 在我们的应用中,除了代码,还有一些就是各种配置.比如:数据库…

Zookeeper是一个分布式协调组件,本质是一个软件. Zookeeper常用的功能有: 发布订阅功能,把 zookeeper 当作注册中心的原因. 分布式/集群管理功能 Zookeeper是Java语言实现的,所以需要JDK环境的支持. 一.JDK环境的搭建 1. 将jdk-8u144-linux-x64.tar.gz上传到 /tmp下 2. 解压:tar  -zxvf  jdk-8u144-linux-x64.tar.gz 3. 拷贝到: cp -r  jdk1.8.0_144  /usr…

二.下载软件 JDK,Scala,SBT,Maven 版本信息如下: JDK jdk-7u79-linux-x64.gz Scala scala-2.10.5.tgz 三.解压上述文件并进行环境变量配置 # cd /usr/local/ # tar xvf /root/jdk-7u79-linux-x64.gz # tar xvf /root/scala-2.10.5.tgz # tar xvf /root/apache-maven-3.2.5-bin.tar.gz # unzip /root/…

Redis解决的问题是:作为一个缓存nosql数据库,能够支持高并发,关系型数据库是存储在磁盘中,通过io读写,而redis是存储在内存中,因此,能够实现高可用,他主要是解决数据库性能瓶颈而产生的. 当单机版redis在访问量高的时候,可能出现承载的性能问题,于是对他进行扩容就产生了多机版,多机版有一个同步问题,为了解决该问题应用了集群,集群是有一个master和多个slave之间进行同步,Redis3.0之后的Redis cluster集群更便捷,为此本篇主要是讲Redis cluster-s…