登录 http://node1.com:7180/.用户名和密码都是admin.启动服务命令是 service  cloudera-scm-server start 最开始两个页面直接continue,然后会出现下面这个页面: 可以看出我们可以通过Cloudera Manager安装的hadoop组件. 接下来,配置我们要安装的服务器有哪些: 我这里有三台服务器. 接下来选择cdh版本:我选择最新的5.5.1 是否安装jdk: 是否是单用户模式:我选择不适用 单用户模式的详细信息参阅: h…

   决定选择 Cloudera Manager 进行安装,阅读官方文档,掌握大概脉络.         Cloudera Manager在集群已经实现ssh免秘钥登录,能够访问网络资源和本地资源的情况下,可以自动安装和配置CDH(Cloudera  distributed hadoop),以及管理在这个集群上面的服务.        Cloudera Manager安装软件包括: A small self-executing Cloudera Manager installation prog…

从8月份到现在12月份,中间有四个月的时间没有学习hadoop系统了.其实适应新的环境,到现在一切尘埃落定,就应该静下心来,好好学习一下hadoop以及我之前很想学习的mahout.个人对算法比较感兴趣,不希望自己能够研究出点啥,只求我自己能够明白和运用牛人们已经研究出来的东西.所以,今天在搭建了三台centos机器,准备搭建hadoop平台. 系统 系统版本: CentOS release 6.5 (Final) CPU: model name      : Intel(R) Core(TM)…

之前接触过很多很多hadoop版本,现在重新搭建平台,面临选择哪个版本的问题. 当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素: (1)是否为开源软件,即是否免费. (2) 是否有稳定版,这个一般软件官方网站会给出说明. (3) 是否经实践验证,这个可通过检查是否有一些大点的公司已经在生产环境中使用知道. (4) 是否有强大的社区支持,当出现一个问题时,能够通过社区.论坛等网络资源快速获取解决方法. 对于版本选择,dongxicheng在他的博客中做过总结:点击这个链接可以查…

SSH对于大多程序员都不陌生,目前主流的云服务提供上也是通过SSH来提供链接的安全保障,比如AWS通过使用下载的私钥(private key)实现与EC2实例安全连接.GitHub通过上传的公钥(public key)实现基于git协议(底层使用SSH)远程库管理. SSH(Secure Shell)是一个提供数据通信安全.远程登录.远程指令执行等功能的安全网络协议,由芬兰赫尔辛基大学研究员Tatu Ylönen,于1995年提出,其目的是用于替代非安全的Telnet.rsh.rexec等远程S…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分布式文件系统,分为 namenode: nn1.hadoop nn2.hadoop datanode: s1.hadoop s2.hadoop s3.hadoop (看不明白这5台虚拟机的请看前面 01前期准备 ) 解压配置文件 [had…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 这一篇接着记录集群搭建,开始安装配置zookeeper,它的作用是做集群的信息同步,zookeeper配置时本身就是一个独立的小集群,集群机器一般为奇数个,只要机器过半正常工作那么这个zookeeper集群就能正常工作,工作时自动选举一个leader其余为follower…

Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 先保证集群5台虚拟机,   nn1 nn2 s1 s2 s3 hadoop 是 是 是 是 是 zookeeper 是 是 是     namenode 是 是       jouralnode 是 是       datanode     是 是 是 1.然后启动yarn在nn1机器上: [hadoop@nn1…

忽略元数据末尾 回到原数据开始处 Hadoop+spark集群搭建 说明: 本文档主要讲述hadoop+spark的集群搭建,linux环境是centos,本文档集群搭建使用两个节点作为集群环境:一个作为Master节点,另一个作为Slave节点,由于spark依赖scala,所以需要安装scala 搭建步骤: 一:安装jdk二:安装hadoop集群(http://www.powerxing.com/install-hadoop-cluster/也可参考这个大家hadopp集群)1:选定一台机器…

Hadoop+HBase 集群搭建 1. 环境准备 说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1. 1.1 配置说明 本次集群搭建共三台机器,具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode.NodeManager.NameNode hadoop02 10.0.0.11 DataNode.NodeManager.ResourceManager.SecondaryNameNode hadoop03 10.0.0.12 Data…

layout: "post" title: "Hadoop分布式集群搭建" date: "2017-08-17 10:23" catalog: true --- 基础环境 ## 环境准备 1,软件版本 (1)在VMWare上面跑了三台虚拟机:CentOS7,系统内核3.10 (2)三台虚拟机的IP:192.168.102.3,192.168.102.4,192.168.102.5.三台机器分别作为hadoop的master,slaveA,slav…

集群配置: jdk1.8.0_161 hadoop-2.6.1 zookeeper-3.4.8 linux系统环境:Centos6.5 3台主机:master.slave01.slave02 Hadoop HA集群搭建(高可用): 设置静态IP地址 为普通用户添加sudo权限 服务器网络设置:NAT模式 域名设置 主机名设置 SSH免登录配置 关闭防火墙 红色步骤主每台主机都要执行,参照上一篇伪分布式集群的搭建 环境变量(每台主机一样): 配置文件: 配置core-site.xml <confi…

1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链接成功了: 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts,改过之后即生效,自己可以ping一下,我这里ip对应master,比如ping master之后发现可以ping通即可: 4:修改过主机名称和主机名与ip对应的关系之后:开始上传jd…

接上篇:Hadoop3集群搭建之——虚拟机安装 下篇:Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 上篇已经安装好了虚拟机了,现在开始配置环境,安装hadoop 注:hadoop集群最少需要三台机,因为hdfs副本数最少为3,单机不算 我搭了三台机 1.创建hadoop用户,hadoopgroup组 groupadd -g hadoopgroup # 创建用户组 useradd -d /opt/hado…

前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS和MapReduce理论原理看懂了再来搭建,会流畅很多. 准备阶段: 系统:Ubuntu Linux16.04  64位 (下载地址:https://www.ubuntu.com/download/desktop) 安装好Ubuntu之后,如果之前没有安装过jdk,需要先安装jdk.这里安装jdk的…

序言 最近公司一个汽车项目想用hbase做存储,然后就有了这篇文字,来,来,来, 带你一起征服hbase,并推荐一本书<hbase权威指南> 这是一本极好的hbase入门书籍,我花了一个晚上看完觉得这书蛮好的!  本文分上下两篇,上篇是hbase+hadoop+hdfs+zookeeper集群环境的安装,下篇讲解hbase如何集成spring来使用.hbase是个什么鬼?不知道不要紧,本文是我三天的成果,拿去,不谢! Hbase+hadoop+hdfs+zookeeper集群环境的安装 had…

用到的安装包有: apache-hive-1.2.1-bin.tar.gz mysql-connector-java-5.1.49.tar.gz 百度网盘链接: 链接:https://pan.baidu.com/s/1VU9rBPm9c_LE3llqvp8qZw 提取码:zjhz 前提条件 :搭建好Hadoop集群 建议:初学者初步安装看多看一下文中的建议. 一．MySQL安装 前提:必须卸载干净MySQL 首先用命令更新系统 Centos 的安装命令 sudo yum update Ubant…

前面集群的准备工作都做完了,本篇记录安装JDK,版本位1.8 1,在opt目录下创建software和module文件夹:software用来放安装包,module为安装目录 2,把JDK和hadoop安装包,导入software.这里我利用xshell的文件传输功能 3,把JDK解压到module文件夹下 4,配置JDK环境变量.把Java的安装目录,添加到 /etc/profile 文件中 5,让修改的文件生效.source /etc/profile 6,验证.java -version 本…

前段时间搭了下hadoop,每次都会碰到很多问题,也没整理过,每次搜索都麻烦,现在整理下 一.准备工作 1.准备俩计算机,安装linux系统,分别装好jdk(虚拟机操作一样) nano /etc/hostname 修改hostname nano /etc/hosts 添加ip及hostname信息 2.计算机信息如下 主机名 ip地址 作用 启动的进程 test1   192.168.155.2 master/slave namenode,jobtracker,secondarynamenode…

1.选取三台服务器(CentOS系统64位) 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作.如果是用root用户操作的话就不存在以上问题. 我是用root用户操作的. 2.修改hosts文件 修改三台服务器的hosts文件. vi /etc/hosts 在原文件的基础最后面加上: 114.55.246.88 Master 114.55.…

1.环境 操作系统:ubuntu16 jdk:1.8 hadoop:2.9.1 机器:3台,master:192.168.199.88,node1:192.168.199.89,node2:192.168.199.90 2.搭建步骤 2.1 修改主机名hostname,三台机器分别执行如下命令,依次填入master,node1,node2 sudo vim /etc/hostname 2.2 修改hosts文件,三台机器依次执行 sudo vim /etc/hosts 2.3 修改环境变量,三台…

  NameNode DataNode Zookeeper ZKFC JournalNode ResourceManager NodeManager node1 √   √ √   √   node2 √ √ √ √ √   √ node3   √ √   √   √ node4   √     √ √ √ (ZKFC在NameNode上启动,NodeManager在DataNode上启动,可通过start-dfs.sh和start-yarn.sh,yarn-daemons.sh查看) 1.4台…

Hadoop是一个开源的分布式系统框架 一.集群准备 1. 三台虚拟机,操作系统Centos7,三台主机名分别为k1,k2,k3,NAT模式 2.节点分布 k1: NameNode DataNode ResourceManager NodeManager        k2: SecondNameNode DataNode NodeManager        k3 : DataNode NodeManager 3.安装包准备 jdk-8uxx-linux-x64.rpm        hado…

网络配置 1.永久性配置CentOS网络 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static IPADDR=192.168.1.110 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 2.重启网卡 service network restart 关闭防火墙 service iptables stop service…

获取镜像 #本机内 docker pull ubuntu:16.04 编排镜像 启动一个容器 #本机内 docker run -i -t --name master ubuntu:16.04 在容器内进行安装配置 #容器内 apt update apt install openjdk8-jdk, ssh, net-tools,iputils-ping echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/' >> ~/.bashrc…

那玩大数据,想做个大数据的从业者,必须了解在生产环境下搭建集群哇?由于hadoop是apache上的开源项目,所以版本有些混乱,听说都在用Cloudera的cdh5来弄?后续研究这个吧,就算这样搭建不适合真实环境,也算是了解hadoop的一些基本东西了. 搭建之前要做一些前期的准备,如果买不起服务器那就装虚拟机吧,看了一种用最少的服务器模拟真是环境的搭建方式,需要四台,好吧,整四个虚拟机,事实证明我的坑爹电脑撑得住. 使用vm建立几台虚拟机,首先要知道自己处在什么样的网络环境下,其实直接用nat…

准备 需要准备多台主机(已经安装并且配置好hadoop和jdk) 需要配置ssh免密服务 下面我们开始进行配置,拿到已经准备好的主机,主机名分别为: centos101 centos102 centos103 先说下为什么需要进行ssh免密码配置: 我们在操作集群时,经常需要在各台主机上进行数据传输.主机切换等工作,如果直接进行切换等操作需要每次输入密码,当操作频繁 时,就显得很复杂,所以需要配置ssh免密码,让主机间自动检验账号密码. 主机间进行ssh通信的原理图 配置ssh免密 ①在主机ce…

准备工作: 若没有下载vim请下载vim 若出现 Could not get lock /var/lib/dpkg/lock 问题请参考: https://jingyan.baidu.com/article/636f38bb861422d6b8461024.html 下载 openssh-server 查看ssh 如果显示sshd则说明已启动成功 查看主机 ifconfig -a inet后面即为你的ip Xshell连接 创建soft目录 下载lrzsz, 然后就可以拖拉文件上传了 JDK配置…

1.hadoop-env.sh 2.core-site.xml <configuration> <!-- 指定hdfs的nameservice为ns1 --> <property> <name>fs.defaultFS</name> <value>hdfs://ns1/</value> </property> <!-- 指定hadoop临时目录 --> <property> <na…

1.软件准备 a).操作系统:CentOS-7-x86_64-DVD-1503-01 b).虚拟机:VMware-workstation-full-9.0.2-1031769(英文原版先安装)  VMware Workstation 9.0.2.1031769(汉化包后安装) c).xftp4.XShell4 2.CentOS安装步骤 PS: 打开虚拟机之后,提示了一个小错误,LZ根据错误提示,到BIOS里面设置了一下,然后重启继续安装..     这里把Intel virtual Tehnol…