本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn(namenode) 192.168.30.142 s142 dn(datanode) 192.168.30.143 s143 dn(datanode) 192.168.30.144 s144 dn(datanode) 由于本人使用的是vmware虚拟机,所以在配置好一台机器后,使用克

本篇介绍在centos7中搭建hadoop2.10高可用集群,首先准备6台机器:2台nn(namenode);4台dn(datanode):3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1(namenode),zkfc(DFSZKFailoverController),zk(QuorumPeerMain) 192.168.30.142 s142 dn(datanode), jn(journalnode),zk(QuorumPee

1.准备一台Vmware虚拟机,添加hdfs用户及用户组,配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户,并设置密码: adduser hdfs passwd hdfs 将hdfs用户添加到hdfs用户组中 usermod -a -G hdfs hdfs 前面一个hdfs是组名,后面一个hdfs是用户名 验证用户和用户组: cat /etc/group 会看到   hdfs:x:1001:hdfs 将h

环境:[centos7.hadoop-2.7.3.zookeeper-3.4.6.hbase-1.2.5] 两个节点:[主节点,主机名为Master,用户为root:从节点,主机名为Slave,用户为root] 1.设置主机名,实现域名通信(所有节点都要改) 修改hostname主机名 hostnamectl set-hostname 主机名 #修改三种主机名 hostnamectl –static set-hostname 主机名 #只会修改static主机名 ifconfig查看ip 我这里

环境说明 示例环境 主机名 IP 角色 系统版本 数据目录 Hadoop版本 master 192.168.174.200 nameNode CentOS Linux release 7.4.1708 (Core) 2.8.0 slave1 192.168.129.201 dataNode CentOS Linux release 7.4.1708 (Core) 2.8.0 准备工作 JDK安装 确认本机安装的JDK版本为1.7以上,建议为1.8. 查看本机安装JDK rpm -e --node

环境: CentOS7 hadoop2.6.4两个节点:master.slave1 HBase1.1.6 过程: hadoop安装目录:/usr/hadoop-2.6.4 master节点,hadoop用户登录.在hadoop目录下新建thirdparty目录: $ mkdir thirdparty 目录结构: 把hbase1.1.6解压到thirdparty目录下: $ cp ~/hbase-1.1.6-bin.tar.gz thirdparty $ cd thirdparty $ tar z

环境: CentOS7+SunJDK1.8@VMware12. NameNode虚拟机节点主机名:master,IP规划:192.168.23.101,职责:Name node,Secondary name node,Resource manager. DataNode虚拟机节点主机名:slave1,IP规划:192.168.23.102,职责:Data node,Node manager. 每个虚拟机分配资源:CPU单颗,内存2GB,硬盘20GB. 过程概要: 创建2个虚拟机,主机名分别为:m

集群架构 虚拟机规划 IP hostname 节点说明 端口 控制台地址 192.168.247.150 rabbitmq.master rabbitmq master 5672 http://192.168.247.150:15672 192.168.247.151 rabbitmq.s.o rabbitmq slave 5672 http://192.168.247.151:15672 192.168.247.152 rabbitmq.s.t rabbitmq slave 5672 http

用户配置: User :root Password:toor 2.创建新用户 student Pwd: student 3．安装virtualbox的增强工具软件 4.系统默认安装的是openjdk 1.7.0.5 没有jps等工具可以使用. 但hadoop应该是可以在openjdk中使用的. 卸载openjdk,下载安装oracle jdk. for i in $(rpm -qa | grep openjdk | grep -v grep) do echo "Deleting rpm ->

公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程 1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html 找到自己hadoop对应的版本下载安装,我这里下载的是 apache-hive-2.3.6-bin.tar.gz 2.安装hive,将安装包解压到/opt/soft下,并建立软链接 tar -zxvf apac

centos7 搭建GlusterFS 转载http://zhaijunming5.blog.51cto.com/10668883/1704535 实验需求:4台机器安装GlusterFS组成一个集群 4个节点的硬盘空间不整合成一个硬盘空间,要求每个节点都存储一份,保证数据安全 环境规划server node1:192.168.0.165 主机名:glusterfs1 node2:192.168.0.157 主机名:glusterfs2 node3:192.168.0.166 主机名:glust

CentOS7 搭建 SVN 服务器 介绍SVN: SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS.CVS,它采用了分支管理系统,它的设计目标就是取代CVS.互联网上很多版本控制服务已从CVS迁移到Subversion.说得简单一点SVN就是用于多个人共同开发同一个项目,共用资源的目的. 安装SVN: [root@centos7 ~]# [root@centos7 ~]# yum install -y subversion 出现如下问题: [root@cento

目录 CentOS7搭建OpenVPN 环境 安装 第一步.安装openvpn及所需软件 第二步.编辑vars文件,根据自己环境配置 第三步.创建服务端证书及key 第四步.创建客户端证书 第五步.拷贝生成的证书放置回openvpn目录 第六步.编写服务端配置文件 第七步.启动openvpn服务 第八步.下载windows openvpn客户端,并进行配置. 第九步 Linux openvpn客户端连接服务端测试 CentOS7搭建OpenVPN 文:铁乐与猫 2017年11月份 环境 安装了虚

Hadoop 2.7.1 (2015-7-6更新),hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况.尽量保证一次配置正确防止反复修改. 网上教程有很多关于Hadoop配置的,但是每一个教程都对应了一个版本信息,有一些教程也存在很大的问题,配置环境,系统环境都没说清楚.在此我将记录下来从零搭建Hadoop2.7.1的过程,以及搭建过程中所遇到的一些问题. 一 操作环境说明 1.1 :操作系统: window8.1 1.2 :虚拟机版本:VMware1

vultr 配置 64 bit OS   CentOS 7 ×64 20 GB SSD    1 CPU  512MB  Memory  500GB Bandwidth √ Enable IPv6 √ Enable Private Network [?] Shadowsocks下载地址: windows 版本https://github.com/shadowsocks/shadowsocks-windows/releases android版本https://github.com/shadows

centos7 搭建WEB服务器 2017年09月17日 09:44:50 逝然1994 阅读数:18321 标签: centosapacheweb服务器 更多 个人分类: centos服务器简单配置   版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq_26938637/article/details/78008427 步骤1:安装Apache服务. [root@192 ~]# yum install -y httpd 1 步骤2:启动Ap

1下载Zookeeper 2安装启动测试 2.1上载压缩文件并解压 2.2新建 zookeeper配置文件 2.3安装JDK 2.4启动zookeeper 2.5查看zookeeper的状态 3将ZooKeeper设置为开机启动(可选) 3.1在init.d目录下新建脚本文件 3.1.1文件内容的第一种方案(推荐) 3.1.2文件内容的第二种方案 3.1.3其他说明 3.2执行一系列命令 3.3执行测试看是否开机启动 4报错及解决 4.1service zookeeper does not su

 一.前言 开始学习数据处理相关的知识了,第一步是搭建一个Hadoop集群.搭建一个分布式集群需要多台电脑,在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群. 注:1.本次搭建环境中操作系统的用户名为hadoop,请自行替换/home/hadoop为本机对应路径. 2.本次用到的软件版本为: VMware Workstation 14 Pro 14.1.3 build-9474260 CentOS 7.5.1804 Java 1.8.0_181 Apache H

前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置,方便开发和调试.本文主要介绍,真正集群环境下hadoop和spark的安装和使用. 1. 环境准备 集群有三台机器: master:W118PC01VM01/192.168.0.112 slave1:W118PC02VM01/192.168.0.113 slave2:W118PC03VM01/192.168.0.114 首先配置/etc/hosts中ip和主机名的映射关系: 192.168.0.112 W118PC01VM01

Hadoop的安装和配置可以参考我之前的文章:在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境. 本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境. 1. 软件准备 scala-2.11.7.tgz spark-1.4.0-bin-hadoop2.6.tgz 都可以从官网下载. 2. scala安装和配置 scala-2.11.7.tgz解压缩即可.我解压缩到目录/home/vm/tools/scala,之后配置~/.bash_profile环境变量. #sca