大数据初始化环境搭建:

一):大数据(hadoop)初始化环境搭建

二):大数据(hadoop)环境搭建

三):运行wordcount案例

四):揭秘HDFS

五):揭秘MapReduce

六):揭秘HBase

七):HBase编程

-----------------------------------------------------------------

1):需要准备三个虚拟机环境(创建方式:可以单独创建三个虚拟机:点我查看如何安装虚拟机、也可以通过克隆方式:点我查看克隆详情

2):NET 网络设置(点我查看网络设置

3):分别关闭所有虚拟机防火墙

firewall-cmd --state    查看防火墙状态

systemctl stop firewalld.service    临时关闭防火墙(重启后生效)

systemctl disable firewalld.service    设置防火墙开机不启动

4):分别修改三台虚拟机的 主机名 与 对应的IP 。分别如下:

主机器: admin    192.168.31.206

子机器:admin-01  192.168.31.207

子机器:admin-02  192.168.31.208

【可根据实际情况,约束 主机名称 与 IP】

例如:修改 admin (参考主机修改方式 修改子机器)

//永久修改主机名称
hostnamectl --static set-hostname admin //修改 hosts 文件
vim /etc/hosts

5):免密登录(分别修改三台虚拟机的  /etc/hosts 文件) 分别加入其它两台虚拟机的 域登录名。

在主机上(admin)生成密钥:

ssh-keygen -t rsa

查看当前目录下的所有文件(包含隐藏文件 .ssh)

ll -a

进入 .ssh 目录:

把本机生成的id_rsa.pub复制到另外两个子机器中,重命名为authorized_keys

//需要先远程创建(.ssh目录)
ssh root@admin-01 "mkdir ~/.ssh/" //将id_rsa.pub进行远程拷贝
scp id_rsa.pub root@admin-01:~/.ssh/authorized_keys //admin-01:为主机名

分别在两个子机器中把authorized_keys 文件的权限改为600:

chmod 600 authorized_keys

在admin节点使用下面命令:(把id_rsa.pub追加到授权的key里面去)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在所有机器上使用下面命令(修改SSH配置文件"/etc/ssh/sshd_config")

vim /etc/ssh/sshd_config

RSAAuthentication yes    # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

6):所有虚拟机安装JDK(点我查看安装步骤

主机安装成功后可以通过复制操作,拷贝到子机器上(每台虚拟机的路径最好保持一致 方便统一管理)

scp  -r   /opt/jdk   root@admin-01:/opt/jdk

scp  -r   /opt/jdk   root@admin-02:/opt/jdk

把 admin 中的profile文件复制到其他两个机器中:

scp /etc/profile root@admin-01:/etc/profile

scp /etc/profile root@admin-02:/etc/profile

之后让两个子机器中的profile文件生效,分别在两个子机器中运行:

source   /etc/profile

 点我进行下一步的操作(大数据 Hadoop 环境搭建)

分享知识-快乐自己:Liunx-大数据(Hadoop)初始化环境搭建的更多相关文章

  1. 大数据Hadoop学习之搭建hadoop平台(2.2)

    关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...

  2. 分享知识-快乐自己:大数据(hadoop)环境搭建

    大数据 hadoop 环境搭建: 一):大数据(hadoop)初始化环境搭建 二):大数据(hadoop)环境搭建 三):运行wordcount案例 四):揭秘HDFS 五):揭秘MapReduce ...

  3. 大数据Hadoop学习之搭建Hadoop平台(2.1)

     关于大数据,一看就懂,一懂就懵. 一.简介 Hadoop的平台搭建,设置为三种搭建方式,第一种是"单节点安装",这种安装方式最为简单,但是并没有展示出Hadoop的技术优势,适合 ...

  4. 大数据 --> Hadoop集群搭建

    Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2. ...

  5. 大数据基础-2-Hadoop-1环境搭建测试

    Hadoop环境搭建测试 1 安装软件 1.1 规划目录 /opt [root@host2 ~]# cd /opt [root@host2 opt]# mkdir java [root@host2 o ...

  6. 入门大数据---Flink开发环境搭建

    一.安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ,如果想要使用 Scala 语言来开发 Flink 程序,可以通过在 IDEA 中安装 Scala ...

  7. 入门大数据---Spark开发环境搭建

    一.安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压 ...

  8. 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析

    这一讲我们主要剖析MapReduce的原理机制和流程. “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发 ...

  9. 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程

    这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...

随机推荐

  1. start with git

    Start with git 1.what is GitHub? GitHub is a code hosting platform for version control and collabora ...

  2. window 添加环境变量

    右击我的电脑 选择属性 点选高级选项卡 点击环境变量 在系统变量中选中path变量 点击编辑 在变量值得最后插入 ;C:\Python27\  (改为Python的实际的安装地址) 记住后面要有最后面 ...

  3. EasyUI分页(前台分页和后台分页)

    整理一下以前的总结: 分页包括前台分页和后台分页两种,针对数据量比较小的,比如说单位,角色等,可以使用前台分页,而针对日志文件这些,需要后台分页. 先说说前台分页吧: function pagerFi ...

  4. UFLDL深度学习笔记 (三)无监督特征学习

    UFLDL深度学习笔记 (三)无监督特征学习 1. 主题思路 "UFLDL 无监督特征学习"本节全称为自我学习与无监督特征学习,和前一节softmax回归很类似,所以本篇笔记会比较 ...

  5. Android 禁止状态栏下拉

    同学项目用到Android 禁止状态栏下拉,我也迷茫,网上很多资料都不行,最终找到了下面一篇博客,感觉很不错,说的比较详细,供大家参考了 http://blog.csdn.net/u011913612 ...

  6. centos7.0 安转mysql5.7

    安装mysql5.7需要boost依赖包groupadd mysql useradd -r -g mysql -s /bin/false mysql cmake . -DCMAKE_INSTALL_P ...

  7. ArcGIS API for javascript Bookmarks(书签)示例2

    1.运行效果图 说明:这篇博文介绍的书签位于地图之上 有关博文中引用的API文件 怎么iis上部署,请参考我前面的博文 2.HTML代码 <!DOCTYPE html> <html ...

  8. 九度OJ 1326:Waiting in Line(排队) (模拟)

    时间限制:1 秒 内存限制:32 兆 特殊判题:否 提交:220 解决:64 题目描述: Suppose a bank has N windows open for service. There is ...

  9. 【python】-- Socket粘包问题 ,解决粘包的几种方法、socket文件下载,md5值检验

    上一篇随笔:“socket 接收大数据”,在win系统上能够运行,并且解决了大数据量的数据传输出现的问题,但是运行在linux系统上就会出现如下图所示的情况: 就是服务端两次发送给客户端的数据(第一次 ...

  10. [luogu4315]月下“毛景树”

    [luogu4315]月下"毛景树" luogu 联赛前复习一发树剖.不会告诉你WA了4发 #define ls x<<1,l,mid #define rs x< ...