hadoop要求有多台机子进行后续的数据处理,作为屌丝一枚,怎么才能搭建一个合适的环境学习hadoop?这就是本篇将要介绍的----前期准备。

  搭建环境没啥好说的,说一下搭建环境多需要的吧

    硬件:电脑 (win7系统)

    软件: 虚拟机软件VMware Workstation Pro

        操作系统Centos 6.7

        终端模拟软件XShell

        反向代理软件ngrok

  安装配置VMware以及安装Centos系统就不介绍了,现在主要讲解下面的一些配置

  1.SSH服务

  直接在虚拟机里面操作有些麻烦,开启ssh服务以后就可以在win7系统上通过工具进行连接

  首先打开终端,输入 rpm -qa |grep ssh 查找当前系统是否已经安装ssh 

  如果没有安装,可以通过yum install ssh进行安装

  安装完成之,通过service sshd start命令启动ssh服务

  通过iptables stop命令将防火墙关闭

  可以通过ifup eth0(自己的网卡配置)开启网卡

  ifconfig查看IP

  打开XShell,点击新建打开新建回话窗口

  将centos的IP填写到主机框,端口默认是22,自己修改的话就换成自己的端口

  连接是需要输入centos的用户名和密码

  2.反向代理

  通过命令 cd / 进入根目录

  创建代理软件存放的文件夹 mkdir ngrok

  进入ngrok目录 cd ngrok

  将linux版本的ngrok软件包下载到win7

  xshell输入 yum install lrzsz 安装文件上传下载工具

  输入 rz -E 确定后选择刚下载的ngrok

  unzip linux_amd64.zip解压文件

  进入解压后的目录 cd linux_amd64

  编辑ngrok.xml文件vim ngrok.cfg

  

server_addr: "tunnel.qydev.com:4443"
trust_host_root_certs: false
tunnels:
ssh:
remote_port: 2222
proto:
tcp: "22"

保存退出,这是修改后的文件内容

  进入虚拟机里面的系统命令行

  通过命令 ./ngrok -config=ngrok.cfg start ssh开启服务

  其中有一行tcp://tunnel.qydev.com:2222 -> 127.0.0.1:22

  现在就可以新建xshell回话将主机 tunnel.qydev.com 端口2222,以及主机用户名登录系统了,外网可以访问。

到这儿,基本上的就差不多了,可以将想一起学习hadoop的朋友的电脑通过上面的配置启动起来。这就有了集群的基础---多台电脑网络间访问。

  

  

  

  

        

hadoop---前期准备---屌丝的更多相关文章

  1. hadoop前期准备

    最近想要学习一下hadoop,现在想边学习边记录下,方便以后自己或别人查看.(注意最好ubantu,jdk及其他软件选择32bit的,jdk最好7以上) 首先配置下jdk,下载下jdk的包,把jdk- ...

  2. Hadoop记录-hdfs转载

    Hadoop 存档 每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件会非常低效.因为大量的小文件会耗尽namenode中的大部分内存.但注意,存储小文件所需 ...

  3. Hadoop2-认识Hadoop大数据处理架构-单机部署

    一.Hadoop原理介绍 1.请参考原理篇:Hadoop1-认识Hadoop大数据处理架构 二.centos7单机部署hadoop 前期准备 1.创建用户 [root@web3 ~]# useradd ...

  4. Hadoop集群搭建-01前期准备

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  5. hadoop分布式集群搭建前期准备(centos7)

    那玩大数据,想做个大数据的从业者,必须了解在生产环境下搭建集群哇?由于hadoop是apache上的开源项目,所以版本有些混乱,听说都在用Cloudera的cdh5来弄?后续研究这个吧,就算这样搭建不 ...

  6. hadoop搭建的前期准备

    这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的 需要的软件:vmware15.5,xshell6,xftp6,jdk Lin ...

  7. 搭建分布式hadoop环境的前期准备---需要检查的几个点

    前期准备: jdkhostnamehostsdate安全机制firewallwindows 域名映射 具体的操作见下面 1.看看自己是否已经配置了别名了(linux别名的配置可以参考博文:自己cent ...

  8. Hadoop集群搭建

    配置IP,修改主机名,关闭防火墙,配置SSH免密码登录

  9. Hadoop 调研笔记

    由于从各光伏电站采集的数据量较大,必须解决海量数据的查询.分析的问题.目前主要考虑两种方式:1.  Hadoop大数据技术:2.  Oracle(数据仓库)+BI:    本文仅介绍hadoop的技术 ...

随机推荐

  1. MATLAB的PLOT函数线型设置及横坐标为字符串的代码实例

    2.横坐标为字符串的代码实例 cell={‘PLS’,’SVM’,’RF’,’NNET’,’NB’,’PLR’,’C5.0′,’PDA’,’KNN’,’GLM’,’BCT’};%分类方法yData=[ ...

  2. iOS 编译时处理器架构选择

    先看看主流的ios设备的架构 armv6 iPhone iPhone2 iPhone3G 第一代和第二代iPod Touch armv7 iPhone4 iPhone4S armv7s iPhone5 ...

  3. windows 中去除Ctrl+Alt+Del才能登录

    安装windows 7后登录的时候有一样很麻烦的步骤是需要先按Ctrl+Alt+Del,才能输入用户密码进行登录.这里笔者介绍一下如何取消这个东西. 点击“开始菜单”,点击“控制面板”. [管理工具] ...

  4. Reverse Core 第二部分 - 16&17章 - 基址重定位表&.reloc节区

    第16-17章 - 基址重定位表&.reloc节区 @date: 2016/11/31 @author: dlive 0x00 前言 这几天忙着挖邮箱漏洞,吃火锅,马上要被关禁闭,看书进度比较 ...

  5. c++拷贝构造和编译优化

    #include <iostream> using namespace std; class MyClass { public: MyClass(); MyClass(int i); My ...

  6. java文件下载和导出文件名乱码浏览器兼容性问题

    实例: String poorName= dataMap.get("NAME").toString(); String villageName = dataMap.get(&quo ...

  7. tp5 model 的数据自动完成

    auto属性自动完成包含新增和更新操作 namespace app\index\model; use think\Model; class User extends Model { protected ...

  8. sh7.创建yum源脚本练习

    练习1, 写一个脚本分别计算1-100,之间奇数和偶数之和 ji_sum.sh #!/bin/bash # let ..};do ] -eq ];then let sum+=I fi done ech ...

  9. 多功能弹窗控件layer

    开发网站的时候,如何合理运用好各种插件对开发的帮助是很大的. 免去了我们调试各种交互效果, 比如常用的弹窗.气泡.提示.加载.焦点.标签.导航.折叠等等 这里会推荐几个常用的js插件,丰富多样简单易移 ...

  10. SQL多表查询,消除表中的重复的内容

    看到朋友再写一个SQL语句:两个表a1表中有SN.SN2.TN,b1表有SM.SM2.TN2,若a1的SN中的数据和b1的SM中的数据是一致的,那么将a1中对应的数据修改成b1中对应的数据. upda ...