hadoop---前期准备---屌丝
hadoop要求有多台机子进行后续的数据处理,作为屌丝一枚,怎么才能搭建一个合适的环境学习hadoop?这就是本篇将要介绍的----前期准备。
搭建环境没啥好说的,说一下搭建环境多需要的吧
硬件:电脑 (win7系统)
软件: 虚拟机软件VMware Workstation Pro
操作系统Centos 6.7
终端模拟软件XShell
反向代理软件ngrok
安装配置VMware以及安装Centos系统就不介绍了,现在主要讲解下面的一些配置
1.SSH服务
直接在虚拟机里面操作有些麻烦,开启ssh服务以后就可以在win7系统上通过工具进行连接
首先打开终端,输入 rpm -qa |grep ssh 查找当前系统是否已经安装ssh
如果没有安装,可以通过yum install ssh进行安装
安装完成之,通过service sshd start命令启动ssh服务
通过iptables stop命令将防火墙关闭
可以通过ifup eth0(自己的网卡配置)开启网卡
ifconfig查看IP
打开XShell,点击新建打开新建回话窗口
将centos的IP填写到主机框,端口默认是22,自己修改的话就换成自己的端口
连接是需要输入centos的用户名和密码
2.反向代理
通过命令 cd / 进入根目录
创建代理软件存放的文件夹 mkdir ngrok
进入ngrok目录 cd ngrok
将linux版本的ngrok软件包下载到win7
xshell输入 yum install lrzsz 安装文件上传下载工具
输入 rz -E 确定后选择刚下载的ngrok
unzip linux_amd64.zip解压文件
进入解压后的目录 cd linux_amd64
编辑ngrok.xml文件vim ngrok.cfg
server_addr: "tunnel.qydev.com:4443"
trust_host_root_certs: false
tunnels:
ssh:
remote_port: 2222
proto:
tcp: "22"
保存退出,这是修改后的文件内容
进入虚拟机里面的系统命令行
通过命令 ./ngrok -config=ngrok.cfg start ssh开启服务
其中有一行tcp://tunnel.qydev.com:2222 -> 127.0.0.1:22
现在就可以新建xshell回话将主机 tunnel.qydev.com 端口2222,以及主机用户名登录系统了,外网可以访问。
到这儿,基本上的就差不多了,可以将想一起学习hadoop的朋友的电脑通过上面的配置启动起来。这就有了集群的基础---多台电脑网络间访问。
hadoop---前期准备---屌丝的更多相关文章
- hadoop前期准备
最近想要学习一下hadoop,现在想边学习边记录下,方便以后自己或别人查看.(注意最好ubantu,jdk及其他软件选择32bit的,jdk最好7以上) 首先配置下jdk,下载下jdk的包,把jdk- ...
- Hadoop记录-hdfs转载
Hadoop 存档 每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件会非常低效.因为大量的小文件会耗尽namenode中的大部分内存.但注意,存储小文件所需 ...
- Hadoop2-认识Hadoop大数据处理架构-单机部署
一.Hadoop原理介绍 1.请参考原理篇:Hadoop1-认识Hadoop大数据处理架构 二.centos7单机部署hadoop 前期准备 1.创建用户 [root@web3 ~]# useradd ...
- Hadoop集群搭建-01前期准备
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- hadoop分布式集群搭建前期准备(centos7)
那玩大数据,想做个大数据的从业者,必须了解在生产环境下搭建集群哇?由于hadoop是apache上的开源项目,所以版本有些混乱,听说都在用Cloudera的cdh5来弄?后续研究这个吧,就算这样搭建不 ...
- hadoop搭建的前期准备
这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的 需要的软件:vmware15.5,xshell6,xftp6,jdk Lin ...
- 搭建分布式hadoop环境的前期准备---需要检查的几个点
前期准备: jdkhostnamehostsdate安全机制firewallwindows 域名映射 具体的操作见下面 1.看看自己是否已经配置了别名了(linux别名的配置可以参考博文:自己cent ...
- Hadoop集群搭建
配置IP,修改主机名,关闭防火墙,配置SSH免密码登录
- Hadoop 调研笔记
由于从各光伏电站采集的数据量较大,必须解决海量数据的查询.分析的问题.目前主要考虑两种方式:1. Hadoop大数据技术:2. Oracle(数据仓库)+BI: 本文仅介绍hadoop的技术 ...
随机推荐
- Linux安装mariadb二进制版本
上一篇说了mariadb编译安装过程,但在生产环境中一般使用发布好的二进制版本,由于安装过程和之前一样,不再详细叙述,只是简单概括一下安装过程: 1. 下载 地址为:https://downloads ...
- 通过挂载系统光盘搭建本地yum仓库的方法
在CentOS系统中,我们常常会安装大量的软件,但许多软件包都存在需要依赖性,当然我们可以通过一一安装依赖包来完成安装,但对于有些软件包需要大量的依赖包,再一一安装起来会显得特别麻烦.接下来我们就来讲 ...
- Team Foundation Server源代码管理多人开发的使用心得
问题1:多人使用TFS源代码管理器的时候,往往会造成同个文件内源代码不一致,覆盖别人的代码. 解决方案: 给多个人分配不同的开发任务,保证每个人修改的文件都不会重叠. 但有些情况无法避免多个人同时修改 ...
- Sass 的调试
Sass 的调试 Sass 调试一直以来都是一件头痛的事情,使用 Sass 的同学都希望能在浏览器中直接调试 Sass 文件,能找到对应的行数.值得庆幸的是,现在实现并不是一件难事,只要你的浏览器支持 ...
- Java笔记:有啥记啥
构造方法可以初始化,也可以在调用的时候传参 1android需要java什么水平 2java封装
- Linux-详解inode节点
Linux inode节点 inode查看命令 stat 功能:列出文件大小,文件所占的块数,块的大小,主设备号和次设备号,inode number,链接数,访问权限,uid,gid,atime,mt ...
- 微信后台开发第一步:nodeJS+express接入微信后台详细教程
博文由 水车 编写 欢迎各位指正,转载请把链接带上——http://www.cnblogs.com/xuange306/p/4971702.html 前期准备工作 1:如果你没有服务器,那你需要一 ...
- Erlang--proplists结构解析
proplists 模块适用数据量较少的场景,处理配置文件和函数选项时常用.proplists对内部数据结构是Key-Value键值对形式,第一个元素做key用来查询和删除,如果一个key有多个值就会 ...
- JavaScript常用字符串操作方法总结
1.判断是否为字符串:typeof() var str = 'abcd'; typeof(str); //string 2.获取字符串的长度:length var str = '123456789 ...
- Docker常用命令大全
1. 查看docker信息(version.info) # 查看docker版本 $docker version # 显示docker系统的信息 $docker info 2. 对image的操作(s ...