hadoop学习(一)环境的搭建
1、安装几台Linux虚拟机。安装的过程就不赘述了,网上教程很多。win7系统上装了一个VMWare,因为一些原因,VMWare版本不是最新的,是VMWare7.1版本,由于VMWare版本不高,所以也就不能支持太高版本的Linux,装了两台rhel-5、两台fedora14、一台CentOS5.11。
安装系统的时候出现过一个很头疼的问题,开始下载的是CentOS7,装不了,再下载CentOS6还是安装不了,再把版本往下降,降到5.11,这才发现可以安装,所以VMWare的版本和Linux系统的版本匹配是个问题。
2、系统安装好了之后,就是配IP,配置完IP,ping一下宿主机IP,发现居然ping不通,什么问题??几台分配好IP地址的都检查一次,发现都ping不通宿主机,但是几台虚拟机之间是可以ping通的。网关、掩码都和宿主机一致,IP都是局域网中没人用的。怎么回事呢?上网查了下,很多种说法,我一一照做了,还是没有解决问题。网上也介绍了几种联网的方式:桥接、NAT、Host-only,肯定是选择桥接,这种方式是直接连接到物理交换机上,模拟真实环境。这个问题困扰了我两天,一直在上网搜索答案,一次一次的实验,一次一次的失败,最后我点开我的虚拟机,发现我装的几台虚拟机的网络适配器居然全部选择的是NAT,太大意了。。。全部改为桥接,问题解决!!
3、系统安装完后,IP配好之后,再就是Linux的免密码登录的配置。这个也是一个小问题让我纠结了一天,记录下来吧。免密码登录的步骤如下:
(1)、切换到hadoop用户目录下,在该用户目录下创建.ssh目录(初始是没有这个目录的在看炼数成金的视频的时候,说的是在root用户下创建,这里更正一下)。
(2)、进入.ssh目录,用ssh-keygen -t rsa命令生成密钥对,然后目录下会生成一个id_rsa的私钥和一个id_rsa.pub的公钥。
(3)、使用cp id_rsa.pub authorized_keys命令来创建authorized_keys文件。
(4)、对几台Linux系统重复上述操作。
(5)、将每台系统中的authorized_keys文件的内容复制出来,组合成一个文件。然后将这个文件中的内容全部覆盖到几台Linux系统上的authorized_keys文件中。操作完成后,几台系统中的authorized_keys文件中的内容是一致的。炼数成金视频中讲到这里就说可以免密码登录了,扯淡,实践证明是不行的,还缺了下面个重要的步骤!
(6)、设置文件和目录权限
设置.ssh目录权限:chmod 700 -R .ssh
设置authorized_keys权限:chmod 644 authorized_keys
(7)注意:配置免密码登录的用户名要一致!!
这个免密码登录参考了CSDN上的一篇文章:linux远程登录ssh免密码
hadoop学习(一)环境的搭建的更多相关文章
- hadoop集群环境的搭建
hadoop集群环境的搭建 今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了. 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Had ...
- hadoop伪分布环境快速搭建
1.首先下载一个完成已经进行简单配置好的镜像文件(hadoop,HBASE,eclipse,jdk环境已经搭建好,tomcat为7.0版本,建议更改为tomcat8.5版本,运行比较稳定). 2安装V ...
- hadoop学习笔记——环境搭建
基础环境准备: 系统:(VirtualBox) ubuntu-12.04.2-desktop-i386.iso hadoop版本:hadoop-0.20.203.0rc1.tar.gz jdk版本:j ...
- hadoop学习day1环境配置笔记(非完整流程)
hdfs的工作机制: 1.客户把一个文件存入hdfs,其实hdfs会把这个文件切块后,分散存储在N台linux机器系统中(负责存储文件块的角色:data node)<准确来说:切块的行为是由客户 ...
- hadoop学习笔记——zookeeper平台搭建
zookeeper是一个自动管理分布式集群的一个工具,以实现集群的高可用. 比如集群中的一个机器挂掉了,没有zookeeper的话就得考虑挂一个机器对剩下集群工作的影响,而有了zookeeper,它就 ...
- hadoop学习笔记--集群搭建
注:大家常说的ssh其实就是一个免密码访问的东西,为了简化操作的,不用每次访问其他节点重新输入密码.但是要想配置如下: .在每台机器上执行 ssh-keygen -t rsa,连敲三次回车键(即设置空 ...
- Mono for Android 学习一 环境的搭建
JAVA SDK和Android SDK下载安装 1.疑问:用mono for android 开发为什么必须要java sdk的支持 答:因为android sdk是java开发的,所以和它相关的 ...
- Hadoop伪分布式环境快速搭建
Hadoop分支 Apache Cloudera Hortonworks 本文是采用Cloudera分支的hadoop. 下载cdh-5.3.6 版本 下载地址:http://archive.clou ...
- Hadoop集群环境搭建步骤说明
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的.对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“ ...
- Spark集群环境搭建——Hadoop集群环境搭建
Spark其实是Hadoop生态圈的一部分,需要用到Hadoop的HDFS.YARN等组件. 为了方便我们的使用,Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包,解压 ...
随机推荐
- WPS2019党政机关单位版(无广告困扰)
WPS2019党政机关单位版(无广告困扰) 科技趣闻 中国石油大学(华东) 控制科学与工程硕士 17 人赞同了该文章 导读 WPS Office 2019专业版机关版是由WPS官方专为企业.机关单 ...
- Python基础之PyCharm快捷键大全
Pycharm中打开Help->Keymap Reference可查看默认快捷键帮助文档 一.编辑(Editing) Ctrl + Space 基本的代码完成(类.方法.属性) Ctrl + A ...
- 大数据 什么是 ETL
ETL 概念 ETL 这个术语来源于数据仓库,ETL 指的是将业务系统的数据经过抽取.清洗转换之后加载到数据仓库的过程.ETL 的目的是将企业中的分散.零乱.标准不统一的数据整合到一起,为企业的决策提 ...
- linux 系统监控命令之 top-(转自 Howie的专栏)
top命令经常用来监控linux的系统状况,比如cpu.内存的使用,程序员基本都知道这个命令,但比较奇怪的是能用好它的人却很少,例如top监控视图中内存数值的含义就有不少的曲解. 本文通过一个运行中的 ...
- 10.20 host:域名查询工具
host命令 是用于查询DNS的工具,它可以将指定主机名称转换为IP地址. host命令的参数选项及说明 -a 显示详细的DNS信息-t 指定查询的域名信息类型,可以是"A".&q ...
- kylin聚合组的使用案例
在使用kylin聚合组进行优化的时候,往往不知道怎么使用. 这里有2个小案例可以参考. 1. 需要对某个维度进行隔离. 如果有些维度,你不想要它和其他维度一起出现,你就可以单独给它建一个聚合组,并且在 ...
- 第一天:python学习-基础-计算机简史
第一天:计算机简史 1.元始的计算方式 : 1.1:数手指头,结绳记事.符号记事.算筹(祖冲之-圆周率).算盘:计算效率较低. 1.2:15世纪航海活动各天文需求 计算比较繁重,出现计算尺工具,奥特雷 ...
- Lua时间互转
1. 时间戳转成格式化字符串 直接利用函数os.date()将时间戳转化成格式化字符串. local timestamp = 1561636137; local strDate = os.date(& ...
- ReentrantLock修饰类文件,实现按类获取锁的逻辑
1.ReentrantLock 给类文件加锁,实现类似synchronized(class)的功能 核心是类文件中,使用static修饰的reentrantLock对象 public class So ...
- TVM适配NN编译Compiler缺陷
TVM适配NN编译Compiler缺陷 内容纲要 前言 TVM针对VTA的编译流程 自定义VTA架构:TVM的缺陷与性能瓶颈 TVM缺陷与瓶颈 缺陷一:SRAM配置灵活性差 缺陷二:计算阵列配置僵硬 ...