hadoop安装实战(mac实操)
集群环境配置参考(http://blog.csdn.net/zcf1002797280/article/details/49500027)
参考:http://www.cnblogs.com/liuling/archive/2013/06/16/2013-6-16-01.html
http://blog.csdn.net/ab198604/article/details/8250461
使用pssh进行并行批量操作:
http://www.cnblogs.com/wangkangluo1/archive/2013/01/06/2847353.html
关于ssh命令研究以及SSH信任详解
http://www.dongwm.com/archives/%E5%85%B3%E4%BA%8Essh%E5%91%BD%E4%BB%A4%E7%A0%94%E7%A9%B6%E4%BB%A5%E5%8F%8Assh%E4%BF%A1%E4%BB%BB%E8%AF%A6%E8%A7%A3/
一下本人实际操作未完待完善......
环境准备:
1,jdk1.7
下载地址:http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz
下载文件:jdk-7u80-linux-x64.gz
安装mac版本 secureCRT(破解,ssh工具,连接,上传,下载服务器文件等)
上传到linux服务器上 /usr/java目录下面:
tar -zxvf jdk-7u80-linux-x64.gz 解压
环境变量设置:
编辑 :vi /etc/profile
文件最后加入:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:/usr/java/jdk1.7.0_80/bin
保存退出
执行source /etc/profile 使配置生效
-------------------如下截图 ------------
查看一下java环境变量是否配置成功
java -version
jdk安装完成!
2,ssh配,问题,ssh localhost 无密码登录失败:(todo集群配置)
解决:
修改 : /etc/hosts.allow文件,加入 sshd:ALL
重启ssh: /etc/rc.d/init.d/sshd restart
3,hadoop安装配置
下载地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
crt工具上传到服务器位置:/usr/hadoop/
tar -zxvf hadoop-2.7.1.tar.gz 解压
hadoop配置一下文件:(参考 http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html )
/usr/hadoop/hadoop-2.7.1/etc/hadoop
core-site.xml
mapred-site.xml
hdfs-site.xml
yarn-site.xml
hadoop-env.sh
yarn-env.sh
slaves
-----------------------------
配置完成执行
主服务器上执行bin/hdfs namenode -format
进行初始化
sbin目录下执行 ./start-all.sh
可以使用jps查看信息
停止的话,输入命令,sbin/stop-all.sh
-----------------
http://10.11.144.217:50070/
访问可以查看HDFS的管理情况
hadoop安装实战(mac实操)的更多相关文章
- jmeter & 性能测试:从0到实战(实操易用、面试造火箭、升职加薪必备)
[性能基础] 性能测试概念.术语:https://www.cnblogs.com/uncleyong/p/10706519.html 性能测试流程(新):https://www.cnblogs.com ...
- Hadoop Hbase理论及实操
Hbase特点 HBase是一个构建在HDFS上的分布式列存储系统:HBase是基于Google BigTable模型开发的,典型的key/value系统:HBase是Apache Hadoop生态系 ...
- Termux中安装gcc-7/gfortran-7实操过程,安装成功可以编译Fortran,c/c++
最近计算材料学的老师需要我们运行Fortran,又不想带电脑去教室.所以想起Termux了,于是就试试看这个宝贝能不能帮我的忙, 但是经过测试以后发现,clang只能编译c/c++那一类语言,不能编译 ...
- Docker安装MySql完整教程、实操
docker:官网 docker:镜像官网: 镜像官网可以所有应用,选择安装环境:会给出安装命令,例如:docker pull redis 默认拉取最新的版本(指定版本:docker p ...
- kettle安装部署基本操作及实操文档
一.kettle是什么? Kettle,简称ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),是一款国外开源的ETL工具,纯Java编写,可以在Window. ...
- 【强烈推荐,超详细,实操零失误】node.js安装 + npm安装教程 + Vue开发环境搭建
node.js安装 + npm安装教程 + Vue开发环境搭建 [强烈推荐,超详细,实操零失误] 原博客园地址:https://www.cnblogs.com/goldlong/p/8027997.h ...
- harbor安装实操笔记
纸上得来终觉浅,实操一遍吧! 把所有开发的后端服务先在打成镜像,传到私有镜像仓库: 然后在任意的远程机器拉取镜像,然后可采用docker或者docker-compose的方式运行,本节先按照docke ...
- 大数据学习笔记——Hadoop编程实战之HDFS
HDFS基本API的应用(包含IDEA的基本设置) 在上一篇博客中,本人详细地整理了如何从0搭建一个HA模式下的分布式Hadoop平台,那么,在上一篇的基础上,我们终于可以进行编程实操了,同样,在编程 ...
- RFC2889广播时延测试——网络测试仪实操
一.简介 RFC 2889为LAN交换设备的基准测试提供了方法学,它将RFC 2544中为网络互联设备基准测试所定义的方法学扩展到了交换设备,提供了交换机转发性能(Forwarding Perform ...
随机推荐
- Zabbix low-level discovery
Version: zabbix 3.0.1 概述 Low-Level discovery 可以自动创建items,triggers,graphs为不同的实体对象. 例如:zabbix能自动监控服务器上 ...
- Maven异常:Could not find artifact
用Maven build("clean tomcat7:run" ) Maven聚合工程时,出现了一下问题: [INFO] Scanning for projects... [E ...
- JAva使用DOM读取XML数据(解析)
原来一切都是有套路的 使用DOM解析XML文档步骤 1.创建解析器工厂对象 DocumentBuildFactory对象 2.由解析器工厂对象创建解析器对象,即DocumentBuilder对象 3. ...
- 【Beta】Scrum01
Info 时间:2016.11.26 21:30 时长:10min 地点:大运村1号公寓5楼楼道 类型:日常Scrum会议 NXT:2016.11.28 21:30 Task Report Name ...
- 如何用iframe标签以及Javascript制作时钟?
如何利用iframe标签以及Javascript制作时钟? 如何制作一个时钟呢?效果如下图所示: 这里的时钟会不停的走,但是下面的页面是不会变得,这样就实现了我们想要的效果了.下面我将分为以下几个方面 ...
- Git创建ssh-key
打开git bash界面,输入: ssh-keygen -t rsa -C "yourname@email.com" 一路回车,后续保持默认值即可. 把C:\users\yourn ...
- Java递归算法——变位字
轮换的含义 1.c ats --> 2.ca st 3.c tsa --> 4.ct as 5.c sat --> 6.cs ta 7. atsc import java.io.Bu ...
- pickle模块简单使用
import pickle with open("school_info","wb") as school: user_input = str(input(&q ...
- Transmission 设置硬盘缓存
1.找到settings.json 调置文件.此文件是transmission的配置文件.一般存放在 /home/用户名/.config/transmission 目录下. ...
- 上下联动,右侧按钮过多poper展示
http://pan.baidu.com/s/1dDFMLjF