集群环境配置参考(http://blog.csdn.net/zcf1002797280/article/details/49500027)

参考:http://www.cnblogs.com/liuling/archive/2013/06/16/2013-6-16-01.html

http://blog.csdn.net/ab198604/article/details/8250461

使用pssh进行并行批量操作:

http://www.cnblogs.com/wangkangluo1/archive/2013/01/06/2847353.html

关于ssh命令研究以及SSH信任详解

http://www.dongwm.com/archives/%E5%85%B3%E4%BA%8Essh%E5%91%BD%E4%BB%A4%E7%A0%94%E7%A9%B6%E4%BB%A5%E5%8F%8Assh%E4%BF%A1%E4%BB%BB%E8%AF%A6%E8%A7%A3/

一下本人实际操作未完待完善......

环境准备:

1,jdk1.7

下载地址:http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz

下载文件:jdk-7u80-linux-x64.gz

安装mac版本 secureCRT(破解,ssh工具,连接,上传,下载服务器文件等)

上传到linux服务器上 /usr/java目录下面:

tar -zxvf jdk-7u80-linux-x64.gz         解压

环境变量设置:

编辑 :vi /etc/profile

文件最后加入:

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:/usr/java/jdk1.7.0_80/bin

保存退出

执行source /etc/profile    使配置生效

-------------------如下截图 ------------

查看一下java环境变量是否配置成功

java -version

jdk安装完成!

2,ssh配,问题,ssh localhost 无密码登录失败:(todo集群配置)

解决:

修改 : /etc/hosts.allow文件,加入 sshd:ALL

重启ssh:  /etc/rc.d/init.d/sshd restart

3,hadoop安装配置

下载地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

crt工具上传到服务器位置:/usr/hadoop/

tar -zxvf hadoop-2.7.1.tar.gz      解压

hadoop配置一下文件:(参考 http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html )

/usr/hadoop/hadoop-2.7.1/etc/hadoop

core-site.xml

mapred-site.xml

hdfs-site.xml

yarn-site.xml

hadoop-env.sh

yarn-env.sh

slaves

-----------------------------

配置完成执行

主服务器上执行bin/hdfs namenode -format

进行初始化

sbin目录下执行 ./start-all.sh

可以使用jps查看信息

停止的话,输入命令,sbin/stop-all.sh

-----------------

http://10.11.144.217:50070/

访问可以查看HDFS的管理情况

hadoop安装实战(mac实操)的更多相关文章

  1. jmeter & 性能测试:从0到实战(实操易用、面试造火箭、升职加薪必备)

    [性能基础] 性能测试概念.术语:https://www.cnblogs.com/uncleyong/p/10706519.html 性能测试流程(新):https://www.cnblogs.com ...

  2. Hadoop Hbase理论及实操

    Hbase特点 HBase是一个构建在HDFS上的分布式列存储系统:HBase是基于Google BigTable模型开发的,典型的key/value系统:HBase是Apache Hadoop生态系 ...

  3. Termux中安装gcc-7/gfortran-7实操过程,安装成功可以编译Fortran,c/c++

    最近计算材料学的老师需要我们运行Fortran,又不想带电脑去教室.所以想起Termux了,于是就试试看这个宝贝能不能帮我的忙, 但是经过测试以后发现,clang只能编译c/c++那一类语言,不能编译 ...

  4. Docker安装MySql完整教程、实操

    docker:官网 docker:镜像官网:        镜像官网可以所有应用,选择安装环境:会给出安装命令,例如:docker pull redis 默认拉取最新的版本(指定版本:docker p ...

  5. kettle安装部署基本操作及实操文档

    一.kettle是什么? Kettle,简称ETL(Extract-Transform-Load的缩写,即数据抽取.转换.装载的过程),是一款国外开源的ETL工具,纯Java编写,可以在Window. ...

  6. 【强烈推荐,超详细,实操零失误】node.js安装 + npm安装教程 + Vue开发环境搭建

    node.js安装 + npm安装教程 + Vue开发环境搭建 [强烈推荐,超详细,实操零失误] 原博客园地址:https://www.cnblogs.com/goldlong/p/8027997.h ...

  7. harbor安装实操笔记

    纸上得来终觉浅,实操一遍吧! 把所有开发的后端服务先在打成镜像,传到私有镜像仓库: 然后在任意的远程机器拉取镜像,然后可采用docker或者docker-compose的方式运行,本节先按照docke ...

  8. 大数据学习笔记——Hadoop编程实战之HDFS

    HDFS基本API的应用(包含IDEA的基本设置) 在上一篇博客中,本人详细地整理了如何从0搭建一个HA模式下的分布式Hadoop平台,那么,在上一篇的基础上,我们终于可以进行编程实操了,同样,在编程 ...

  9. RFC2889广播时延测试——网络测试仪实操

    一.简介 RFC 2889为LAN交换设备的基准测试提供了方法学,它将RFC 2544中为网络互联设备基准测试所定义的方法学扩展到了交换设备,提供了交换机转发性能(Forwarding Perform ...

随机推荐

  1. Zabbix low-level discovery

    Version: zabbix 3.0.1 概述 Low-Level discovery 可以自动创建items,triggers,graphs为不同的实体对象. 例如:zabbix能自动监控服务器上 ...

  2. Maven异常:Could not find artifact

    用Maven build("clean tomcat7:run" )  Maven聚合工程时,出现了一下问题: [INFO] Scanning for projects... [E ...

  3. JAva使用DOM读取XML数据(解析)

    原来一切都是有套路的 使用DOM解析XML文档步骤 1.创建解析器工厂对象 DocumentBuildFactory对象 2.由解析器工厂对象创建解析器对象,即DocumentBuilder对象 3. ...

  4. 【Beta】Scrum01

    Info 时间:2016.11.26 21:30 时长:10min 地点:大运村1号公寓5楼楼道 类型:日常Scrum会议 NXT:2016.11.28 21:30 Task Report Name ...

  5. 如何用iframe标签以及Javascript制作时钟?

    如何利用iframe标签以及Javascript制作时钟? 如何制作一个时钟呢?效果如下图所示: 这里的时钟会不停的走,但是下面的页面是不会变得,这样就实现了我们想要的效果了.下面我将分为以下几个方面 ...

  6. Git创建ssh-key

    打开git bash界面,输入: ssh-keygen -t rsa -C "yourname@email.com" 一路回车,后续保持默认值即可. 把C:\users\yourn ...

  7. Java递归算法——变位字

    轮换的含义 1.c ats --> 2.ca st 3.c tsa --> 4.ct as 5.c sat --> 6.cs ta 7. atsc import java.io.Bu ...

  8. pickle模块简单使用

    import pickle with open("school_info","wb") as school: user_input = str(input(&q ...

  9. Transmission 设置硬盘缓存

          1.找到settings.json 调置文件.此文件是transmission的配置文件.一般存放在  /home/用户名/.config/transmission 目录下.       ...

  10. 上下联动,右侧按钮过多poper展示

    http://pan.baidu.com/s/1dDFMLjF