一、新建hadoop组跟用户(password:hadoop)

[root@localhost home]# groupadd hadoop
[root@localhost home]# useradd -g hadoop hadoop
[root@localhost home]# passwd hadoop
Changing password for user hadoop.
New password: 
BAD PASSWORD: it is based on a dictionary word
BAD PASSWORD: is too simple
Retype new password: 
passwd: all authentication tokens updated successfully.
[root@localhost home]#

二、授时服务(时间同步)

[root@localhost home]# crontab –e

[root@localhost home]# crontab -l

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

三、 jdk-6u45-linux-i586.bin安装(没有x权限。改动权限后运行)

[root@localhost java]# pwd

/usr/local/java

[root@localhost java]# ll

total 130600

-rwxrw-rw-. 1 root root 61927560 Jun  7  2013 hadoop-1.1.2.tar.gz

-rw-r--r--. 1 root root 71799552 Oct 14 14:33 jdk-6u45-linux-i586.bin

[root@localhost java]# chmod u+x jdk-6u45-linux-i586.bin

[root@localhost java]# ll

total 130600

-rwxrw-rw-. 1 root root 61927560 Jun  7  2013 hadoop-1.1.2.tar.gz

-rwxr--r--. 1 root root 71799552 Oct 14 14:33 jdk-6u45-linux-i586.bin

[root@localhost java]# ./jdk-6u45-linux-i586.bin

配置环境变量(不在profile里面配置,新建一个java.sh文件。里面配置java的环境变量。profile文件会自己主动载入这个java.sh文件)

[root@localhost jdk1.6.0_45]# pwd

/usr/local/java/jdk1.6.0_45

[root@localhost jdk1.6.0_45]# vi /etc/profile.d/java.sh

[root@localhost jdk1.6.0_45]#

[root@localhost jdk1.6.0_45]# java

bash: java: command not found

[root@localhost jdk1.6.0_45]# source /etc/profile  (使java.sh文件配置生效)

[root@localhost jdk1.6.0_45]# java -version

java version "1.6.0_45"

Java(TM) SE Runtime Environment (build 1.6.0_45-b06)

Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)

[root@localhost jdk1.6.0_45]# javac -version

javac 1.6.0_45

[root@localhost jdk1.6.0_45]#

四、主机名改动

1、  vi /etc/sysconfig/network

把hostname改为node

验证:重新启动linux

或者:hostname 主机名(这样设置是hostname暂时有效。重新启动后失效 )最好是运行以

下source /etc/profile

2、[root@localhost jdk1.6.0_45]# vi /etc/sysconfig/network

[root@localhost jdk1.6.0_45]# hostname

localhost.localdomain

[root@localhost jdk1.6.0_45]#

在这里须要logout一次,主机名才会生效

五、hosts文件改动(能ping通就成功了)

[root@localhost Desktop]# vi /etc/hosts

[root@localhost Desktop]# ping master

PING master (192.168.209.100) 56(84) bytes of data.

64 bytes from master (192.168.209.100): icmp_seq=1 ttl=64 time=0.488 ms

64 bytes from master (192.168.209.100): icmp_seq=2 ttl=64 time=0.083 ms

^C

--- master ping statistics ---

2 packets transmitted, 2 received, 0% packet loss, time 1374ms

rtt min/avg/max/mdev = 0.083/0.285/0.488/0.203 ms

[root@localhost Desktop]#

六、防火墙关闭

[root@localhost Desktop]# service iptables status

Table: filter

Chain INPUT (policy ACCEPT)

num  target     prot opt source               destination

1    ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0           state RELATED,ESTABLISHED

2    ACCEPT     icmp --  0.0.0.0/0            0.0.0.0/0

3    ACCEPT     all  --  0.0.0.0/0            0.0.0.0/0

4    ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0           state NEW tcp dpt:22

5    REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited

Chain FORWARD (policy ACCEPT)

num  target     prot opt source               destination

1    REJECT     all  --  0.0.0.0/0            0.0.0.0/0           reject-with icmp-host-prohibited

Chain OUTPUT (policy ACCEPT)

num  target     prot opt source               destination

[root@localhost Desktop]# service iptables stop

iptables: Flushing firewall rules:                         [  OK  ]

iptables: Setting chains to policy ACCEPT: filter          [  OK  ]

iptables: Unloading modules:                               [  OK  ]

[root@localhost Desktop]# chkconfig iptables --list

iptables       0:off1:off
2:on3:on
4:on5:on
6:off

[root@localhost Desktop]# chkconfig iptables off

[root@localhost Desktop]# chkconfig iptables --list

iptables       0:off1:off
2:off3:off
4:off5:off
6:off

[root@localhost Desktop]#

[root@localhost Desktop]# service iptables status

iptables: Firewall is not running.

七、SSH 无密钥登录(切换到hadoop用户下)

切换到hadoop用户下

[root@localhost ~]# su hadoop

生成公钥跟私钥(会有3次提示。一直回车就可以)

[hadoop@localhost root]$ cd

[hadoop@localhost ~]$ pwd

/home/hadoop

[hadoop@localhost ~]$ ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/hadoop/.ssh/id_rsa.

Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.

The key fingerprint is:

33:09:0b:6d:30:f5:07:10:40:0d:be:99:cf:a9:a4:92 hadoop@localhost.localdomain

The key's randomart image is:

+--[ RSA 2048]----+

|   .*=+o.        |

|   . +.. .       |

|    o + . .      |

|     * o o       |

|    + . S        |

|     o . o       |

| .  . +          |

|E  o .           |

| .. .            |

+-----------------+

[hadoop@localhost ~]$

[hadoop@localhost ~]$ ls

[hadoop@localhost ~]$ ll -a

total 36

drwx------. 5 hadoop hadoop 4096 Feb 28 14:19 .

drwxr-xr-x. 3 root   root   4096 Feb 28 13:47 ..

-rw-------. 1 hadoop hadoop   79 Feb 28 14:23 .bash_history

-rw-r--r--. 1 hadoop hadoop   18 Feb 22  2013 .bash_logout

-rw-r--r--. 1 hadoop hadoop  176 Feb 22  2013 .bash_profile

-rw-r--r--. 1 hadoop hadoop  124 Feb 22  2013 .bashrc

drwxr-xr-x. 2 hadoop hadoop 4096 Nov 12  2010 .gnome2

drwxr-xr-x. 4 hadoop hadoop 4096 Feb 28 06:11 .mozilla

drwx------. 2 hadoop hadoop 4096 Feb 28 14:23 .ssh

[hadoop@localhost ~]$ cd .ssh/

[hadoop@localhost .ssh]$ ls

id_rsa  id_rsa.pub

[hadoop@localhost .ssh]$ ll

total 8

-rw-------. 1 hadoop hadoop 1671 Feb 28 14:23 id_rsa

-rw-r--r--. 1 hadoop hadoop  410 Feb 28 14:23 id_rsa.pub

[hadoop@localhost .ssh]$ cp id_rsa.pub authorized_keys

[hadoop@localhost .ssh]$ ll

total 12

-rw-r--r--. 1 hadoop hadoop  410 Feb 28 14:26 authorized_keys

-rw-------. 1 hadoop hadoop 1671 Feb 28 14:23 id_rsa

-rw-r--r--. 1 hadoop hadoop  410 Feb 28 14:23 id_rsa.pub

[hadoop@localhost .ssh]$

ssh登录

[hadoop@localhost .ssh]$ ssh master

The authenticity of host 'master (192.168.209.100)' can't be established.

RSA key fingerprint is f0:92:0b:08:0d:9b:72:0d:ca:99:30:0a:40:7e:05:ae.

SSH第一次登录有这个提示,回车就好。然后直接ssh master 不须要password就成功了

Are you sure you want to continue connecting (yes/no)?

yes

Warning: Permanently added 'master,192.168.209.100' (RSA) to the list of known hosts.

[hadoop@localhost ~]$ exit

logout

Connection to master closed.

[hadoop@localhost .ssh]$ ssh master

Last login: Fri Feb 28 14:27:32 2014 from master

[hadoop@localhost ~]$

退出ssh登录,进行接下来的环境配置

[hadoop@localhost ~]$ exit

Logout

说明:假设这是部署hadoop环境在linux所具备的环境配置。最后的ssh配置,后期会介绍原理分析,和集群多台server配置的简单方法。

hadoop的linux配置的更多相关文章

  1. (1)hadoop之----linux配置jdk环境

    首先Linux中应有jdk包 运用flashFXP上传文件,xshell连接linux系统 我一般将文件放在个人目录下softwear目录 ,软件装在个人目录下app目录 cd software    ...

  2. Hadoop集群--linux虚拟机Hadoop安装与配置、克隆虚拟机

    Hadoop集群 第四章 Hadoop安装与配置.克隆虚拟机 一.Hadoop安装与配置 1.将hadoop安装包通过Xftp传输到虚拟机的/software目录下 2.进入/software目录下, ...

  3. 初识Hadoop一,配置及启动服务

    一.Hadoop简介: Hadoop是由Apache基金会所开发的分布式系统基础架构,实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS:Hadoo ...

  4. 大数据 - hadoop三台linux虚拟服务器 - 初始化部署

    搭建hadoop环境 1.解压Hadoop的安装包,解压到modules文件夹中.(安装包下载地址:http://archive.apache.org/dist/hadoop/core/hadoop- ...

  5. Data - Hadoop伪分布式配置 - 使用Hadoop2.8.0和Ubuntu16.04

    系统版本 anliven@Ubuntu1604:~$ uname -a Linux Ubuntu1604 4.8.0-36-generic #36~16.04.1-Ubuntu SMP Sun Feb ...

  6. Linux配置zookeeper 和zookeeper简单介绍

    一.zookeeper介绍? 一.zookeeper 简单介绍? 1.什么是集群? // 很多台服务器保持连接通讯状态,并且所有的服务器做同一件事就称之为集群 2.什么是zookeeper? 注册中心 ...

  7. hadoop 文件参数配置

    准备环境(省略) 上传实验所需的压缩包 配置网络信息 修改主机名 配置域名解析 关闭防火墙与SELinux(在所有节点上执行)代码如下: systemctl disable --now firewal ...

  8. linux配置网卡IP地址命令详细介绍及一些常用网络配置命令

    linux配置网卡IP地址命令详细介绍及一些常用网络配置命令2010-- 个评论 收藏 我要投稿 Linux命令行下配置IP地址不像图形界面下那么方 便,完全需要我们手动配置,下面就给大家介绍几种配置 ...

  9. linux配置java环境变量(详细)

    linux配置java环境变量(详细) 本文完全引用自: http://www.cnblogs.com/samcn/archive/2011/03/16/1986248.html 一. 解压安装jdk ...

随机推荐

  1. 中国版 Office 365 (X-Tenant / Tango) 功能验证报告 - 1 简介

    花了点时间做了一次Office 365 X-Tenant的 POC,对过程做了记录和总结,在这里会陆续分享: (一) 简介 这次POC的系统环境是模拟一个公司的生产环境: 1. 公司总部在国外,拥有 ...

  2. UI开发复杂度度量

    1)要素的个数: 2)要素布局和渲染的复杂度: 3)交互的复杂度. 本质上分为两种:要素的复杂度和联系的复杂度. 联系包含要素间布局的联系与交互的联系,已经和外部上下文的联系.

  3. CSS 文字换行与不换行

    1. 强制不换行 p{ white-space:nowrap; } 2. 自动换行 p{ word-wrap: break-word; word-break: normal; } 3. 强制英文单词断 ...

  4. 配置个人Ip代理池

    做爬虫最害怕的两件事一个是被封账户一个是被封IP地址,IP地址可以使用代理来解决,网上有许多做IP代理的服务,他们提供大量的IP地址,不过这些地址不一定都是全部可用,因为这些IP地址可能被其他人做爬虫 ...

  5. [实现] 利用 Seq2Seq 预测句子后续字词 (Pytorch)2

    最近有个任务:利用 RNN 进行句子补全,即给定一个不完整的句子,预测其后续的字词.本文使用了 Seq2Seq 模型,输入为 5 个中文字词,输出为 1 个中文字词.目录 关于RNN 语料预处理 搭建 ...

  6. iOS中声音采集与播放的实现(使用AudioQueue)

    都说iOS最恶心的部分是流媒体,其中恶心的恶心之处更在即时语音. 所以我们先不谈即时语音,研究一下,iOS中声音采集与播放的实现. 要在iOS设备上实现录音和播放功能,苹果提供了简单的做法,那就是利用 ...

  7. vue cli本地开发跨域问题解决

    首先呢,找到在目录里找到config文件夹 然后修改config文件夹下的index.js里面dev的配置项proxyTable: 修改为: proxyTable: { '/api': { targe ...

  8. struts2与常用表格ajax操作的json传值问题

    struts与常用的dataTables和jqueryGrid等表格进行ajax传值时,经常会传值不适配的问题,这是因为struts在进行ajax操作时已经对你要操作的json数据进行了处理,所以不需 ...

  9. PHP中设置session过期的时间

    如何严格限制session在30分钟后过期!1.设置客户端cookie的lifetime为30分钟:2.设置session的最大存活周期也为30分钟:3.为每个session值加入时间戳,然后在程序调 ...

  10. c#数据库连接学习

    /*通过C#winform程序访问数据库数据 用到的命名空间和变量类型: using System.Data.SqlClient; SqlConnection:数据库连接类 SqlCommand:数据 ...