hadoop-1.2.1伪分布模式配置

1、hadoop-env.sh

修改 export JAVA_HOME=/Library/Java/Home #增加 JAVA_HOME

2、masters

localhost

3、slaves

localhost

4、hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.block.size</name>
<value>512000</value>
<description>The default block size for new files.</description>
</property>

5、core-site.xml

<property>
<name>hadoop.tmp.dir</name>
<value>/Users/hujihong/hadoop/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

6、mapred-site.xml

<property>
<name>mapred.job.tracker</name>
<value>http://localhost:9001</value>
</property>

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>

<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>

7、环境变量

export JAVA_HOME=/Library/Java/Home
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/Users/hujihong/hadoop/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
#export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8 #eclipse 打开中文文件名乱码，而用命令行启动eclipse

8、无密码登录

　　1、ssh-keygen -t rsa -P ''

　　这条命是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/home/hujihong/.ssh"目录下

　　2、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

把id_rsa.pub追加到授权的key里面去

修改文件"authorized_keys"权限（权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能）

chmod 600 ~/.ssh/authorized_keys

chmod 700 ~/.ssh

用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效

vi /etc/ssh/sshd_config

RSAAuthentication yes  #启用RAS认证

PubkeyAuthentication yes ＃启用公钥私钥配对认证方式 这个是ssh安全认证是的一个RSA认证。此处必须选择yes才能连接

　　（也可以修改/etc/ssh/ssh_config 中的#  StrictHostKeyChecking ask 改成 StrictHostKeyChecking no）

AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)

增加多个端口，可用个不同端口登录 Port 22 Port 8015

9、hadoop namenode -format

　　（service iptables stop  注意：防火墙一定要关闭）

10、启动 start-all.sh

11、验证： jps  //查看进程

hadoop dfsadmin -report // 查看Hadoop集群的状态

　　访问"http://10.180.10.132:50030"查看集群

　　访问"http://10.180.10.132:50070"