hadoop bug 笔记

1.sqoop从mysql导入数据到hdfs的时候，总是在本地运行，而没有运行在集群上

sqoop  配置文件的问题

在 /usr/lib/sqoop/conf 目录下新增文件 sqoop-env.sh 按照sqoop-env-template.sh模板配置 如下

et path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/wwx/hadoop/hadoop-2.6.0-cdh5.8.0

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/wwx/hadoop/hadoop-2.6.0-cdh5.8.0

由于默认的HADOOP_COMMON_HOME并不是 我运行集群 所在的目录，而是 /usr/lib/sqoop/bin/configure-sqoop 中所配置的目录 打开这个文件就可以看到

2.namenode重新format之后会导致namenode和datanode的版本不一致，再次启动datanode的时候会导致datanode启动不了

应当尽量避免再次格式化，或者在格式化后删除原来的version文件，目录是在hdfs-site.xml文件中配置的dfs.datanode.data.dir属性

3.ssh免密码登录

本机免密码登录

执行ssh看ssh是否安装了，一般默认都安装了　　

任意目录执行ssh-keygen -t rsa 生成公钥和私钥

一直enter，不设密码

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

ssh localhost 看是否需要输入密码，如果要输入

则 修改文件权限

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

ssh localhost 则不需要输入密码

A机器免密码登录B机器

将A机器的公钥id_rsa.pub 追加到B机器的authorized_keys中

4.将用户添加到sudoer文件中

su root

visudo

找到 root ALL这一行，在这一行下面加上 自己的username  ALL=(ALL) NOPASSWD:ALL

5.修改锁屏时间

桌面左上角找到System-->Preferences-->Screensaver  将时间调整

6.关闭防火墙

1) 重启后生效 
开启： chkconfig iptables on 
关闭： chkconfig iptables off 

2) 即时生效，重启后失效 
开启： service iptables start 
关闭： service iptables stop
7.给虚拟机设置静态ip

修改ip：
编辑文件/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 //设备名称，不要修改
BOOTPROTO=static //不要修改
BROADCAST=10.10.22.255 //广播地址，一般为本网段的最后一个IP
IPADDR=10.10.22.145 //ip地址
NETMASK=255.255.255.0 //子网掩码
NETWORK=10.10.22.0 //网段地址
HWADDR="00:0C:29:92:BF:74"//修改为当前网卡的mac地址
ONBOOT=yes //不要修改
TYPE=Ethernet //不要修改
注意： ifcfg-eth0是第一张网卡，ifcfg-eth1是第二张网卡，依次类推
克隆或复制的虚拟机，网卡mac地址就会增加一个，mac地址信息在/etc/udev/rules.d/70-persistent-net.rules
注意要把mac地址修改为当前有效的网卡
8.nodemanager启动不起来，并且错误信息为NodeManager from  hadoop-2 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager貌似是因为在yarn-site.xml中

<property>
<description>Amount of physical memory, in MB, that can be allocated
for containers.</description>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>30720</value>
</property>

其中value<1024,选择把这个给注释掉之后可以启动

9.centos配置yum源

cd /etc/yum.repos.d/

新建一个repo源文件 sudo vi my-reponame.repo

以小象学院的cloudera repo源为例

添加以下内容

[cloudera-cdh5-myself]
name=Cloudera CDH, Version(Custom)
baseurl=http://112.74.102.117/software/cloudera-cdh5
gpgcheck=0

保存退出即可使用

10.mysql设置远程访问权限与远程访问

设置远程访问权限：

在启动了mysql的主机上执行mysql命令

允许任意主机访问：mysql>GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%'IDENTIFIED BY 'mypassword' WITH GRANT OPTION;  #myuser是主机的用户名

允许特定主机访问：mysql>GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'192.168.1.3'IDENTIFIED BY 'mypassword' WITH GRANT OPTION;  #ip或者可识别的主机名都可

远程访问测试：

在另一台主机上执行 mysql -hhadoop-4 -u root -p #hadoop-4为本主机的主机名 root是mysql的登录账户名

然后输入密码

11.hive-server2启动出错，这个错误困扰了我好几天，最终解决了，必须得记录一下

错误的详细信息可以参照小象问答上面一个人的提问，是一模一样的错误 http://wenda.chinahadoop.cn/question/767

总结起来就是hive-server2 启动failed ，在/var/log/hive目录下查看日志发现说找不到HADOOP_HOME,也就是说hive找不到hadoop

但是已经在/usr/lib/hive/conf/hive-env.sh中配置了HADOOP_HOME  而且错误信息是在执行/usr/lib/hive/bin/hive这个脚本时打印的

所以去追查这个脚本 发现脚本中正确识别了HADOOP_HOME ,但是却没有权限去读取HADOOP_HOME/bin/hadoop这个脚本（认为它不存在，实际上是没有权限读取和执行）

所以得修改这个权限，让hive可以执行  从小象问答的帖子中发现是要让hive用户有权限 所以执行chmod 755 -R / （HADOOP_HOME=/home/wwx/hadoop/hadoop-2.6.0-cdh5.8.0）目的是让其他用户也有读取和执行的权限

操作之后果然有效果，但是却有新问题出现  在hive脚本中执行hadoop version时返回 又找不到java了  （JAVA_HOME not set） 之前hadoop都能运行，所以hadoop是肯定能找到java的，而且各种配置项也都配置了

最后思考是不是其他目录也有hadoop存在，结果在/usr/lib/中发现了hadoop目录 在/usr/lib/hadoop/etc/hadoop/hadoop-env.sh （文件新建的）中设置好JAVA_HOME

export JAVA_HOME=/home/wwx/jdk/jdk1.7.0_79

发现问题解决了

其实不太明白为什么hive会去读取这个目录的hadoop下的hadoop-env.sh 而不是配置的HADOOP_HOME目录下的hadoop-env.sh ，这是一个疑问有待后续发现。。