spark+hadoop+sqoop+hive平台bug解决方法

bug集锦

1. hadoop平台datanode无法启动：

原因：

由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。

解决方法：

1). 修改每台节点上的/dfs/current/version文件中的cluserID的值为当前的值（当前值可以通过hadoop/logs日志文件中的报错获得）。

2). 每次format dfs文件系统时，都加上clusterID参数:（此方法没有亲测）

hdfs namenode –format –clusterid YOURID

2. hive配置mysql为metastore时，用户权限问题：

问题描述：

在使用了grant all privileges on *.* to 'username'@'%' with grant option;或者 update user set host='%' where user='username';命令后，仍然出现权限问题。

解决方法：

# service myqld stop /*停止mysql服务*/
# usr/bin/mysqld_safe --skip-grant-tables /*启动mysql数据库安全模式*/
/*另开一个控制台*/
# mysql
> use mysql;
> update user set password=password('newpassword') where user='YOURUSERNAME';
/*可能还要查询一下user表，将一些含有空值的重复用户名记录删除*/

3. hive部署启动出错

问题描述：http://doudouclever.blog.163.com/blog/static/1751123102013911111513970/

提示：

hive Required table missing : "`DBS`" in Catalog "" Schema "

enable ... autocreate ...。

解决方法：

修改 hive-site.xml最后面的datanucleus.fixedDataStore属性为false。

4. hadoop无法启动nodemanager,可能是防火墙没有关闭。

5. sqoop 导数据时，连接连接数据库出错，oracle 11+默认对大小写敏感，而sqoop中要求用户名和密码要大写字母，所以可能需要关闭数据库的大小写敏感属性。

alter system set sec_case_sensitive_logon=false;