需求:每日hadoop结果文件中,找出数据不完整的日期和没有跑出数据的日期,重新进行跑hadoop任务 分析:在result/目录生成的文件中数据有2个特点 第一:日期有,但是数据不完整 第二:日期对应的文件不存在(文件缺失) #/bin/sh # 第一步:先打开结果文件目录(result),将目录的文件存在一个列表中 time_list=() i=0 dir=`cd ~/result/` for i in $dir do echo $i time_list[$i]=$i i=$(($i+1))
在Hadoop Eclipse开发环境搭建这篇文章中,第15.)中提到权限相关的异常,如下: 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/01/30 10:08:17 ERROR security.UserGroupInformation: