[数据库]Oracle数据迁移至HIVE（待续）

step1 导出csv数据，并
call sql_to_csv('select * from BE_JJZKJCQKTJ', 'OUT_PATH', 'DA.BE_JJZKJCQKTJ.csv');
// or python

step2 删表，重新创表 或 清空表
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx 'hive -e "truncate table da.ai_zjycdb;"'

step3 上传csv数据文件到 hive数据库服务器，对非ASCII编码的csv文件转码 （UTF-8 转 GB18030）
sshpass -p 'helloWorld' scp -P 22 -r /root/dataMining/csv/*  datamining@10.100.yyy.xxx:/opt/ai/csv/

[附]
file -i fileName
iconv -f GB18030 -t UTF-8 /opt/ai/csv/ai_zjycdb.csv >  /opt/da_transfer/ai_zjycdb.csv

step4 对csv文件的数据行的内容，去除引号
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx sed -i 's/"//g' /opt/da_transfer/ai_zjycdb.csv;

step5 加载csv数据到hive数据库
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx  hive -e "load data local inpath '/opt/da_transfer/ai_zjycdb.csv' into table ai_zjycdb;"