impala 表迁移方式 partquet数据文件移动方法

1、原表查询：
select count(*) from edm.ucard_wxd0123 where stat_dt = '2024-01-09' and id_no = '110101199003072893'

2、查看数据文件

hadoop fs -ls /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=2024-01-09

Found  items
-rw-r--r--    impala hive       -- : /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=--/214b1691c9ed3b01-dfd95f5f00000000_894437036_data..parq
-rw-r--r--    impala hive       -- : /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=--/214b1691c9ed3b01-dfd95f5f00000001_1509455238_data..parq

3、创建一张表

create table edm.ucard_wxd0123_20191211 like edm.ucard_wxd0123

4、获取parquet 格式文件

hadoop fs -get  /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=--/214b1691c9ed3b01-dfd95f5f00000000_894437036_data..parq
hadoop fs -get  /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=--/214b1691c9ed3b01-dfd95f5f00000001_1509455238_data..parq

5、创建分区目录

hadoop fs -mkdir /user/hive/warehouse/edm.db/ucard_wxd0123_20191211/stat_dt=2024-01-09

6、上传partquet文件

hadoop fs -put 214b1691c9ed3b01-dfd95f5f00000000_894437036_data..parq /user/hive/warehouse/edm.db/ucard_wxd0123_20191211/stat_dt=--/
hadoop fs -put 214b1691c9ed3b01-dfd95f5f00000001_1509455238_data..parq /user/hive/warehouse/edm.db/ucard_wxd0123_20191211/stat_dt=--/

7、Hive中修复表信息

msck REPAIR TABLE edm.ucard_wxd0123_20191211;

8、Impala 中刷新元数据

Invalidate  metadata edm.ucard_wxd0123_20191211;

9、进行查询

select * from  edm.ucard_wxd0123_20191211;

可以显示结果

总结：我们可以迁移partquet 文件到指定分区，然后进行查询数据。