1 查询具体表分区大小,以字节展示 hadoop fs -du /user/hive/warehouse/treasury.db/dm_user_excercise > dm_user_excercise.txt 2 定义shell脚本: #!/bin/bash # size18=0 size17=0 size16=0 filename=$1 echo $filename while read line do num=` echo $line | cut -d " " -f 1`…

使用hive储存数据时,需要对做分区,如果从kafka接收数据,将每天的数据保存一个分区(按天分区),保存分区时需要根据某个字段做动态分区,而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区,这是静态分区. Hive动态分区步骤如下: 1.建立某一个源表模拟数据源并插入一些数据 create table t_test_p_source ( id string, name string, birthday string ) row format delimited fields termin…

AIX下调整文件系统大小 - [work] 版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明http://wangsuiri.blogbus.com/logs/35448074.html AIX下调整文件系统大小我们在安装软件的过程中,常常发现现有的分区不够大或者在添置了一块新硬盘的时候新增空间还未被利用起来,这个时候就需要调整分区的大小.这个过程的做法一般如下: 1.首先确定你正使用的卷组=============================================…

  在安装新系统的时候,有时候没法预估或者说错误的划分了分区大小,常常会导致我们后面的操作出现极大地不方便,比如某个分区分的太小了,导致 软件安装的时候会报安装空间不够,这就很麻烦.在这里我就记录一下错误分区后对home和根分区存储空间大小调整的整个过程! 1.查看我们机器现有的分区状况    注意红色框中的信息,这是我们后面要更改的分区路径.   通过上面我们可以发现根分区和home分区产生极大的不合理性,home分区太大了,所以这里我们将对home分区缩小存储空间并把压缩的存储空间添加到ro…

转载于  https://blog.csdn.net/qq_33233768/article/details/65437609   在安装新系统的时候,有时候没法预估或者说错误的划分了分区大小,常常会导致我们后面的操作出现极大地不方便,比如某个分区分的太小了,导致 软件安装的时候会报安装空间不够,这就很麻烦.在这里我就记录一下错误分区后对home和根分区存储空间大小调整的整个过程! 1.查看我们机器现有的分区状况 注意红色框中的信息,这是我们后面要更改的分区路径. 通过上面我们可以发现根分区和h…

更新hadoop fs 命令实现: [ss@db csv]$ hadoop fs -count /my_rc/my_hive_db/* 18/01/14 15:40:19 INFO hdfs.PeerCache: SocketCache disabled. 3 2 0 /my_rc/my_hive_db/.hive-staging_hive_2017-08-19_16-52-39_153_7217997288202811839-170149 2 0 0 /my_rc/my_hive_db/.hi…

现在的时间是2017年5月27日 我想说调整分区大小没那么麻烦,至少我直接将一个ext3格式分区从50G减少到了30G. 步骤如下 1 首先确保那个分区是未挂载的. 2 调整分区大小,但是其实并没有实际的改变分区的边界. e2fsck /dev/sda3 resize2fs /dev/sda3 30G 3 删了分区,重建分区.这样分区的大小就被改变了. 需要注意的是,你重建的分区必须和原来的分区起始地址一致,分区编号一致. 那你就事先打印一下,记住那个分区开始的扇区.(fdisk 的命令 p).…

背景:部署CDH集群的 hive 服务,选用 mysql 作为 hive 元数据的存储数据库,通过 hive cli 建表时发现中文注释均乱码. 现象:hive端建表中文注释乱码. 定位: 已经确认过 mysql 库的默认编码是 utf-8,并且 mysql 中建库建表不存在中文乱码的情况. 于是查看hive库表的编码,分别通过如下方式查看hive库和随机某个表的编码,发现hive表的编码是 lantin1,问题也就出在这里. 查看hive库编码: 查看hive表编码: 解决方法: 将hive表…

将MySQL库的表转入到MSSQL中的某个库中(Employees下的Employees表 → pubs库下, 此pubs下的表名是employee,不冲突),方法大致以下几个(另有其他方法待补充),其他  MSSQL to MySQL的以后也可体验下.     1)MySQL ODBC Connector(Link转换)     2)Navicat Premium     3)MSSQL Server版本相对应的SQL Server Migration Assistant for MySQL…

统计每个库每个表的大小是数据治理的其中最简单的一个要求,本文将从抽样统计结果及精确统计结果两方面来统计MySQL的每个库每个表的数据量情况. 1.统计预估数据量 mysql数据字典库information_schema里记录了统计的预估数据量(innodb引擎表不准确,MyISAM引擎表准确)及数据大小.索引大小及表碎片的大小等信息. 如果想了解每个库及表的大概数据量级,可以直接查information_schema.tables进行统计即可.例如: SELECT table_schema,ta…