### 获取表的大小 hdfs dfs -du /user/hive/warehouse/database_name.db/ > 360_du ### 获取表的修改日期 hdfs dfs -ls /user/hive/warehouse/database_name.db/ > 360_ls ### 7K+个表测试 ### shell处理,效率低,执行时间: 7m32.664s ### 获取表的大小和修改日期 cat 360_du|while read line do str=$(echo ${…

JDBC中获取MySQL我们有时需要获得表的大小,这包括了表的行数和列数,我们可以分别用以下的方法得到: 假设我们得到了一个ResultSet对象rs,则操作如下: 读取结果集前获取行数: rs.last()//将游标移动到最后一行 rs.getRow()//返回当前行的行号,从1~n rs.beforFirst()//将游标调会开头,此时行号为0 获取结果集列数: rs.getMetaData().getColumnCount()//获得元数据的列总数…

由于在计算一个算法的运行时间的时候,需要将文件的创建日期与修改日期读取到,然后计算两者之差,在网上搜索了相关的程序之后,自己又修改了一下,把代码贴在这里,供以后查阅使用,也希望可以帮到其他人. # -*- coding: utf-8 -*- """ Created on Mon Dec 12 14:59:46 2016 @author: shenruixue to calculate size after filter in conv and pool ""…

标题比较笼统,实际情况是: 对于Hive 的分区外部表的已有分区,在对表新增或者修改字段后,相关分区不生效. 原因是:表元数据虽然修改成功,但是分区也会对应列的元数据,这个地方不会随表的元数据修改而修改. 处理办法: 有两种 第一种:修改表,然后对于需要生效的分区,先drop 再 add. (或者说:先drop 表在重新建表再添加分区) 第二种:修改表,对需要生效的分区也执行添加或者修改字段的操作,比如:alter table tablename partition(year='2017') a…

create table #Data(name varchar(100),row varchar(100),reserved varchar(100),data varchar(100),index_size varchar(100),unused varchar(100)) declare @name varchar(100) declare cur cursor for select name from sysobjects where xtype='u' order by name ope…

SELECT table_name AS "Table", round(((data_length + index_length) / 1024 / 1024), 2) as size FROM information_schema.TABLES where table_name= "audit_log" ORDER BY size DESC;…

使用PreparedStatement向数据表中插入.修改.删除.获取Blob类型的数据 2014-09-07 20:17 Blob介绍 BLOB类型的字段用于存储二进制数据 MySQL中,BLOB是个类型系列,包括:TinyBlob.Blob.MediumBlob.LongBlob,这几个类型之间的唯一区别是在存储文件的最大大小上不同. MySQL的四种BLOB类型 类型       大小(单位:字节) TinyBlob 最大 255 Blob 最大 65K MediumBlob 最大 16M…

Oracle修改表空间大小 使用Oracle10g建立数据库后,向数据库中导入了部分数据,第二天继续向数据库中导入数据表时发生错误: 查了很多资料发现原来是Oracle表空间限制,导致无法继续导入数据的原因.如果在建立数据库时没有设置, Oracle 默认的表空间大小为400M,当数据库中数据量达到这个值,再向数据库中导入数据就会报错.解决方法是 扩展表空间.可以选择将表容量扩大,比如扩展到5G,或者当表空间不够时每次自动增加一定的容量,如每次自增200M. 下面列出详细过程: 1.通过sql…

----测试一个文件或目录是否存在 >>> import os >>> os.path.exists('/etc/passwd') True >>> os.path.exists('/tmp/spam') False >>> ----测试这个文件时什么类型的 >>> # Is a regular file >>> os.path.isfile('/etc/passwd') True >>…

1.在hive中知道一个表的存储路径可以通过hive命令   desc formatted table_name 显示表的详细信息; 2.然后找到该表的存储路径 "Location:    " "hdfs://nameservice/user/*" 3.利用hadoop fs -du  -s -h location  查看该表的大小…