更新hadoop fs 命令实现: [ss@db csv]$ hadoop fs -count /my_rc/my_hive_db/* 18/01/14 15:40:19 INFO hdfs.PeerCache: SocketCache disabled. 3 2 0 /my_rc/my_hive_db/.hive-staging_hive_2017-08-19_16-52-39_153_7217997288202811839-170149 2 0 0 /my_rc/my_hive_db/.hi…

总所周知,mysql下要想删除某个库下的某张表,只需要切换到该库下,执行语句"drop table tablename"即可删除!但若是该库下有成百上千张表,要是再这样一次次执行drop语句,就太费劲了! 正确的批量删除某个库下的所有表的方法只需如下两步:1)第一步(只需将下面的"库名"替换成实际操作中的库名即可)select concat('drop table ',table_name,';') from information_schema.TABLES wh…

如题所述,mysql5.7  mysql库下面的user表没有password字段无法修改密码, 5.7版本已经不再使用password来作为密码的字段了  而改成了authentication_string 登陆密码记不起: [root@master1 ~]# mysql -uroot -p Enter password: ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO) 更改配…

通过java api连接Hadoop集群时,如果集群支持HA方式,那么可以通过如下方式设置来自动切换到活动的master节点上.其中,ClusterName 是可以任意指定的,跟集群配置无关,dfs.ha.namenodes.ClusterName也可以任意指定名称,有几个master就写几个,后面根据相应的设置添加master节点地址即可. private static String ClusterName = "nsstargate"; private static final S…

今天公司两个远端的数据库主从同步有点问题,查看下wordpress库下所有表的表的条目? mysql> use information_schema;Database changedmysql> select table_name,table_rows from tables where TABLE_SCHEMA = 'wordpress'order by table_rows desc;+-----------------------+------------+| table_name |…

查看目录及其包含的文件的大小 du -ch directory 查看当前目录下文件的个数 ls -l | grep "^-" | wc -l 查看当前目录下以.jpg为后缀文件的个数 ls -l | grep ".jpg" | wc -l 查看当前目录下文件的个数(包括子目录) ls -lR| grep "^-" | wc -l 查看某目录下文件夹(目录)的个数(包括子目录里) ls -lR| grep "^d" | wc -…

1 查询具体表分区大小,以字节展示 hadoop fs -du /user/hive/warehouse/treasury.db/dm_user_excercise > dm_user_excercise.txt 2 定义shell脚本: #!/bin/bash # size18=0 size17=0 size16=0 filename=$1 echo $filename while read line do num=` echo $line | cut -d " " -f 1`…

上文介绍了hdfs集群信息的读取方式,本文说hive 1.先解决依赖 <properties> <hive.version>1.2.1</hive.version> </properties> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>${hive…

需求: 由于一个大文件,在spark中加载性能比较差.于是把一个大文件拆分为多个小文件后上传到hdfs,然而在spark2.2下如何加载某个目录下多个文件呢? public class SparkJob { public static void main(String[] args) { String filePath = args[0]; // initialize spark session String appName = "Streaming-MRO-Load-Multiple-CSV-…

https://github.com/sdravida/hadoop2.6_Win_x64 下载winutils.exe 添加到path中…