参考地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1. parse_url(url, partToExtract[, key]) 解析URL字符串,partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO] eg:         2. concat(str1,SEP,str2,SEP,str3,--) 和 conc

用Timestamp来记录日期时间还是很方便的,但有时候显示的时候是不需要小数位后面的毫秒的,这样就需要在转换为String时重新定义格式.         Timestamp转化为String: SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//定义格式,不显示毫秒 Timestamp now = new Timestamp(System.currentTimeMillis());//获取系统当前时

java.util.Date与的String互转 java.util.Date---->String /** * 将java.util.Date对象转化为String字符串 * @param date * 要格式的java.util.Date对象 * @param strFormat * 输出的String字符串格式的限定(如:"yyyy-MM-dd HH:mm:ss") * @return 表示日期的字符串 */ public static String dateToStr(j

先查看表 timestamp可以转换为标准的时间(精确到秒);https://tool.lu/timestamp/ 这个时间格式用处很多: 多个时间可以使用函数,来切换. 每个用户 产生行为的时候,用timestamp来区分下单先后关系,记录什么时候看过哪些商品: 比较大小,比如最早订单.. select max(`timestampss`) as max_tm,min(`timestampss`)  as min_tm from  user_data;  --``是1前面的那个符号, 我们以最

1.String与Date类型转换: 1.获取当前系统时间: Date date1 = new Date();   //获取系统当前时间 Calendar cal = Calendar.getInstance(); Date t = cal.getTime();  //获取系统当前时间 System.currentTimeMillis(); //获取系统当前时间毫秒数 2.Date类型转换为String类型: SimpleDateFormat sdf = new SimpleDateFormat

转自:http://blog.sina.com.cn/s/blog_6675493d0100lbfl.html Timestamp转化为String: SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//定义格式,不显示毫秒 Timestamp now = new Timestamp(System.currentTimeMillis());//获取系统当前时间 String str = df.forma

Timestamp转化为String: SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//定义格式,不显示毫秒 Timestamp now = new Timestamp(System.currentTimeMillis());//获取系统当前时间 String str = df.format(now);   String转化为Timestamp: SimpleDateFormat df = new

一.String与Date(java.util.Date)互转  1.1 String -> Date Date date = DateFormat.parse(String  str); String dateStr = "2010/05/04 12:34:23"; Date date = new Date(); //注意format的格式要与日期String的格式相匹配 DateFormat sdf = new SimpleDateFormat("yyyy/MM/d

1.一般可以通过beeline,代理方式登录hive; 2.使用数据库abc_hive_db:use abc_hive_db; 3.查看数据库中有哪些表:show tables :有哪些特定表 show tables like '*tb_site*'; 4.查看某张表的表结构:desc tablename; 方法2:查看表的字段信息及元数据存储路径 desc extended table_name; 方法3:查看表的字段信息及元数据存储路径 desc formatted table_name;

1. 日志格式 #Software: Microsoft Internet Information Services 6.0 #Version: 1.0 #Date: -- :: #Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status -- :: W3SVC1

本文转载自:http://blog.csdn.net/haojun186/article/details/7977565 1.  HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储.查询和分析存储在 Hadoop 中的大规模数据的机制.Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据.同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 map

在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时,需要同步mysql表中的注释,以下脚本可以生成hive表字段注释修改语句. 注:其他关系型数据库如:oracle 可以通过相同的思路,读取元数据,修改脚本语法实现. 使用: 在mysql元数据库:information_schema 中执行以下语句 SELECT CONCAT('alter table ', TABLE_NAME, ' CHANGE COLUMN ', COLUMN_NAME, ' ', COLUMN_NAME,

5 Function      指数据库内置的function,不讨论UDF.另外,操作符都不比较了,区别不大.   5.1 数学函数 功能 Oracle Hive Impala ABS 绝对值,有 有 有 SIN/SINH/ASIN/COS/COSH/ACOS/TAN/TANH/ATAN/ATAN2 三角函数 其中ATAN2接受两个参数(二维平面中的坐标) 没有SINH/COSH/TANH/ATAN2 同hive BITAND 按位与,有     CEIL 天花板值,有 有,还有个别名CEIL

使用时发现:1.datediff可以传入timestamp类型参数     官网文档: Date Functions The following built-in date functions are supported in Hive: Return Type Name(Signature) Description string from_unixtime(bigint unixtime[, string format]) Converts the number of seconds from

hive -- 自定义函数和Transform UDF操作单行数据, UDAF:聚合函数,接受多行数据,并产生一个输出数据行 UDTF:操作单个数据 使用udf方法: 第一种: add jar xxx.jar cteate temporary function 方法名; 注销一个jar方法:drop temporay function 方法名: 第二种:写一个脚本 vi cat hive_init add jar /home/data/xxx.jar create temporary fucnt

说明:spark版本:2.2.0 hive版本:1.2.1 需求: 有本地csv格式的一个文件,格式为${当天日期}visit.txt,例如20180707visit.txt,现在需要将其通过spark-sql程序实现将该文件读取并以parquet的格式通过外部表的形式保存到hive中,最终要实现通过传参的形式,将该日期区间内的csv文件批量加载进去,方式有两种: 1.之传入一个参数,说明只加载一天的数据进去 2.传入两个参数,批量加载这两个日期区间的每一天的数据 最终打成jar包,进行运行 步

PS:视频一直就是在演示   高可用(比较偏运维一点) PS:Active是对外提供服务的,standBy是从属备用的:但是他们是怎样保证同步的数据的呢?一个运行中zookeeper上的第三方那个工具 qJournalPS:什么时候感知到服务挂了呢,进行切换呢?就是使用zkfc技术 PS:namenode的安全模式 PS:Ferdaration是就是由多个HDFS构成.一般用的比较少 ---------------------------Hive 1.1.1 什么是Hive Hive是基于Had

本文参考Apache官网,更多内容请参考:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 1. 数值型 类型 支持范围 TINYINT 1-byte signed integer, from -128 to 127 SMALLINT 2-byte signed integer, from -32,768 to 32,767 INT/INTEGER 4-byte signed integer, from -

一.内部表与外部表的比较 Hive表概念和关系型数据库表概念差不多.在Hive里表会和HDFS的一个目录相对应,这个目录会存放表的数据.目录默认是/usr/hive/warehouse/. 比如你在hadoop09数据库创建了emp表,那么HDFS中就会有/user/hive/warehouse/hadoop09.db/emp这个目录来存放表里的数据. 管理表:管理表又被称之为内部表,他只管理着数据生命周期,当我们删除这张表时,元数据和存储的业务数据都会被删除,也就是说HDFS所对应的表目录应该

Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具,使用Hql作为接口,maprduce作为执行层 Hdfs作为储存层.设计的目的是让sql开发人员java技能较弱的人编写并查询海量数据 缺点执行效率低 Hive的访问 Hive ----odbc/jdbc----hiveserver2 Hive---hive Compiler 编译器 Optimizer 优化器

CREATE TABLE page_view(viewTime INT, userid BIGINT,p_date timestamp, page_url STRING, referrer_url varchar(200), ip STRING COMMENT 'IP Address of the User') COMMENT 'This is the page view table' PARTITIONED BY(dt STRING, country STRING) STORED AS SEQ