最近用hive比较多,虽然效率低,但是由于都是T+1的业务模式.所以也就不要求太多了,够用就行.其中用的吧比较多就是时间了,由于大数据中很多字段都不是标准的时间类型字段,所以期间涉及了很多的时间日期字段的处理,这里做一个汇总.一遍以后查询使用.也方便大家学习. 下面列举几个用的比较多的情况进行说明: 获得当前日期的几种用法: 1.先来一个比较老的,select unix_timestamp() ; 结果如下: 2.通过提示可知该用法已经被放弃了建议采用current_timestamp来替代.查

select Title,datepart(year,DateCreated) from CMS_Content    只取年 只显示年月,不显示日:select datepart(year,getdate())*100+datepart(month,getdate())                   200811 年月日格式化 select CONVERT(varchar, getdate(), 120 ) 2004-09-12 11:06:08 select replace(repla

select substring( convert(varchar,getdate(),120),1,16)

应用服务长久运行,难免要导出一些统计报表. 现在有一个日志表,记录了各种日志,需要导出十月份的登录日志,要求时间按日期显示,且每天用户登陆要去重. 先看日志表的字段构成: logType等于2的是登陆日志,时间显示到时分秒,根据需要,这个SQL很简单,大体分两部步: 1.时间用LEFT(Str,length)函数,截取时间只保留年月日: 2.用GROUP BY对dt.userName分组: 按照这个思路,SQL如下: SELECT LEFT(s.dt,) 登陆时间, s.username 登陆用

如何用SQL排除重复结果只取字段最大值的记录?要求得到的结果(即是PID相同的记录只取ID值最大的那一条). select * from [Sheet1$] a from [Sheet1$] where PID=a.PID and ID>a.ID) select a.* from [Sheet1$] a inner join (select PID,max(ID) as max_id from [Sheet1$] group by PID) b on a.PID=b.PID and a.ID=b

在平常开发中,去重复数据经常使用到,本人新手,接触Oracle也不久,开发中用到的小知识点,记录一下,老鸟可绕道,如果有写错的,请指正. 去重复记录可以使用distinct,当只查询一列数据时,可以轻松去掉重复的数据,当查询多列数据时,如果有一列的数据不相同,distinct则认为数据是不相同的,也就是数据将不会合并,这时类似是group by 某写字段的结果一样,此时的结果可能不是我们想要的.下面说下查询多列时去重复及合计重复记录的条数. 当做个不同的链接查询,得到的结果如下: select

用正则表达式匹配某个文本模式 1.只取双引号内的值 2.长短匹配模式对比 贪婪模式:     模式r'\"(.*)\" '的意图是匹配被双引号包含的文本,但是这个表达式中*是贪婪的,因此匹配操作会查找最长的可能匹配. 非贪婪模式: 模式r'\"(.*?)\" ' 可以强制匹配算法改成寻找最短的可能匹配. 1)长匹配模式 >>>str_pat = re.compile(r'\"(.*)\"') >>>text2

Mysql,重复字段只取其中一行 格式 : select 字段 from [表] where 其他字段 in (select 函数(其他字段) from [表] group by 相同字段) 示例如下: 从user表中,取出 user_name字段相同的记录中,id最大的那一行数据. select id,user_name from user where id in (select max(id) from user group by user_name )

//遍历select搜索结果,只取数字标key值,防止重复 foreach ($row as $key => $value) { if (is_int($key)) { echo $value; echo " | "; } }

1 #include <uf.h> 2 #include <uf_part.h> 3 #include <atlstr.h> 4 #include <iostream> 5 #include <sstream> 6 7 using std::string; 8 9 10 UF_initialize(); 11 12 //获取当前part的tag 13 tag_t WorkPart = UF_PART_ask_display_part(); 14

Hive 时间转换 UNIX时间戳概念:因为UNIX时间戳只是一个秒数,一个UNIX时间戳在不同时区看来,时间是不同的.如UNIX时间戳0,在0时区看来是1970-01-01 00:00:00,在东八区看来是1970-01-01 08:00:00. hive常用时间操作示例 -- 返回UNIX时间戳代表的(格林威治零时区)时间,默认格式如下. select from_unixtime(1); 1970-01-01 00:00:01 select from_unixtime(1 ,'yyyyMMd

通过阅读本文你可以更好的理解两个知识点: 1.#{}与${}在实际项目中的使用,避免在项目中使用不当造成不可预知的Bug; 2.MySQL中in里面如果是字符串的话,为什么只取第一个对应的数据,eg: in ("5,6,7"); ------------------------------------------------------------------------------------------------------------ 快过年了,项目决定年后上线,在修Bug阶段

JDK8 中最简单的处理方式: @Test public void dateTest(){ Date now = new Date(); System.out.println(now); // java.util.Date -> java.time.LocalDate LocalDate localDate=now.toInstant().atZone(ZoneId.systemDefault()).toLocalDate(); // java.time.LocalDate -> java.s

背景 假设有一个学生各门课的成绩的表单,应用hive取出每科成绩前100名的学生成绩. 这个就是典型在分组取Top N的需求. 解决思路 对于取出每科成绩前100名的学生成绩,针对学生成绩表,根据学科,成绩做order by排序,然后对排序后的成绩,执行自定义函数row_number(),必须带一个或者多个列参数,如ROW_NUMBER(col1, ....),它的作用是按指定的列进行分组生成行序列.在ROW_NUMBER(a,b) 时,若两条记录的a,b列相同,则行序列+1,否则重新计数. 只

时间字段格式化 from_unixtime(unix_timestamp(VisitTime),'yyyy-MM-dd') 日期函数UNIX时间戳转日期函数: from_unixtime语法:   from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式 举例: hive>   select from_unixtime(

转自http://www.oratea.net/?p=944 日期函数UNIX时间戳转日期函数: from_unixtime语法:   from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式 举例: hive>   select from_unixtime(1323308943,’yyyyMMdd’) from dua

对于Ibatis操作Date/Time/DateTime,总结如下: 将pojo的属性类型设置为java.sql.Date(或java.sql.Time, java.sql.Timestamp),此时会严格遵循这三种类型的语义.但此方法因存在前文中提到的性能问题,在JDK1.6以前的JDK版本中能少使用就少使用. 如果你想在pojo中使用java.util.Date, 则要注意: 完整的日期时间,要确保jdbcType为空,或为DATE,TIME以外的值 只需要时间,要指定jdbcType=”T

用Regex.Matches方法可以得到同指定正则表达式对应的所有匹配结果.有时,所有匹配结果可能有成千上万个,考虑到性能效率的因素,只需要取出前N个匹配结果.下面的代码演示了做法: 需求:取字符串中前3个数值(相连的数字). Match match = Regex.Match("12ab34de567ab890", @"\d+"); for (int i = 0; i < 3; i++) { if (match.Success) { Response.Wri

一.概述 本次是以java语言开发为例,计算出年月日对应的天干地支. 二.代码 public class MyDate { /** * 对于年月日的天干地支 */ private int year_ganZhi; private int month_ganZhi; private int day_ganZhi; /** * 关于阴历的相关信息 */ private static int[] lunar_info = {0x04bd8, 0x04ae0, 0x0a570, 0x054d5, 0x0

1.hive取得当前日期时间: 1.1) 取得当前日期: select current_date(); 1.2) 取得当前日期时间: select current_timestamp(); 1.3) hive取得当前时间戳: select unix_timestamp(); 1.4) 时间戳转日期: select from_unixtime(1517725479,'yyyy-MM-dd HH:dd:ss'); 1.5) 日期转unix时间戳: select to_nuix_timestamp('