关于Hive中常用函数需要注意的点小合集

　　1.COALESCE( value1,value2,... )
　　
　　The COALESCE function returns the fist not NULL value from the list of values. If all the values in the list are NULL, then it returns NULL.
　　
　　Example: COALESCE(NULL,NULL,5,NULL,4) returns 5；
　　
　　coalesce()函数，在处理空值时，'' 和NULL是不一样的，函数认为NULL是空值，但'' 不是空值，
　　
　　故coalesce('','test')会返回'',而不是test；而coalesce(NULL,'test')回返回test;
　　
　　2.NTILE,ROW_NUMBER,RANK,DENSE_RANK；
　　
　　①NTILE:用户将分组数据按照顺序切分成N片,返回当前切片值。
　　
　　NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值
　　
　　NTILE不支持ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)
　　
　　如果切片不均匀，默认增加第一个切片的分布
　　
　　SELECT
　　
　　cookieid,
　　
　　createtime,
　　
　　pv,
　　
　　NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime) AS rn1, --分组内将数据分成2片
　　
　　NTILE(3) OVER(PARTITION BY cookieid ORDER BY createtime) AS rn2, --分组内将数据分成3片
　　
　　NTILE(4) OVER(ORDER BY createtime) AS rn3 --将所有数据分成4片
　　
　　FROM lxw1234
　　
　　ORDER BY cookieid,createtime;
　　
　　cookieid day pv rn1 rn2 rn3
　　
　　-------------------------------------------------
　　
　　cookie1 2015-04-10 1 1 1 1
　　
　　cookie1 2015-04-11 5 1 1 1
　　
　　cookie1 2015-04-12 7 1 1 2
　　
　　cookie1 2015-04-13 3 1 2 2
　　
　　cookie1 2015-04-14 2 2 2 3
　　
　　cookie1 2015-04-15 4 2 3 3
　　
　　cookie1 2015-04-16 4 2 3 4
　　
　　cookie2 2015-04-10 2 1 1 1
　　
　　cookie2 2015-04-11 3 1 1 1
　　
　　cookie2 2015-04-12 5 1 1 2
　　
　　cookie2 2015-04-13 6 1 2 2
　　
　　cookie2 2015-04-14 3 2 2 3
　　
　　cookie2 2015-04-15 9 2 3 4
　　
　　cookie2 2015-04-16 7 2 3 4
　　
　　比如，统计一个cookie，pv数最多的前1/3的天
　　
　　SELECT
　　
　　cookieid,
　　
　　createtime,
　　
　　pv,
　　
　　NTILE(3) OVER(PARTITION BY cookieid ORDER BY pv DESC) AS rn
　　
　　FROM lxw1234;
　　
　　--rn = 1 的记录，就是我们想要的结果
　　
　　cookieid day pv rn
　　
　　----------------------------------
　　
　　cookie1 2015-04-12 7 1
　　
　　cookie1 2015-04-11 5 1
　　
　　cookie1 2015-04-15 4 1
　　
　　cookie1 2015-04-16 4 2
　　
　　cookie1 2015-04-13 3 2
　　
　　cookie1 2015-04-14 2 3
　　
　　cookie1 2015-04-10 1 3
　　
　　cookie2 2015-04-15 9 1
　　
　　cookie2 2015-04-16 7 1
　　
　　cookie2 2015-04-13 6 1
　　
　　cookie2 2015-04-12 5 2
　　
　　cookie2 2015-04-14 3 2
　　
　　cookie2 2015-04-11 3 3
　　
　　cookie2 2015-04-10 2 3
　　
　　②ROW_NUMBER：Row_number函数返回一个唯一的值，当碰到相同数据时，排名按照记录集中记录的顺序依次递增。
　　
　　ROW_NUMBER() –从1开始，按照顺序，生成分组内记录的序列
　　
　　–比如，按照pv降序排列，生成分组内每天的pv名次
　　
　　ROW_NUMBER() 的应用场景非常多，再比如，获取分组内排序第一的记录;获取一个session中的第一条refer等。
　　
　　SELECT
　　
　　cookieid,
　　
　　createtime,
　　
　　pv,
　　
　　ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn
　　
　　FROM lxw1234;
　　
　　cookieid day pv rn
　　
　　-------------------------------------------
　　
　　cookie1 2015-04-12 7 1
　　
　　cookie1 2015-04-11 5 2
　　
　　cookie1 2015-04-15 4 3
　　
　　cookie1 2015-04-16 4 4
　　
　　cookie1 2015-04-13 3 5
　　
　　cookie1 2015-04-14 2 6
　　
　　cookie1 2015-04-10 1 7
　　
　　cookie2 2015-04-15 9 1
　　
　　cookie2 2015-04-16 7 2
　　
　　cookie2 2015-04-13 6 3
　　
　　cookie2 2015-04-12 5 4
　　
　　cookie2 2015-04-14 3 5
　　
　　cookie2 2015-04-11 3 6
　　
　　cookie2 2015-04-10 2 7
　　
　　③RANK 和 DENSE_RANK：
　　
　　RANK：Rank函数返回一个唯一的值，除非遇到相同的数据时，此时所有相同数据的排名是一样的，同时会在最后一条相同记录和下一条不同记录的排名之间空出排名。
　　
　　DENSE_RANK:Dense_rank函数返回一个唯一的值，除非当碰到相同数据时，此时所有相同数据的排名都是一样的。
　　
　　—RANK() 生成数据项在分组中的排名，排名相等会在名次中留下空位
　　
　　—DENSE_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位
　　
　　SELECT
　　
　　cookieid,
　　
　　createtime,
　　
　　pv,
　　
　　RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn1,
　　
　　DENSE_RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn2,
　　
　　ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv DESC) AS rn3
　　
　　FROM lxw1234
　　
　　WHERE cookieid = 'cookie1';
　　
　　cookieid day pv rn1 rn2 rn3

Slf4j public class TestThreadlocal {
private static ThreadLocal<String> local = ThreadLocal.withInitial(() -> "init");

public static void main(String[] args) throws InterruptedException {
Runnable r = new TT();
new Thread(r, "thread1").start();
Thread.sleep(2000);
new Thread(r, www.michenggw.com"thread2"www.baishenyvip.com).start();
log.info("exit"www.bsylept.com);
private static class TT implements Runnable {
@Override
public void run(www.jiahuayulpt.com ) {
log.info(local.get(www.yongshi123.cn));
local.set(Thread.currentThread().getName(www.dfgjpt.com));
log.info("set local name and get: {}", local.get());
　　
　　--------------------------------------------------
　　
　　cookie1 2015-04-12 7 1 1 1
　　
　　cookie1 2015-04-11 5 2 2 2
　　
　　cookie1 2015-04-15 4 3 3 3
　　
　　cookie1 2015-04-16 4 3 3 4
　　
　　cookie1 2015-04-13 3 5 4 5
　　
　　cookie1 2015-04-14 2 6 5 6
　　
　　cookie1 2015-04-10 1 7 6 7
　　
　　rn1: 15号和16号并列第3, 13号排第5
　　
　　rn2: 15号和16号并列第3, 13号排第4
　　
　　rn3: 如果相等，则按记录值排序，生成唯一的次序，如果所有记录值都相等，或许会随机排吧。