oracle_多字段统计 查询同一张表中同一字段的不同值的综合,方法如下: select o.code 礼品代码, o.name 礼品名称, l.couponactivityid 券活动定义, count(l.couponno) as 券总数量, count(case when l.state in ('0') then '0' end) 未兑换券数量, count(case when l.state in ('1') then '1' end) 已兑换未核销券数量, count(case wh…

spark经典之单词统计 准备数据 既然要统计单词我们就需要一个包含一定数量的文本,我们这里选择了英文原著<GoneWithTheWind>(<飘>)的文本来做一个数据统计,看看文章中各个单词出现频次如何.为了便于大家下载文本.可以到GitHub上下载文本以及对应的代码.我将文本放在项目的目录下. 首先我们要读取该文件,就要用到SparkContext中的textFile的方法,我们尝试先读取第一行. scala实现 import org.apache.spark.{SparkCo…

最近迷上了spark,写一个专门处理语料库生成词库的项目拿来练练手, github地址:https://github.com/LiuRoy/spark_splitter.代码实现参考wordmaker项目,有兴趣的可以看一下,此项目用到了不少很tricky的技巧提升性能,单纯只想看懂源代码可以参考wordmaker作者的一份简单版代码. 这个项目统计语料库的结果和执行速度都还不错,但缺点也很明显,只能处理GBK编码的文档,而且不能分布式运行,刚好最近在接触spark,所以用python实现了里面…

场景 餐厅老板想要统计每个用户来他的店里总共消费了多少金额,我们可以使用updateStateByKey来实现 从kafka接收用户消费json数据,统计每分钟用户的消费情况,并且统计所有时间所有用户的消费情况(使用updateStateByKey来实现) 数据格式 {"user":"zhangsan","payment":8} {"user":"wangwu","payment":7}…

参考学习链接:http://www.itnose.net/detail/6269425.html 机器学习相关算法,建议初学者去看看斯坦福的机器学习课程视频:http://open.163.com/special/opencourse/machinelearning.html(已经被翻译了) 所有文中示例见:http://spark.apache.org/docs/latest/mllib-statistics.html 统计工具(1)摘要统计我们通过统计中可用的colStats函数提供RDD…

此程序功能: 1．完成对10.4G.csv文件各个元素频率的统计 2．获得最大的统计个数 3．对获取到的统计个数进行降序排列 4．对各个元素出现次数频率的统计 import org.apache.spark.{SparkConf, SparkContext} /** */ object 大数据统计 { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("大数据").setMaster(…

>>> rdd = sc.parallelize([("), ("b", 1), ("a", 1), ("a", 1)]) >>> rdd.distinct().countByKey().items() [('a', 2), ('b', 1)] OR: from operator import add rdd.distinct().map(lambda x: (x[0], 1)).reduceByKe…

select count(1) from pd_xxx_origin_xxx_data where create_time like '2019-02-23%' and source='20036'   SELECT  sum(case when create_time like '2019-02-23%' then 1 else 0 end) as inst_count, sum(case when active_time like '2019-02-23%' then 1 else 0 en…

// 省份查询 $province = M('hospital') -> field('area as label,count(*) as value') -> group('area') -> select(); 输出结果如下所示: array(31) { [0] => array(2) { ["label"] => string(6) "上海" ["value"] => string(5) "25…

现在通信行业上班,最麻烦的就是计算各个协议接口字段填充的内容是否正确.经历了小白似的一个个字段统计在到单个接口所有字段统计,然后到现在的多个接口一次统计.在大大节省了时间的同时,让自己有更充足的时间来整理脚本,良性循环! 代码如下,copy后可以直接使用,也可以按照自己的喜好修改. 需要统计协议的字段内容: 24|eb8f7837000039|||8613522222222|||2016092817|2016092817|7|1|10.82.58.2|4010|10.82.99.10|3868|…