//统计access.log文件里面IP地址对应的省份,并把结果存入到mysql package access1 import java.sql.DriverManager import org.apache.spark.broadcast.Broadcast import org.apache.spark.{SparkConf, SparkContext} object AccessIp { def main(args: Array[String]): Unit = { //new sc va…

准备工作: 将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G,因为需要在该节点上跑本地(local)Spark程序,本地Spark程序会启动Worker进程耗用大量内存资源 其余准备工作可参考:scala程序开发之单词出现次数统计(本地运行模式) 1.启动Spark集群 [hadoop@master01 install]$ cat start-total.sh #!/bin/bash echo "请首先确认你已经切换到hadoop用户" #启动zoo…

所用数据来自于之前的一篇博客: <QQ群成员发言次数统计(正则表达式版)> 链接:http://www.cnblogs.com/liyongzhao/p/3324026.html 1.首先导出数据到Y盘,存为demo.csv SAS程序如下: proc export data=rtf outfile="Y:\demo.csv" dbms=csv replace; putnames=yes; run; 2.将数据读入R R程序如下: demo<-data.frame(r…

staticmethod 统计实例 #!python2 #-*- coding:utf-8 -*- class c1: amount_instance=0 def __init__(self): c1.amount_instance+=1 @staticmethod def printresult(): print "Amount of Instance: " ,c1.amount_instance class sub1(c1): #此处定义没有作用,因为只会引用c1中amount_i…

公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[JAVA系列]使用JavaScript实现网站访问次数统计代码   前言部分 大家可以关注我的公众号,公众号里的排版更好,阅读更舒适. 正文部分 方法一的代码: <script type="text/javascript"> var caution=false function setCookie(name,value,e…

准备工作: 将运行Scala-Eclipse的机器节点(CloudDeskTop)内存调整至4G,因为需要在该节点上跑本地(local)Spark程序,本地Spark程序会启动Worker进程耗用大量内存资源 本地运行模式(主要用于调试) 1.首先将Spark的所有jar包拷贝到hadoop用户家目录下 [hadoop@CloudDeskTop spark-2.1.1]$ pwd /software/spark-2.1.1 [hadoop@CloudDeskTop spark-2.1.1]$ c…

1.准备 事先在hdfs上创建两个目录: 保存上传数据的目录:hdfs://alamps:9000/library/SparkStreaming/data checkpoint的目录:hdfs://alamps:9000/library/SparkStreaming/CheckPoint_data ------------------------------------------------------ 2.源码 package stream; import java.util.Arrays;…

JSP 点击量统计 有时候我们需要知道某个页面被访问的次数,这时我们就需要在页面上添加页面统计器,页面访问的统计一般在用户第一次载入时累加该页面的访问数上. 要实现一个计数器,您可以利用应用程序隐式对象和相关方法getAttribute()和setAttribute()来实现. 这个对象表示JSP页面的整个生命周期中.当JSP页面初始化时创建此对象,当JSP页面调用jspDestroy()时删除该对象. 以下是在应用中创建变量的语法: application.setAttribute(Strin…

使用Python,HtmlParser来统计深圳市保障房申请人的原籍省份分布,年龄分布等.从侧面可以反映鹏城人的地域分布.以下python代码增大了每一次获取的记录数,从而少提交几次请求.如果按照WEB主页设定的每一次请求最多50个记录,那就得提交数千次请求,显然费时.另外,也可以使用多线程处理,快速获得数据,解析数据,然后使用pandas,matplotlib等工具进行数据处理和绘制.查询了系统,截止2016年2月,轮候系统的保障房人数大概4万多,公租房轮候人数大概5万,以下数据仅作学习使用,…

4. 假设检验 基础回顾: 假设检验,用于判断一个结果是否在统计上是显著的.这个结果是否有机会发生. 显著性检验 原假设与备择假设 常把一个要检验的假设记作 H0,称为原假设(或零假设) (null hypothesis) 与H0对立的假设记作H1,称为备择假设(alternative hypothesis) 拟合优度Goodness of Fit,是指回归直线对观测值的拟合程度. 对非线性方程: (1)计算残差平方和 Q =∑(y-y*)2 和 ∑y2 ,其中,y 代表的是实测值,y* 代表的…