scala import kafka.utils._ class DefaultPartitioner(props: VerifiableProperties = null) extends Partitioner { private val random = new java.util.Random def partition(key: Any, numPartitions: Int): Int = { Utils.abs(key.hashCode) % numPartitions } } j…

Ubuntu 14.04.1 LTS上默认的scala版本是2.9的,而最新版本的spark-1.3需要最低版本的scala版本为2.10.x,先使用apt-get remove scala将机器上的老版本scala清除干净.在这个位置下载 http://www.scala-lang.org/download/2.10.5.html scala, 现在好后,解压, 最后编辑~/.bashrc,设置如下环境变量: export PATH=/home/zhangchao3/spark-evn/sca…

简述 WordCount(单词计数)作为大数据体系的标准示例,一直是入门的经典案例,下面用java和scala实现Flink的WordCount代码: 采用IDEA + Maven + Flink 环境:文末附 pom 文件和相关技术点总结: Java批处理版本 import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apa…

sparksql是spark中的一个模块,主要用于进行结构化数据的处理,他提供的最核心的编程抽象,就是DataFrame.同时,sparksql还可以作为分布式的sql查询引擎. 最最重要的功能就是从hive中查询数据.     Dataframe可以理解为:以列的形式组织的,分布式的数据集合.     Dataframe可以通过很多来源进行构建,包括:结构化的数据文件.hive中的表.外部的关系型数据库.以及RDD   使用sparksql 首先需要创建一个sqlContext对象,或者是它的…

Kafka旧版本producer由scala编写,0.9以后已经废除,但是很多公司还在使用0.9以前的版本,所以总结如下: 要注意包Producer是 kafka.javaapi.producer.Producer 这个才是java api使用的包 示例代码如下: import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; import kafka.producer.ProducerConfig; imp…

(1).安装或升级java,并配置环境变量 注意:此处分为yum安装与rpm安装,区别在于yum安装省事但配置麻烦,rpm安装麻烦但配置省事. 1)yum安装 在安装前可以使用yum list installed | grep jdk查看已经安装的JDK文件 [root@xuexi ~]# yum list installed | grep jdk copy-jdk-configs.noarch 3.3-10.el7_5 @updates java-1.8.0-openjdk.x86_64 1:…

问题描述 在Intellij idea中新建了一个Maven项目,运行时报错如下:Error : java 不支持发行版本5 解决 1.在Intellij中点击"File" -->"Project Structure",看一下"Project"和"Module"栏目中Java版本是否与本地一致 发现这里版本错了,进行改动成11 2.点击"Settings"-->"Bulid, Exec…

java 计算器SWT/RAP(版本3)键盘鼠标兼容,之前版本也对,但存在线程失效问题,当多人访问时,就容易线程失效,一直犯得一个错误就是一直用static变量和static方法, 之前加了什么js界面控制什么的,都没用,去掉static就好了 package cn.lesaas.nof.rwtswt.ui.dialog;import java.math.BigDecimal;import org.eclipse.swt.SWT;import org.eclipse.swt.events.Sel…

纯JAVA驱动:// 2005 版本:驱动:Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");连接:”jdbc:sqlserver:// localhost:1433;databaseName=pubs”,”sa”,”sa” // 2000 版本:驱动:Class.forName("com.microsoft.jdbc.sqlserver.SQLServerDriver");连接:“jdbc:…

1.报错现象: 启动kafka的时候启动失败,并且会报告下面的错误: java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 报错原因: 产生这个错误的原因有两个: 一是,没有包含scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object这个的jar包,所以找不到: 二是,有两个包含scala.Predef…