package org.langtong.sparkdemo; import com.fasterxml.jackson.databind.ObjectMapper; import org.apache.spark.SparkConf; import org.apache.spark.SparkContext; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; impor…

1 Spark读HBase Spark读HBase黑名单数据,过滤出当日新增userid,并与mysql黑名单表内userid去重后,写入mysql. def main(args: Array[String]): Unit = { @volatile var broadcastMysqlUserids: Broadcast[Array[String]] = null val today = args(0) val sourceHBaseTable = PropertiesUtil.getProp…

package com.zjlantone.hive import java.util.Properties import com.zjlantone.hive.SparkOperaterHive.sparkSession import org.apache.spark.rdd.RDD import org.apache.spark.sql.types.StructType import org.apache.spark.{SparkConf, SparkContext} import org.…

本文程序集成了Spring-boot.Spring-batch.Spring-data-jpa.hibernate.Quartz.H2等.完整代码在Github上共享,地址https://github.com/birdstudiocn/spring-sample 这程序功能是简单批量读取文件记录,然后将记录数据保存在数据库.是Quartz定时任务每20秒执行一次.功能简单只作框架搭建使用. 首先是主类QuartzApplication.java package cn.birdstudio; im…

先解释下,由于历史原因导致hive中的看到分区比hdfs中的文件夹不匹配,存在hive中分区数有,实际hdfs中无此文件夹. spark中通过sparkSQL读取hive中的该表时,将会出现异常. 解决方案: 1. 检查该表是否是外部表,如果不是,将属性修改为外部表属性. 这里修改为外部表,目的是在删除分区时,不会将已有的数据删除.必要时,先做好备份处理. alter table tablename set tblproperties('EXTERNAL'='TRUE'); 2. 删除异常分区…

package transfor; import java.io.*; import java.net.HttpURLConnection; import java.net.URL; import java.util.ArrayList; public class demo { private static ArrayList<String> filelist = new ArrayList<String>(); private static String CHARSET = &q…

1.map算子 private static void map() { //创建SparkConf SparkConf conf = new SparkConf() .setAppName("map") .setMaster("local"); //创建JavasparkContext JavaSparkContext sc = new JavaSparkContext(conf); //构造集合 List<Integer> numbers = Arra…

一边读一边写 import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; public class IoCopyTest02 { public static void main(String[] args) throws IOException { //创建读取文件路径 String inputF…

之前的随笔中,已经实现了python版本调用api接口,之所以使用python是因为python比java要简洁. 但是我发现在使用过程中,chaquopy插件会弹出底部toast显示"unlicensed copy of chaquopy",也就是说使用这款插件是需要license的,如果没有配置license,软件运行5分钟会强制重启,详见https://chaquo.com/chaquopy/license/. chaquopy对开源软件是免费的,闭源是收费的,因此正常使用就需要…

作为网易开源的ATX APP自动化测试框架,对比现有的macaca自动化框架/Appium自动化框架,最大的特别就是在于可远程进行自动化测试 先给大家看一张我自己梳理的框架架构图 框架巧妙点: 1. 使用golang作为server端运行在Android手机上,免root运行 2. AutomatorHttpService使用NanoHTTPD框架,也自己运行一个server,专门监听及处理过来的http jsonRpc请求 public class AutomatorHttpServer ex…