支付宽表

支付宽表的目的,最主要的原因是支付表没有到订单明细,支付金额没有细分到商品上, 没有办法统计商品级的支付状况。 所以本次宽表的核心就是要把支付表的信息与订单明细关联上。

解决方案有两个

一个是把订单明细表(或者宽表)输出到 Hbase 上,在支付宽表计算时查询 hbase, 这相当于把订单明细作为一种维度进行管理。

一个是用流的方式接收订单明细,然后用双流 join 方式进行合并。因为订单与支付产 生有一定的时差。所以必须用 intervalJoin 来管理流的状态时间,保证当支付到达时订 单明细还保存在状态中。

支付相关实体类

PaymentInfo.java:支付实体类

import lombok.Data;
import java.math.BigDecimal;
/**
* @author zhangbaohpu
* @date 2021/12/25 10:08
* @desc 支付实体类
*/
@Data
public class PaymentInfo {
   Long id;
   Long order_id;
   Long user_id;
   BigDecimal total_amount;
   String subject;
   String payment_type;
   String create_time;
   String callback_time;
}

PaymentWide.java:支付宽表实体类

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.apache.commons.beanutils.BeanUtils;
import java.lang.reflect.InvocationTargetException;
import java.math.BigDecimal;
/**
* @author zhangbaohpu
* @date 2021/12/25 10:10
* @desc 支付宽表实体类
*/
@Data
@AllArgsConstructor
@NoArgsConstructor
public class PaymentWide {
   Long payment_id;
   String subject;
   String payment_type;
   String payment_create_time;
   String callback_time;
   Long detail_id;
   Long order_id ;
   Long sku_id;
   BigDecimal order_price ;
   Long sku_num ;
   String sku_name;
   Long province_id;
   String order_status;
   Long user_id;
   BigDecimal total_amount;
   BigDecimal activity_reduce_amount;
   BigDecimal coupon_reduce_amount;
   BigDecimal original_total_amount;
   BigDecimal feight_fee;
   BigDecimal split_feight_fee;
   BigDecimal split_activity_amount;
   BigDecimal split_coupon_amount;
   BigDecimal split_total_amount;
   String order_create_time;
   String province_name;//查询维表得到
   String province_area_code;
   String province_iso_code;
   String province_3166_2_code;
   Integer user_age ;
   String user_gender;
   Long spu_id; //作为维度数据 要关联进来
   Long tm_id;
   Long category3_id;
   String spu_name;
   String tm_name;
   String category3_name;
   public PaymentWide(PaymentInfo paymentInfo, OrderWide orderWide){
       mergeOrderWide(orderWide);
       mergePaymentInfo(paymentInfo);
  }
   public void mergePaymentInfo(PaymentInfo paymentInfo ) {
       if (paymentInfo != null) {
           try {
               BeanUtils.copyProperties(this,paymentInfo);
               payment_create_time=paymentInfo.create_time;
               payment_id = paymentInfo.id;
          } catch (IllegalAccessException e) {
               e.printStackTrace();
          } catch (InvocationTargetException e) {
               e.printStackTrace();
          }
      }
  }
   public void mergeOrderWide(OrderWide orderWide ) {
       if (orderWide != null) {
           try {
               BeanUtils.copyProperties(this,orderWide);
               order_create_time=orderWide.create_time;
          } catch (IllegalAccessException e) {
               e.printStackTrace();
          } catch (InvocationTargetException e) {
               e.printStackTrace();
          }
      }
  }
}

支付宽表主程序

目前还没有任何计算,仍然放在dwm层

在dwm包下创建PaymentWideApp.java任务类

import cn.hutool.core.date.DatePattern;
import cn.hutool.core.date.DateUnit;
import cn.hutool.core.date.DateUtil;
import com.alibaba.fastjson.JSON;
import com.zhangbao.gmall.realtime.bean.OrderWide;
import com.zhangbao.gmall.realtime.bean.PaymentInfo;
import com.zhangbao.gmall.realtime.bean.PaymentWide;
import com.zhangbao.gmall.realtime.utils.MyKafkaUtil;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.runtime.state.filesystem.FsStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.ProcessJoinFunction;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import org.apache.flink.util.Collector;

import java.time.Duration;

/**
* @author zhangbaohpu
* @date 2021/12/25 10:16
* @desc 支付宽表
*/
public class PaymentWideApp {
   public static void main(String[] args) {
       StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
       //添加并行度
       env.setParallelism(4);

       //设置检查点
//       env.enableCheckpointing(5000, CheckpointingMode.EXACTLY_ONCE);
//       env.getCheckpointConfig().setCheckpointTimeout(60000);
//       env.setStateBackend(new FsStateBackend("hdfs://hadoop101:9000/gmall/flink/checkpoint/paymentWide"));
//       //指定哪个用户读取hdfs文件
//       System.setProperty("HADOOP_USER_NAME","zhangbao");

       //设置kafka主题及消费者组
       String paymentInfoTopic = "dwd_payment_info";
       String orderWideTopic = "dwm_order_wide";
       String paymentWideTopic = "dwm_payment_wide";
       String paymentWideGroup = "paymentWideGroup";

       //获取支付信息
       FlinkKafkaConsumer<String> paymentInfo = MyKafkaUtil.getKafkaSource(paymentInfoTopic, paymentWideGroup);
       DataStreamSource<String> paymentInfoJsonStrDs = env.addSource(paymentInfo);
       //获取订单宽表信息
       FlinkKafkaConsumer<String> orderWide = MyKafkaUtil.getKafkaSource(orderWideTopic, paymentWideGroup);
       DataStreamSource<String> orderWideJsonStrDs = env.addSource(orderWide);

       //转换格式
       SingleOutputStreamOperator<PaymentInfo> paymentJsonDs = paymentInfoJsonStrDs.map(paymentInfoStr -> JSON.parseObject(paymentInfoStr, PaymentInfo.class));
       SingleOutputStreamOperator<OrderWide> orderWideJsonDs = orderWideJsonStrDs.map(orderWideStr -> JSON.parseObject(orderWideStr, OrderWide.class));

       paymentJsonDs.print("payment info >>>");
       orderWideJsonDs.print("order wide >>>");

       //指定事件时间字段
       SingleOutputStreamOperator<PaymentInfo> paymentInfoWithWaterMarkDs = paymentJsonDs.assignTimestampsAndWatermarks(
           WatermarkStrategy.<PaymentInfo>forBoundedOutOfOrderness(Duration.ofSeconds(3))
              .withTimestampAssigner(new SerializableTimestampAssigner<PaymentInfo>() {
                   @Override
                   public long extractTimestamp(PaymentInfo paymentInfo, long l) {
                       return DateUtil.parse(paymentInfo.getCallback_time(), DatePattern.NORM_DATETIME_PATTERN).getTime();
                  }
              })
      );
       SingleOutputStreamOperator<OrderWide> orderWideWithWaterMarkDs = orderWideJsonDs.assignTimestampsAndWatermarks(
           WatermarkStrategy.<OrderWide>forBoundedOutOfOrderness(Duration.ofSeconds(3))
              .withTimestampAssigner(new SerializableTimestampAssigner<OrderWide>() {
                   @Override
                   public long extractTimestamp(OrderWide orderWide, long l) {
                       return DateUtil.parse(orderWide.getCreate_time(), DatePattern.NORM_DATETIME_PATTERN).getTime();
                  }
              })
      );

       //分组
       KeyedStream<PaymentInfo, Long> paymentInfoKeyedDs = paymentInfoWithWaterMarkDs.keyBy(payInfoObj -> payInfoObj.getOrder_id());
       KeyedStream<OrderWide, Long> orderWideKeyedDs = orderWideWithWaterMarkDs.keyBy(orderWideObj -> orderWideObj.getOrder_id());

       paymentInfoKeyedDs.print("paymentInfoKeyedDs >>>");
       orderWideKeyedDs.print("orderWideKeyedDs >>>");

       //双流join,用支付数据关联订单数据
       SingleOutputStreamOperator<PaymentWide> paymentWideObjDs = paymentInfoKeyedDs.intervalJoin(orderWideKeyedDs)
              .between(Time.seconds(-1800), Time.seconds(1800))
              .process(new ProcessJoinFunction<PaymentInfo, OrderWide, PaymentWide>() {
                   @Override
                   public void processElement(PaymentInfo paymentInfo, OrderWide orderWide, ProcessJoinFunction<PaymentInfo, OrderWide, PaymentWide>.Context context, Collector<PaymentWide> collector) throws Exception {
                       System.out.println(paymentInfo);
                       System.out.println(orderWide);
                       collector.collect(new PaymentWide(paymentInfo, orderWide));
                  }
              });
       //将数据流转换为json
       SingleOutputStreamOperator<String> paymentWideDs = paymentWideObjDs.map(paymentWide -> JSON.toJSONString(paymentWide));
       paymentWideDs.print("payment wide json >>> ");
       //发送到kafka
       FlinkKafkaProducer<String> kafkaSink = MyKafkaUtil.getKafkaSink(paymentWideTopic);
       paymentWideDs.addSink(kafkaSink);

       try {
           env.execute("payment wide task");
      } catch (Exception e) {
           e.printStackTrace();
      }
  }
}

到这里,支付宽表的操作就完成了。

项目地址:https://github.com/zhangbaohpu/gmall-flink-parent/tree/master/gmall-realtime

总结

DWM 层部分的代码主要的责任,是通过计算把一种明细转变为另一种明细以应对后续的统计。学完本阶段内容要求掌握

  • 学会利用状态(state)进行去重操作。(需求:UV 计算)

  • 学会利用 CEP 可以针对一组数据进行筛选判断。需求:跳出行为计算

  • 学会使用 intervalJoin 处理流 join

  • 学会处理维度关联,并通过缓存和异步查询对其进行性能优化。

更多请在某公号平台搜索:选手一号位,本文编号:1011,回复即可获取。

11.Flink实时项目之支付宽表的更多相关文章

  1. 9.Flink实时项目之订单宽表

    1.需求分析 订单是统计分析的重要的对象,围绕订单有很多的维度统计需求,比如用户.地区.商品.品类.品牌等等.为了之后统计计算更加方便,减少大表之间的关联,所以在实时计算过程中将围绕订单的相关数据整合 ...

  2. 10.Flink实时项目之订单维度表关联

    1. 维度查询 在上一篇中,我们已经把订单和订单明细表join完,本文将关联订单的其他维度数据,维度关联实际上就是在流中查询存储在 hbase 中的数据表.但是即使通过主键的方式查询,hbase 速度 ...

  3. 7.Flink实时项目之独立访客开发

    1.架构说明 在上6节当中,我们已经完成了从ods层到dwd层的转换,包括日志数据和业务数据,下面我们开始做dwm层的任务. DWM 层主要服务 DWS,因为部分需求直接从 DWD 层到DWS 层中间 ...

  4. 5.Flink实时项目之业务数据准备

    1. 流程介绍 在上一篇文章中,我们已经把客户端的页面日志,启动日志,曝光日志分别发送到kafka对应的主题中.在本文中,我们将把业务数据也发送到对应的kafka主题中. 通过maxwell采集业务数 ...

  5. 3.Flink实时项目之流程分析及环境搭建

    1. 流程分析 前面已经将日志数据(ods_base_log)及业务数据(ods_base_db_m)发送到kafka,作为ods层,接下来要做的就是通过flink消费kafka 的ods数据,进行简 ...

  6. 6.Flink实时项目之业务数据分流

    在上一篇文章中,我们已经获取到了业务数据的输出流,分别是dim层维度数据的输出流,及dwd层事实数据的输出流,接下来我们要做的就是把这些输出流分别再流向对应的数据介质中,dim层流向hbase中,dw ...

  7. 11. SpringCloud实战项目-初始化数据库和表

    SpringCloud实战项目全套学习教程连载中 PassJava 学习教程 简介 PassJava-Learning项目是PassJava(佳必过)项目的学习教程.对架构.业务.技术要点进行讲解. ...

  8. 1.Flink实时项目前期准备

    1.日志生成项目 日志生成机器:hadoop101 jar包:mock-log-0.0.1-SNAPSHOT.jar gmall_mock ​ |----mock_common ​ |----mock ...

  9. 4.Flink实时项目之数据拆分

    1. 摘要 我们前面采集的日志数据已经保存到 Kafka 中,作为日志数据的 ODS 层,从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志.启动日志和曝光日志.这三类数据虽然都是用户 ...

随机推荐

  1. 在Ubuntu 18.04上使用msmtp和gmail,git-sendemail发送patch给kernel

    这是我第一次发送patch给kernel,虽然仅仅是一个test的patch,但我也觉着很新奇,这也是自己的一个小小的进步. 如下是从各种网站上学到的如何发送patch的总结. 1. Create g ...

  2. MATLAB奔溃仅左上角显示关闭界面X

    一  问题描述 今天在MATLAB调试图像增强程序时,忽然间点了MATLAB向下还原,奇怪的一幕发生了,电脑左上角仅显示关闭图标X.我就搜了MATLAB中文论坛(https://www.ilovema ...

  3. mybatis是如何分页的,分页插件的原理是什么

    mybatis是如何分页的,分页插件的原理是什么 代码之尖关注 12018.12.28 17:11:12字数 529阅读 19,877 1. SQL 分页 <select id="qu ...

  4. 实现一个函数功能:sum(1,2,3,4..n)转化为 sum(1)(2)(3)(4)…(n)?

    // 使用柯里化 + 递归function curry ( fn ) {  var c = (...arg) => (fn.length === arg.length) ?           ...

  5. 如何在网上找MySQL数据库的JDBC驱动jar包?

    当我们在开发程序,涉及数据库时,总是需要用到相应的jar包,这不小编就给大家介绍一下如何下载相应的jar包 方法/步骤   1 在百度搜索栏上搜索MySQL 2 选择Downloads 3 选择 Co ...

  6. Eureka和zookeeper都可以提供服务注册与发现的功能,请说说两个的区别?

    Zookeeper保证了CP(C:一致性,P:分区容错性),Eureka保证了AP(A:高可用) (1)当向注册中心查询服务列表时,我们可以容忍注册中心返回的是几分钟以前的信息,但不能容忍直接down ...

  7. Oracle入门基础(七)一一集合运算

    SQL> /* SQL> 查询10和20号部门的员工 SQL> 1. select * from emp where deptno=10 or deptno=20; SQL> ...

  8. 集合迭代器Iterator

    迭代器模式:就是提供一种方法对一个容器对象中的各个元素进行访问,而又不暴露该对象容器的内部细节. 什么是迭代器Iterator? Java集合框架的集合类,我们有时候称之为容器.容器的种类有很多种,比 ...

  9. Java 中 LinkedHashMap 和 PriorityQueue 的区别是 什么?

    PriorityQueue 保证最高或者最低优先级的的元素总是在队列头部,但是 LinkedHashMap 维持的顺序是元素插入的顺序.当遍历一个 PriorityQueue 时,没有任何顺序保证,但 ...

  10. iOS全埋点解决方案-界面预览事件

    前言 ​ 我们先了解 UIViewController 生命周期相关的内容和 iOS 的"黑魔法" Method Swizzling.然后再了解页面浏览事件($AppViewScr ...