先说场景:

  根据Redis官网介绍,单机版Redis的读写性能是12万/秒,批量处理可以达到70万/秒。不管是缓存或者是数据库,都有批量处理的功能。当我们的系统达到瓶颈的时候,我们考虑充分的压榨缓存和数据库的性能,应对更大的并发请求。适用于电商促销双十一,等特定高并发的场景,让系统可以支撑更高的并发。

  思路:

一个用户请求到后台,我没有立即去处理,而是把请求堆积到队列中,堆积10毫秒的时间,由于是高并发场景,就堆积了一定数量的请求。

我定义一个定时任务,把队列中的请求,按批处理的方式,向后端的Redis缓存,或者数据库发起批量的请求,拿到批量的结果,再把结果分发给对应的请求用户。

对于单个用户而言,他的请求变慢了10毫秒是无感知的。但是对于我们系统,却可以提高几倍的抗并发能力。

这个请求合并,结果分发的功能,就要用到一个类CompletableFuture 实现异步编程,不同线程之间的数据交互。

  线程1 如何创建异步任务?

//创建异步任务
CompletableFuture<Map<String, Object>> future = new CompletableFuture<>(); //阻塞等待获取结果。
Map<String, Object> result = future.get();

  线程2 如何把数据赋值给线程1 ?

// 线程2的处理结果
Object result = "结果";
//线程2 的结果,赋值 给 线程1
future.complete(result);

  CompletableFuture 是由大牛 Doug Lea 在JDK1.8 提供的类,我们来看看complete()方法的源码。

    /**
* If not already completed, sets the value returned by {@link
* #get()} and related methods to the given value.
*
* @param value the result value
* @return {@code true} if this invocation caused this CompletableFuture
* to transition to a completed state, else {@code false}
*/
public boolean complete(T value) {
boolean triggered = completeValue(value);
postComplete();
return triggered;
}

  翻译:

      如果尚未完成,则将返回的值和相关方法get()设置为给定值。

  也就是说,

    线程1 的get() 方法,拿到的就是线程 2 的complete() 方法给的值。

看到这里,应该基本明白这个异常编程的意思了。它的核心就是线程通信,数据传输。直接上代码:

package www.itbac.com;

import javax.annotation.PostConstruct;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.*; public class CompletableFutureTest { //并发安全的阻塞队列,积攒请求。(每隔N毫秒批量处理一次)
LinkedBlockingQueue<Request> queue = new LinkedBlockingQueue(); // 定时任务的实现,每隔开N毫秒处理一次数据。
@PostConstruct
public void init() {
// 定时任务线程池
ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(1);
scheduledExecutorService.scheduleAtFixedRate(new Runnable() {
@Override
public void run() {
// 捕获异常
try {
//1.从阻塞队列中取出queue的请求,生成一次批量查询。
int size = queue.size();
if (size == 0) {
return;
}
List<Request> requests = new ArrayList<>(size);
for (int i = 0; i < size; i++) {
// 移出队列,并返回。
Request poll = queue.poll();
requests.add(poll);
}
//2.组装一个批量查询请求参数。
List<String> movieCodes = new ArrayList<>();
for (Request request : requests) {
movieCodes.add(request.getMovieCode());
}
//3. http 请求,或者 dubbo 请求。批量请求,得到结果list。
System.out.println("本次合并请求数量:"+movieCodes.size());
List<Map<String, Object>> responses = new ArrayList<>(); //4.把list转成map方便快速查找。
HashMap<String, Map<String, Object>> responseMap = new HashMap<>();
for (Map<String, Object> respons : responses) {
String code = respons.get("code").toString();
responseMap.put(code,respons);
}
//4.将结果响应给每一个单独的用户请求。
for (Request request : requests) {
//根据请求中携带的能表示唯一参数,去批量查询的结果中找响应。
Map<String, Object> result = responseMap.get(request.getMovieCode()); //将结果返回到对应的请求线程。2个线程通信,异步编程赋值。
//complete(),源码注释翻译:如果尚未完成,则将由方法和相关方法返回的值设置为给定值
request.getFuture().complete(result);
} } catch (Exception e) {
e.printStackTrace();
} }
// 立即执行任务,并间隔10 毫秒重复执行。
}, 0, 10, TimeUnit.MILLISECONDS); } // 1万个用户请求,1万个并发,查询电影信息
public Map<String, Object> queryMovie(String movieCode) throws ExecutionException, InterruptedException {
//请求合并,减少接口调用次数,提升性能。
//思路:将不同用户的同类请求,合并起来。
//并非立刻发起接口调用,请求 。是先收集起来,再进行批量请求。
Request request = new Request();
//请求参数
request.setMovieCode(movieCode);
//异步编程,创建当前线程的任务,由其他线程异步运算,获取异步处理的结果。
CompletableFuture<Map<String, Object>> future = new CompletableFuture<>();
request.setFuture(future); //请求参数放入队列中。定时任务去消化请求。
queue.add(request); //阻塞等待获取结果。
Map<String, Object> stringObjectMap = future.get();
return stringObjectMap;
} }
//请求包装类
class Request { //请求参数: 电影id。
private String movieCode; // 多线程的future接收返回值。
//每一个请求对象中都有一个future接收请求。
private CompletableFuture<Map<String, Object>> future; public CompletableFuture<Map<String, Object>> getFuture() {
return future;
} public void setFuture(CompletableFuture<Map<String, Object>> future) {
this.future = future;
} public Request() {
} public Request(String movieCode) {
this.movieCode = movieCode;
} public String getMovieCode() {
return movieCode;
} public void setMovieCode(String movieCode) {
this.movieCode = movieCode;
}
}

  这样就实现了请求合并,批量处理,结果分发响应。让系统支撑更高的并发量。

当然,因为不是天天双十一,没有那么大的并发量,就添加一个动态的配置,只有当特定的时间,才进行请求堆积。其他时间还是正常的处理。这部分逻辑就不写出来了。

异步编程CompletableFuture实现高并发系统优化之请求合并的更多相关文章

  1. Java并发编程入门与高并发面试(三):线程安全性-原子性-CAS(CAS的ABA问题)

    摘要:本文介绍线程的安全性,原子性,java.lang.Number包下的类与CAS操作,synchronized锁,和原子性操作各方法间的对比. 线程安全性 线程安全? 线程安全性? 原子性 Ato ...

  2. 异步编程CompletableFuture

    多线程优化性能,串行操作并行化 串行操作 // 以下2个都是耗时操作 doBizA(); doBizB(); 修改变为并行化 new Thread(() -> doBizA()).start() ...

  3. django celery的分布式异步之路(二) 高并发

    当你跑通了前面一个demo,博客地址:http://www.cnblogs.com/kangoroo/p/7299920.html,那么你的分布式异步之旅已经起步了. 性能和稳定性是web服务的核心评 ...

  4. C#网络编程 多线程和高并发

    在任何 TCP Server 的实现中,一定存在一个 Accept Socket Loop,用于接收 Client 端的 Connect 请求以建立 TCP Connection. 在任何 TCP S ...

  5. Spring boot 实现高吞吐量异步处理(适用于高并发场景)

    技术要点 org.springframework.web.context.request.async.DeferredResult<T> 示例如下: 1.   新建Maven项目  asy ...

  6. SpringCloud、Nginx高并发核心编程 【2020年11月新书 】

    文章太长,建议收藏起来,慢慢读! 疯狂创客圈为小伙伴奉上以下珍贵的学习资源: 疯狂创客圈 经典极品 : 三大本< Java 高并发 三部曲 > 面试 + 大厂 + 涨薪必备 疯狂创客圈 经 ...

  7. Java 异步编程的几种方式

    前言 异步编程是让程序并发运行的一种手段.它允许多个事情同时发生,当程序调用需要长时间运行的方法时,它不会阻塞当前的执行流程,程序可以继续运行,当方法执行完成时通知给主线程根据需要获取其执行结果或者失 ...

  8. 协程--gevent模块(单线程高并发)

    先恶补一下知识点,上节回顾 上下文切换:当CPU从执行一个线程切换到执行另外一个线程的时候,它需要先存储当前线程的本地的数据,程序指针等,然后载入另一个线程的本地数据,程序指针等,最后才开始执行.这种 ...

  9. 重新理解:ASP.NET 异步编程

    相关博文: 异步编程 In .NET(回味无穷!!!) ASP.NET sync over async(异步中同步,什么鬼?) 本来这篇博文想探讨下异步中的异常操作,但自己在做异步测试的时候,又对 A ...

随机推荐

  1. .NET开发框架(四)-服务器IIS安装教程

    Windows Server 2012 R2 配置篇,包括服务器IIS安装.网络负载均衡器安装.ASP.NET Core 安装. 前三篇教程中,我们分享了框架的功能与视频演示介绍(文尾扫码 加入 框架 ...

  2. Java连载3-编译与运行阶段详解&JRE,JDK,JVM关系

    ·一. 1.JDK下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.html ...

  3. XML中如果有特殊字符,比如> < 解决方案

    //只需要在代码前加这个就可以了<![CDATA[ 把代码写到这个位置 ]]>

  4. .Net 通过设置Access-Control-Allow-Origin来实现跨域访问

    目录 # 前言 # 为每个API接口单独添加响应头 1.针对 ASP.NET MVC 项目的Controllers 2.针对 ASP.NET Web API项目的Controllers 3.针对ASP ...

  5. Atlassian In Action-Jira之核心配置(二)

    道生一,一生二,二生三,三生万物. --<道德经> 如果说第一节的指导思想是管理之"道",那我们本节的核心配置就是Jira系统之"道"了.有了核心配 ...

  6. 工作经验之石氏thinking

    经常听到N多人说工作经验这个名词:也时常听到人说工作多少年就是多少年工作经验.我听着总觉得有点别扭,感觉他们把这个名词说的太简单了,而且觉得不是工作N年就一定有所谓的工作经验.我觉得归根结底还是在于工 ...

  7. .Net微信网页开发之JSSDK使用步骤和配置信息timestamp(时间戳),nonceStr(随机串),signature(签名),access_token(接口调用凭据)的生成获取讲解

    前言: 因为接下来会有几篇关于微信JS-SDK功能使用的文章,主要会对微信分享,获取设备信息,获取地理位置,微信扫一扫这几个功能进行讲解.而这几个功能都是围绕着微信JS-SDK实现的,首先使用微信JS ...

  8. DAX 第一篇:数据模型

    DAX是一种专门用于计算数据模型的业务公式的语言,本文以Power BI的关系来学习数据模型. 一,理解数据模型 数据模型是由一组表和关系构成的结构,表和表之间由关系链接,如下图所示的产品数据模型: ...

  9. ServiceFabric极简文档-4.0 开发环境搭建

    1. VS2017安装包启动页,安装Azure.(安装的VS的Tool)2. 下载Service Fabric Web PI,安装Service Fabric(自动安装SDK与Runtime)

  10. 【二分讲解及例题】火车站台连锁店-C++

    首先我们先来从一个小游戏理解一下二分.(摘自程序员小灰的博客) 为什么说这样效率最高呢?因为每一次选择数字,无论偏大还是偏小,都可以让剩下的选择范围缩小一半. 给定范围0到1000的整数: 第一次我们 ...