项目中我们提高性能或者吞吐经常使用的是 batch 化,比如说获取帐号信息,我们1条1条查询可能不如我们一次查询100条性能高。

有的时候想这样是为什么呢?因为单个请求中间有网络往返、网络延迟等原因会更加频繁,或者是被请求的服务方MySQL 因为各种原因抖了一下或者什么的,都有可能。

有一次在楼下等电梯的时候,我们有6个电梯,如果一个电梯可以容纳10个人,楼层高度为10楼,那么我们的吞吐量就是 10 * 10 =100 人。

如果每个电梯一个人,那么这个时候一次往返就是6个人。

因为我们的电梯只有6个,所以在一定时间内每个电梯容纳的人多一点会增加我们系统的吞吐量。

早晨的时候物业会有一个工作人员,会在电梯那边,打开一个电梯,尽量让人多一点,然后这个电梯才会上去。我们系统中也可以借鉴,比如我们10s中一个窗口并且size = 100,如果 =100直接请求出去,如果10s中size没有到达100也会将请求发出去。

package main

import (
"fmt"
"time"
) const _sizeNum = 10 func main() {
getCurrentTime("main start")
var timer = time.NewTicker(10 * time.Second) for {
currentSize := getCurrentSize()
flag := false if currentSize >= _sizeNum {
getCurrentTime("size enough")
flag = true
biz()
} select {
case <-timer.C:
fmt.Println("timer") if !flag {
fmt.Println("size not enough,timer send")
biz()
}
}
}
timer.Stop()
} func getCurrentSize() int {
return 10
} func biz() {
getCurrentTime("biz start")
time.Sleep(40 * time.Second)
getCurrentTime("biz end")
} func getCurrentTime(str string) {
fmt.Println(str + time.Now().Format("2006-01-02 15:04:05"))
}

写了一个简单的demo,里面没有涉及到电梯数量的限制,也就是如果涉及电梯数量的限制,可以去开多个 go routine 去处理,需要判断go routine 的数量

demo中修改 currentSize 的值可以设置是否满足 batch 的条件

有一些临界资源,涉及到并发的话,需要考虑使用锁去解决

后端性能-batch 化的想法的更多相关文章

  1. keras系列︱利用fit_generator最小化显存占用比率/数据Batch化

    本文主要参考两篇文献: 1.<深度学习theano/tensorflow多显卡多人使用问题集> 2.基于双向LSTM和迁移学习的seq2seq核心实体识别 运行机器学习算法时,很多人一开始 ...

  2. 面向.Net程序员的后端性能优化实战

    最近2个月没做什么新项目 完全是对于旧的系统进行性能优化 避免超时 死锁 数据处理能力不够等常见的性能问题 这里不从架构方面出发 毕竟动大手脚成本比较高 那么我们以实例为前提 从细节开始 优化角度 一 ...

  3. web 性能忧化(IIS篇)

    1. 调整IIS 7应用程序池队列长度 由原来的默认1000改为65535. IIS Manager > ApplicationPools > Advanced Settings 2.   ...

  4. Web系统开发构架再思考-前后端的完全分离

    前言 前后端完全分离其实一直是Web开发人员的梦想,也一直是我的梦想,遥想当年,无论是直接在代码里面输出HTML,还是在HTML里面嵌入各种代码,都不能让人感到满意.期间的痛苦和纠结,我想所有Web开 ...

  5. 由 12306.cn 谈谈高并发+高负载网站性能技术

    12306.cn 网站挂了,被全国人民骂了.我这两天也在思考这个事,我想以这个事来粗略地和大家讨论一下网站性能的问题.因为仓促,而且完全基于本人有限的经验和了解, 所以,如果有什么问题还请大家一起讨论 ...

  6. asp.net网站性能优化2则

    摘要:Web服务器的性能优化有很多资料介绍了,多台主机负载均衡,查询结果的多级缓 存,数据库索引优化等都是常见的优化手段.随着后端优化空间越来越小,现在越来越多 的网站更注重前端性能的优化,就是浏览器 ...

  7. 由12306.cn谈谈网站性能技术

    12306.cn网站挂了,被全国人民骂了.我这两天也在思考这个事,我想以这个事来粗略地和大家讨论一下网站性能的问题.因为仓促,而且完全基于本人有 限的经验和了解,所以,如果有什么问题还请大家一起讨论和 ...

  8. batch normalization学习理解笔记

    batch normalization学习理解笔记 最近在Andrew Ng课程中学到了Batch Normalization相关内容,通过查阅资料和原始paper,基本上弄懂了一些算法的细节部分,现 ...

  9. 从零开始入门 K8s | etcd 性能优化实践

    作者 | 陈星宇(宇慕)  阿里云基础技术中台技术专家 本文整理自<CNCF x Alibaba 云原生技术公开课>第 17 讲. 导读:etcd 是容器云平台用于存储关键元信息的组件.阿 ...

  10. SpringBoot+Jpa+SpringSecurity+Redis+Vue的前后端分离开源系统

    项目简介: eladmin基于 Spring Boot 2.1.0 . Jpa. Spring Security.redis.Vue的前后端分离的后台管理系统,项目采用分模块开发方式, 权限控制采用 ...

随机推荐

  1. Golang 入门 : 转换

    Go中数学运算和比较运算要求包含的值具有相同的类型.如果不是的话,则在尝试运行代码时会报错. 为变量分配新值也是如此.如果所赋值的类型与变量的声明类型不匹配,也会报错. 解决方法是使用转换,它允许你将 ...

  2. Portainer安装配置

    什么是portainer 官网:https://www.portainer.io/ Portainer(基于 Go) 是一个轻量级的Web管理界面,可让您轻松管理 Docker 主机 或 Swarm ...

  3. 什么是 CSS 设计模式

    这是转载的,先收藏到我的博客园. 什么是设计模式? 曾有人调侃,设计模式是工程师用于跟别人显摆的,显得高大上:也曾有人这么说,不是设计模式没用,是你还没有到能懂它,会用它的时候. 先来看一下比较官方的 ...

  4. Tinyhttpd 源代码初步解读

    Tinyhttpd 是很早以前的一个 web 服务器程序,由 C 语言编写,整个程序十分小巧,源码只有几百行.它一般不适合用于生产环境,因为它很简单,只实现了读取 html 以及 Get / POST ...

  5. CS硕士全日制考研资料(含完整复习计划)

    择校信息 华东师范 2021招生专业考试科目:https://yjszs.ecnu.edu.cn/system/sszszyml_list.asp 计算机科学与技术:https://yjszs.ecn ...

  6. 泛型--java进阶day10

    1.泛型 2.泛型--统一数据类型 如下图,当我们在泛型中添加不同的数据类型,add方法需要的数据类型也随之改变 [1] [2] 泛型--默认类型object 当我们不指定泛型时,泛型的默认类型为ob ...

  7. C# Socket的使用方法 及 简单实例

    核心: 在服务器端和客户端的两个Socket实例,共同维持一个连接,而我们还需要一个服务端绑定了特定端口号的固定的serverSocket,用来监听远方clientSocket的申请,并为这个申请建立 ...

  8. springboot将vo生成文件到目录

    依赖 org.springframework spring-mock 2.0.8 com.alibaba fastjson 1.2.62 service实现 public RestResponseBo ...

  9. Web前端入门第 32 问:CSS background 元素渐变背景用法全解

    渐变背景在 CSS 里面就是一个颜色到另一个颜色渐渐变化的样子. 本文示例中,盒子基础样式: .box { margin: 20px; padding: 20px; border: 10px dash ...

  10. gRPC与RPC的差异

    在微服务架构日益流行的今天,远程过程调用(RPC)技术成为连接各个服务的重要桥梁.本文将详细比较传统RPC与谷歌开发的gRPC框架,通过具体示例展示它们在请求处理.数据格式.性能等方面的差异. 基本概 ...