Java电商项目,秒杀,抢购等高并发场景的具体场景和一些概念以及处理思路
这里我借鉴了网上其他大佬的观点:
一:
高并发带来的挑战
原因:秒杀抢购会经常会带来每秒几万的高并发场景,为了更快的返回结果给用户。
吞吐量指标QPS(每秒处理请求数),假设一个业务请求响应耗时为100ms,我们有10台Web服务器,每台给它最大连接数500。
理想化计算方式:
10 * 500/0.1 = 50000
难道我们真的有处理5万并发?
不然。高并发场景下,Web服务器打开了越多的连接进程,CPU切换上下文的也越多。会增加CPU的压力,导致CPU业务请求响应耗时 会超出预期很多。可能你的系统只能承受2万的并发了。
这个时候我们需要怎么做?
答:1、请求的接口需要设计合理,怎么做?
动静分离,静态HTML可以通过Ng部署。
核心瓶颈在后台接口上,高并发情况下存储压力大,MySQL不合适,用Redis内存读写快。
2、重启与过载保护
如果你2万的并发硬抗3万流量,导致服务器没有连接进程可用,系统就要陷入异常状态了,响应时间极慢。当系统响应时间很久 ,有些用户越喜欢频繁点击。恶性循环导致“雪崩”,导致整个系统垮掉,就算重启服务也无济于事。
怎么做?
过载保护,如果检测到系统满载状态,拒绝请求自我保护。
(1)前端过滤简单方式
(2)过载保护设置在CGI入口层,将客户端的请求直接返回
二:
高并发下的数据安全
多线程写入同一个文件的时候,会出现“线程安全问题”。高并发的数据安全就是这个道理。比如有可能会出现超发。
方案:
悲观锁思路:修改数据时,锁定状态,排斥外部请求的修改。
缺点:
高并发下某些线程可能永远都抢不到这个“锁”,请求就会死在那里。堆积到一定程度,连接数被耗尽,系统异常。
FIFO队列思路:请求都排好队,不会导致某些请求永远拿不到锁。
缺点:
高并发可能导致队列内存“撑爆”,如果设置一个极大的内存队列,系统处理请求的速度根本跟不上不断快速涌入的请求。越积 越多,还是会导致响应变慢,系统陷入异常。
乐观锁思路:
跟悲观锁相比,乐观锁都有资格去执行请求,但会获得一个版本号,符合版本号的才算更新成功。
缺点:
加大计算机CPU计算的开销,但是这是一个比较好的解决方案。
缓存服务器思路:
Redis分布式要保证数据都能能够平均的缓存到每一台机器,首先想到的做法是对数据进行分片,因为Redis是key-value存储的, 首先想到的是Hash分片,可能的做法是对key进行哈希运算,得到一 个 long值对分布式的数量取模会得到一个一个对应数据库的一 个映射,没有读取就可以定位到这台数据库
三:
高并发下的水分与查杀。
原因:秒杀或是抢购等海量请求有时候并不是真正的用户在发送请求,有些为了“抢”到商品会使用一些“刷票”等类似的工具。这种做 法是帮助他们发送更多的请求到服务器。更高级的还制作一些自动请求 脚本。这些做法都是使自己的请求数占比多,成功率高。
这些很显然都是属于作弊行为,不过,我们也有一些解决方案。
答:分为以下几种情况
1、同一个账号,一次性发送多个请求。
高并发有可能会导致跳过某些逻辑判断。
方案:程序入口处,一个用户只允许一次请求,其他过滤。可以通过Redis内存缓存服务,写入一个标志位(只允许一个请求成功 ,结合watch乐观锁的特性)
2、多个账号,一次性发送多个请求
很多早期注册功能没有限制,导致一些特殊的工作室通过编写自动注册脚本注册一大批“僵尸账号”。专门做各种刷的行为,以 及一些转发抽奖活动,大大提升自己中奖的概率。
方案:检测指定机器IP请求频率,如果一个IP的请求频率异常的高。给它弹出一个验证码或者禁止它的请求。
3、多个账号,不同IP发送不同请求
有一些机构自己独占一批IP,然后做成一个随机代理IP的服务,有偿提供给这些“工作室”使用。还有一些直接黑掉用户电脑, 转发IP包,使普通用户的电脑变成IP代理出口。
方案:难以分辨了,容易“误伤”。可以通过高门槛的业务,或者通过“数据挖掘”来提前清理。
个人整理并发解决方案。
a.应用层面:读写分离、缓存、队列、集群、令牌、系统拆分、隔离、系统升级(可水平扩容方向)。
b.时间换空间:降低单次请求时间,这样在单位时间内系统并发就会提升。
c.空间换时间:拉长整体处理业务时间,换取后台系统容量空间。
Java电商项目,秒杀,抢购等高并发场景的具体场景和一些概念以及处理思路的更多相关文章
- Java 18套JAVA企业级大型项目实战分布式架构高并发高可用微服务电商项目实战架构
Java 开发环境:idea https://www.jianshu.com/p/7a824fea1ce7 从无到有构建大型电商微服务架构三个阶段SpringBoot+SpringCloud+Solr ...
- Java电商项目-1.构建数据库,搭建项目环境
目录 到Github获取源码请点击此处 一. 数据库还原 二. Mybatis逆向生成工具的使用 三. 搭建项目环境 四. 在linux虚拟机上部署zookeeper, 搭建Dubbo服务. linu ...
- Java电商项目-8.实现SSO单点登陆
目录 创建ashop-sso-web单点登陆系统 用户名唯一性验证 用户注册 用户登陆 获得用户登陆状态 实现安全退出 项目的Github地址 创建ashop-sso-web单点登陆系统 先创建好模块 ...
- Java电商项目-6.实现门户首页数据展示_Redis数据缓存
目录 项目的Github地址 需求介绍 搭建Redis集群环境 下面先描述单机版redis的安装 下面将进行Redis3主3从集群环境搭建 基于SOA架构, 创建门户ashop-portal-web门 ...
- Java电商项目-3.使用VSFTPD_Nginx完成商品新增
目录 到Github获取源码请点击此处 一. 商品类目查询 二. FTP图片服务器的搭建 图片上传思路介绍 Linux中安装vsftpd 接着配置ftp服务, 让外网可以访问 Http服务器搭建 Ng ...
- java电商项目常见异常
1. java.lang.nullpointerexception 这个异常大家肯定都经常遇到,异常的解释是"程序遇上了空指针",简单地说就是调用了未经初始化的对象或者是不存在的对 ...
- Java电商项目-5.内容管理cms系统
目录 实现加载内容分类树功能 实现内容分类动态添加 删除内容分类节点 实现内容分类节点的分页显示 实现广告内容的添加 实现广告内容删除 实现广告内容编辑 到Github获取源码请点击此处 实现加载内容 ...
- Java 高并发解决方案(电商的秒杀和抢购)
转载:https://blog.csdn.net/icangfeng/article/details/81201575 电商的秒杀和抢购,对我们来说,都不是一个陌生的东西.然而,从技术的角度来说,这对 ...
- 16套java架构师,高并发,高可用,高性能,集群,大型分布式电商项目实战视频教程
16套Java架构师,集群,高可用,高可扩展,高性能,高并发,性能优化,设计模式,数据结构,虚拟机,微服务架构,日志分析,工作流,Jvm,Dubbo ,Spring boot,Spring cloud ...
随机推荐
- windows 10下启用docker的k8s集群
安装Docker Desktop后,由于国内无法下载到Kubernete的文件,在Docker Desktop设置里勾选启用Kubernete一直显示”Kubernete is starting”状态 ...
- 美团-2019Q2述职总结
述职要求: 产品对平台化的规划并不清晰:内部因素:对SaaS平台的理解不够深刻: 对公司相关脚手架,服务搭建相关需要注意的点,有更深入的认识.对做系统服务的关注点有了更深入的理解. 功能权限的话: Q ...
- HTTP APIs 设计/规范指南
根据REST APIs的成熟度模型 ,此规范关注的是Level 2的APIs. 1 设计指南 HTTP APIs主要由四部分组成:HTTP,URL,资源,资源的表述(JSON).资源的表述格式通常都 ...
- 安装docker (centos7.6)
Docker 更新yum包 sudo yum update 卸载旧版本sudo yum remove docker docker-common docker-selinux docker-engine ...
- Linux_CentOS中Mongodb4.x 安装调试、远程管理、配置 mongodb 管理员密码
Mongodb4.x 安装 官方文档:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/ 1.配置 yum 源 1 ...
- C++11新特性— auto 和 decltype 区别和联系
一. auto简介 编程时候常常需要把表达式的值付给变量,需要在声明变量的时候清楚的知道变量是什么类型.然而做到这一点并非那么容易(特别是模板中),有时候根本做不到.为了解决这个问题,C++11新标准 ...
- 数据分析入门——pandas之合并函数merge
merge有点类似SQL中的join,可以将不同数据集按照某些字段进行合并,得到新的数据集 1.参数一览表: 2.一对一连接:默认情况下,会按照相同字段的进行连接 例如有相同字段emp的两个df,m ...
- 使用sphinx为python注释生成docAPI文档
sphinx简介 sphinx是一种基于Python的文档工具,它可以令人轻松的撰写出清晰且优美的文档,由Georg Brandl在BSD许可证下开发. 新版的Python3文档就是由sphinx生成 ...
- 【Python学习之一】Python安装、IDE安装配置
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 python2.X python3.X 所谓安装Python,安装的是 ...
- 【ARM-Linux开发】【CUDA开发】【视频开发】关于Linux下利用GPU对视频进行硬件加速转码的方案
最近一直在研究Linux下利用GPU进行硬件加速转码的方案,折腾了很久,至今没有找到比较理想的硬加速转码方案.似乎网上讨论这一方案的文章也特别少,这个过程中也进行了各种尝试,遇到很多具体问题,以下便对 ...