如何读懂Web服务的系统架构图
Web服务的一个重要特点就是流量大、数据多,仅靠一台服务器肯定难以支撑大规模的服务。 所以我们经常会看到诸如以下的一些术语,教人好生不懂:
*:系统架构、物理架构、Web服务基础设施
*:应用服务器
*:数据库服务器
*:索引服务器
*:反向代理服务器
*:缓存服务器
*:分布式、可扩展性
*:cpu负载、IO负载
如果你也不懂,那么本文对你来说就是一个很好的开始,关于web服务架构方面,前面还有几篇不错的文章可供参考阅读---大型网站架构演化历程(上)、大型网站架构演化历程(下)、大型网站的灵魂——性能(请戳我)。
本文的主要目标—读懂下面这张图例:
cpu负载和I/O负载
我们从CPU和IO说起。 一个典型的Web服务就是网站服务——用户通过浏览器向服务器发起请求,服务器从数据库提取数据后,加工处理返回HTML页面给用户。
上图中的4个箭头“<—”都需要消耗Server的CPU计算资源,而从Database中获取数据则消耗IO资源。 当用户数量、请求数量上升时,Server的CPU资源告急(IO资源负载也有增加);当储存的数据量上升时,Server的IO资源也要告急。
比如说单台Server每分钟可以处理3000次请求(PV, Page View),那么每月就可以处理100万PV,超过这个数量服务器就撑不住了; 每次请求都需要从文件系统提取数据的话,由于读取磁盘所需的时间是内存的100000-1000000倍,每分钟的请求数多了数据提取速度必然跟不上,数据库就挂了。
可扩展性
如何处理规模逐渐增大服务需求呢?这要求你的系统要有可扩展性:
横向扩展:横向扩展又叫分布式,一台Server撑不住我就多来几台。 但现实远比理想复杂。
纵向扩展:纵向扩展是金融高富帅或者企业软件比较常采用的方法,因为服务器的价格和性能不成正比,性能达到一定程度后,每一分性能的提高需要投入更多的钱——服务器性能的边际价格是不断上升的。 对于互联网的草根创业团队来说,这显然是不可接受的。
cpu能力的扩展
CPU负载的分散比较容易,因为CPU的计算不存在依赖性,即当前请求的结果不依赖于上一次请求的结果。 HTTP协议的stateless就是一个很好的例子。 这样CPU撑不住的时候,我直接clone几台完全一起的就好了,而被克隆的这种服务一般就称作应用服务器。
应用服务器和Web服务器的界限并不很清晰。 Web服务器负责接收用户发过来的请求和返回资源对象给用户,而应用服务器则负责通过计算产生这个资源对象(比如调用CGI脚本)。
这样CPU的负载问题就解决了,我们的架构变成了这个样子。
I/O能力的扩展
内存读取的速度远高于磁盘,根据操作系统缓存(Cache)的原理,我们提高数据读取速度的基本思路是——提高内存大小可以显著的降低IO负载,即为你的Server换上更大更多的内存条。 相应的基本方针——当操作系统的缓存无法处理时,再进一步考虑分布式。 IO负载分散的本质也就是廉价小容量内存的分散。
IO负载的分散可比CPU的难多了,由于存在数据同步的问题,我们这里不讨论数据库服务器之间全盘的数据复制和冗余化。 既然数据量太大,大到一台服务器的内存装不下,那我们就把数据分割开来——数据分割(数据压缩也可以达到一定的效果)。
Web服务的请求是存在访问模式,比如爬虫和普通用户的访问(爬虫会请求很早以前的页面,而普通用户大多访问当前的热门页面),我们把应对用户的热门的资源对象放在一台服务器,应对爬虫的资源对象放在另一台。
即使不存在访问模式,我们也可以通过分区(Partitioning),即表分割来做到。 比如现在MySQL数据库里有一个用户ID表,用户量增长后表的record数是13亿,我们根据ID的大小来排序,分割成几个ID表,每个表几千万个ID,这样单个表大小就是GB级别——内存够装了。
不管是哪一种情况,我们都需要一台索引服务器,来做应用服务器和数据服务器的mapping。
那么现在我们的架构就是:
本文的说明就到这里为止了,相信你现在再回头看开头的那张系统架构图将会非常容易了吧。
转自:灯塔大数据
如何读懂Web服务的系统架构图的更多相关文章
- (四)Web应用开发---系统架构图
系统宏观架构:EASYUI+MVC 系统架构图一. 系统架构图二.
- android系统架构图
android的系统架构和其操作系统一样,采用了分层的架构.从架构图看,android分为四个层,从高层到低层分别是应用程序层.应用程序框架层.系统运行库层和Linux核心层. 1.应用程序 Andr ...
- 五分钟!用python绘制漂亮的系统架构图
Diagrams 是一个基于Python绘制云系统架构的模块,它能够通过非常简单的描述就能可视化架构,并支持以下6个云产品的图标: AWS.Azure.GCP.K8s.阿里云 和 Oracle 云 基 ...
- 一文读懂HarmonyOS服务卡片怎么换肤
作者:zhenyu,华为软件开发工程师 关注HarmonyOS的小伙伴肯定对服务卡片已经很熟悉了.服务卡片(也简称为"卡片")是FA(FeatureAbility,元服务)的一种界 ...
- 三分钟读懂Oracle数据库容灾架之DataGuard
Oracle数据库目前依然处于商用数据库的霸主地位. 运行在Oracle数据库上的核心业务及核心数据的安全性尤为重要. 目前市场上针对Oracle数据库常见的容灾产品大致可以分为两大类. Oracle ...
- 转://三分钟读懂Oracle数据库容灾架之DataGuard
目前市场上针对Oracle数据库常见的容灾产品大致可以分为两大类. Oracle 公司自己的容灾产品 非Oracle公司的容灾产品 Oracle公司目前的容灾产品有我们常见的DataGuard和属于中 ...
- 画了一张基于Spring Cloud的微服务系统架构图
- hbase 学习(十六)系统架构图
HBase 系统架构图 组成部件说明 Client: 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与 ...
- 口碑外卖系统架构图(li)
随机推荐
- TI低功耗蓝牙(BLE)介绍【转】
转自:http://blog.csdn.net/ooakk/article/details/7302425 TI低功耗蓝牙(BLE)介绍 本文档翻译和修改自参考资料:CC2540Bluetooth L ...
- rbd_rados命令拷屏
mimic或者luminous rbd_rados sudo mount -t ceph 192.168.7.151:6789:/ /mnt -o name=admin,secret=AQBaPZNc ...
- This inspection warns about local variables referenced before assignment.
关于 local variable 'has' referenced before assignment 问题 今天在django开发时,访问页面总是出现错误提示“local variable 'ha ...
- 用 Flask 来写个轻博客 (1) — 创建项目
目录 目录 前言 扩展阅读 部署开发环境 创建 Github 项目 前言 一步一步的实现一个 Flask 轻博客项目启动,最新的代码会上传到 Github. 扩展阅读 欢迎使用 Flask - vir ...
- TFS 中如何将项目加入已有的源代码管理器中?
Visual Studio 的某解决方案已经加入 Team Foundation Server,现在再将已经存在的项目加入到解决方案中,可是签入时,并没有把新加入的项目签入,怎么办呢? 在团队资源管理 ...
- 20、Linux命令对服务器磁盘进行监控
服务器磁盘性能测试也是一个比较有意思的过程.首先我们要弄清楚磁盘储存哪些内容,这里推荐鸟哥的私房菜 我们不仅要推算出磁盘什么时候被占满,也要监控磁盘的读写速度.也就是我们常说的 I/O df -h ...
- 虚拟机安装VMware Tools, 安装gcc编译器
一.虚拟机安装VMware Tools 1.虚拟机=>安装VMware Tools 2.打开文件,将下载的压缩包VMwareTools-10.3.10-12406962.tar.gz移动到指定安 ...
- 人工智能都能写Java了!这款插件让你编程更轻松
最近在浏览技术社区,发现了一款 IDE 插件,利用人工智能技术帮助程序员高效写代码.节省开发时间,一下子勾起了我的好奇心. 下载之后,使用一番,确实蛮好的,可以有效提升编程效率. 这款插件叫:aixc ...
- 矢量切片应用中geoserver与geowebcache分布式部署方案
在进行GIS项目开发中,常使用Geoserver作为开源的地图服务器,Geoserver是一个JavaEE项目,常通过Tomcat进行部署.而GeoWebCache是一个采用Java实现用于缓存WMS ...
- URL&HTTP协议&GET请求&POST请求
1.什么是URL URL的全称是Uniform Resource Locator(统一资源定位符) 通过1个URL,能找到互联网上唯一的1个资源 URL就是资源的地址.位置,互联网上的每个资源都有一个 ...