【转载】一淘技术专家王晓哲:Nginx_lua的测试及选择
对于Web高性能服务器上的选择,这个是很多人头痛的问题。其实Apache、lighttpd、Nginx都用他们优点,在什么情况下我们如何去选择适合自己的Web高性能服务器,如何去搭建一个适合自己的架构环境,这个是一个很麻烦的事情。接下来,在ADC 2012(Alibaba Developer Conference 2012)大会上,51CTO记者有幸采访到了一淘数据平台与产品部技术专家——清无(花名),为我们解读Nginx_lua的一些优势及劣势,以及在高性能服务器上的选择。

首先让我们来了解一下Nginx_lua的设计指导思想:
1、基于Nginx 快速开发高性能、大并发的网络服务。
2、提供“同步非阻塞” 的I/O 访问接口简化I/O 多路复用体系中的业务逻辑开发:
■“同步”的主体是用户代码与其发起的I/O 请求处理流程之间的时序关系,意即I/O 请求处理完成前用户代码将一直挂起。
■“非阻塞”的主体是服务进程,意即I/O 请求的处理不会导致服务进程阻塞等待,而是可以继续处理其他请求的用户逻辑。
Nginx的特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页伺服器中表现较好。目前中国大陆使用nginx网站用户有:新浪、网易、 腾讯,另外知名的微网志Plurk也使用Nginx。
Nginx服务器及Lua版本的选择
1)Nginx高性能开源WEB服务器的选择
清无是在08年开始接触Nginx服务器的,当时高性能的开源WEB服务器还有lighttpd,那么一淘网技术专家清无为什么会选择Nginx呢?Nginx哪方面比较有它的优势?清无介绍说,lighttpd和Nginx的比较中,有一个很明显的缺点就是lighttpd的模块机制设计的很不好,lighttpd的模块机制过多的把模块本身的请求处理逻辑和底层的网络事件的处理组合在一起,所以不像Nginx的模块结构这么清晰,当然Nginx的模块设计很大程度上也借鉴了Apache的这种模块设计,所以这块有一个先天的优势。当时其实他最早接触lighttpd,然后Nginx出来以后,就对比它们模块结构上的差异后,觉得Nginx似乎更有优势一些。实测对于我们这种网络I/O密集型的应用来说,只要不是你实现的这个逻辑有多大缺陷,其实在放lighttpd或者Nginx差别不是特别大。
在比较选择的过程中,首先从架构出发,如果有问题的话无论你实现如何它都是有问题的,所以我的比较首先在架构搭建上,每连接或者每请求单线程单进程这种服务模型,直接就被刷掉,肯定不可能做到很高的服务能力。余下来清一色的都是基于RO多路的这种结构体系,那么在这个体系上我们才去检验,实际上拿一个IPP的请求来压测看它实现的质量如何,通常来说这部分一旦架构体系决定以后,实测这个性能差异不是特别的大,除非说是某个特性一个实现另一个没实现这种情况,我们测出来的差异通常是在10%-20%上下波动而已。
2)Lua版本的选择
在小编与清无的交流中了解到目前一淘网所使用lua的版本是5.1.2,当小编提出是否版本越高性能越强时,清无则认为不太对。对于lua来说每一个版本的变化意味着它将加入新的语法元素或者变更了内部的一些实现的方式。严格意义上并不说明它的性能就好,比如对5.2和5.1来说,不管对于环境表或者其它的一些机制的修改上面,严格的来说他都是一种新的语言了。所以目前来说迁移到5.2最大的障碍其实还是5.2里面对于底层接口的这种概念的变化。因为5.1里面对于一些方面下了很多工夫,然后使用它的全局表加环境表这种机制。但是5.2里面彻底取消了全局表的概念,也取消了CU级别上一系列对环境表操作的接口,对我们来说肯定是不能平滑的迁移到5.2,如果有这个需求的话,我们可以做,但目前还没有看到这个需求。另外一个阻碍我们升级版本号的问题是Lua JIT,lua JIT的性能比标准的lua要高很多,所以深层里面我们通常用JIT,但是luaJIT目前对lua5.2的支持并不是那么紧,它目前还是以5.1为主,所以这块我没可能较长的时间跟着lua JIT的脚步来。
在一淘网的应用中,清无介绍说,Nginx_lua主要应用在两块地方,一块是传统的一淘数据库量子统计店铺经,数据接口部分完全是用Nginx_lua来做。另一块是一淘的广告部门有一部分数据接口也使用着Nginx_lua。
Nginx_lua的性能测试比较
其实也有很多人一直还在使用Nginx_php这种组合搭配,对于Nginx_lua组合的优势在哪里呢?清无介绍说,Nginx+php之间是要有进程之间通信的,这样以来基础的性能开销就很大。lua是嵌在Nginx进程内部的,它不需要有两套进程在那里独立工作。所以这块从结构上来说就有决定性的优势在里面。再加上线程之间通讯的时候需要大量的反序列化和序列化的工作,然后两套进程带来额外情况是更多的进程更多的切换开销,所以单机上面Nginx_php要比Nginx_lua要低很多。但是相对来说仍然要回到我们做什么事情上面,因为Nginx_lua目前最大的劣势就是周边的模块相当的不健全,我们需要大量的时间来积累这些模块。php积累了十几年的时间了,如果说你对性能的要求并不是那么高,我的并发数就是几十,那么你用php就是最合适的。但是如果像一淘数据的数据接口,机器数就那么一点,因为我的大量成本在MySQL集群上面,它是这块的主力,那么对外的数据接口我希望尽可能降成本,并发数又非常大,php肯定是不行,那么我们就要选择Nginx_lua。但这块的话对模块的劣势看起来不是那么大,因为它的逻辑相对来说较为固定,我们可以忍受这样的成本,我们去为这个逻辑来定制一些模块。


从上面的两张性能测试图中我们总结Nginx_lua的适用场景:
- 网络I/O 阻塞时间远高于CPU 计算占用时间、同时上游资源非瓶颈(可伸缩)的网络应用,如高性能网络中间层、HTTP REST 接口服务等;
- 期望简化系统架构,让服务向Nginx 同质化的Web 站点;
Nginx_lua的优势和劣势
对于Nginx_lua的劣势在刚刚和Nginx_php的对比的时候清无也介绍了一个是周边模块不完善,不健全的问题。如果你用到的这个东西比较复杂的时候可能生产力上不去,目前Nginx_lua最适合的人员是数据接口层,以及所有的网络中间层,你需要最求并发,高性能的网络中间层。因为它本身的逻辑相对来说比较简单,或者完全用lua本身就可以变现出来,这个用起来收效比例是最大的。那么如果你目前要做一个复杂的WEB访问站,有大量模板要套,有大量的复杂逻辑嵌在里面,然后要访问mail要访问其他服务的话,目前来说我觉得还是php或者其他比较成熟的语言。就我们目前应用来说也是这样,中间层会大量的使用lua,但是前端展现层的话要么全部移到浏览器上面用JS+模板的形式来实现,要么就是用PHP这样来做。
另外的劣势就是调试的辅助工具不太多,因为高级点的php程序员会往往会使用XDebug或者其它的调试工具,可以单步调试,在线调试。跟php相比目前还欠缺这样的一个机制。到时候我们会仿照XDebug 去实现DPT V2协议,我们实现兼容DPT V2这样的一种机制内连到Nginx_lua里面,那样Nginx_lua也可以单步调试。到时候我们也会分享给大家。
最后我们来归纳一下清无介绍的几点优势和劣势:
优势:
- 同步非阻塞I/O 形式直观易懂,并发服务能力强
- CPU、内存运行开销低
- 同Nginx 结合度高,可方便粘合现有Nginx 模块功能
劣势:
- 属于新技术方案,Lua 相比于PHP、Ruby 等广泛使用的开发
- 语言,周边附属设施尚不够健全,需要时间积累
Nginx_lua的需求以及性能的追求
在需求方面,清无认为在一淘网的数据接口的这部分是完全可以满足的,至于其他的需求我们还要具体发现,寻找最佳决解方案。因为在计算机行业没有一招吃遍天这种事。
那么作为一名技术人员,在性能的追求是适合而止还是无止境的追求呢?清无表示,这个要看我们是在做生意还是在个人事情,如果是在公司,比如在具体的事情上面,然后是一个团队协作的情况下,那么盲目的追求性能的极限是一个不合适的行为,因为你的追求是要付出相应的成本和开销的,而往往在一个企业的环境里面这个是不可容忍的。最合适的架构往往是针对你去解决问题的那个架构,而不是去追求效率最高的架构。所以我们具体在企业里面做项目的时候,显然适可而止是最好的。盖过了你这个用户的最大需求你就没必要去付出更多的精力来做,因为其他的问题有很多,你没必要停留在性能这个问题上,性能只是其中的一个问题,在一个问题上没必要投入太大的精力。但是,从开发人员个人的角度来说,追求性能的极限是一个很好的想法和行为,因为开发者自己对性能极限的追求体现出对完美的追求,对于完美的追求意味着它可以从上层到底层的专研,而专研是提升个人素质最有效的动力。所以是分开来看这个问题。
【转载】一淘技术专家王晓哲:Nginx_lua的测试及选择的更多相关文章
- Daily target小队介绍(刘畅,陈杰,杨有存,唐祎琳,王晓哲,邵汝佳)
一.团队介绍 1.团队构成: 2.队名: Daily target,我们的口号是Target your day! 3.团队项目描述: 我们计划写一个用于老师发布任务,学生接受任务的安卓app.教师安排 ...
- [转载] 关于“淘宝应对"双11"的技术架构分析”
微博上一篇最新的关于“淘宝应对"双11"的技术架构分析”.数据产品的一个最大特点是数据的非实时写入.
- 【转载】jQuery手机移动端触屏日历日期选择
文章转载自 科e互联 http://www.internetke.com/ 原文链接:http://www.internetke.com/effects/css3/2015/0120/1222.htm ...
- [转载]Robotium API 翻译(三)——判断测试结果的方法assert、is、search
该文来源于:http://blog.csdn.net/dongmu1986 下面的这些方法都主要用来判断测试结果是否与预期结果相符,一般把is和search方法放在assert里面判断.asser ...
- 【转载】James Whittaker:经营成功的测试职业生涯
转注:这篇文章出自 James A. Whittaker ,但未找到原始出处/译者.如果有知道原始出处的朋友,可在评论这留言. 你是如何开始做测试工作的? 1989年,我在田纳西大学读研究生的时候, ...
- Google技术专家的建议:各种SdkVersion如何选择?
原文链接: https://medium.com/google-developers/picking-your-compilesdkversion-minsdkversion-targetsdkver ...
- 转载NodePort,LoadBalancer还是Ingress?我该如何选择 - kubernetes
原文:http://mp.weixin.qq.com/s/dHaiX3H421jBhnzgCCsktg ClusterIP ClusterIP服务是Kuberntets的默认服务.它在集群内部生成一个 ...
- 数据库相关文章转载(2) MySQL自带的性能压力测试工具mysqlslap详解
PS:今天一同事问我有木有比较靠谱的mysql压力测试工具可用.其实mysql自带就有一个叫mysqlslap的压力测试工具,还是模拟的不错的.下面举例说说.mysqlslap是从5.1.4版开始的一 ...
- (转)淘淘商城系列——使用solrj来测试索引库
http://blog.csdn.net/yerenyuan_pku/article/details/72892280 我们使用solrj来操作索引库,一般习惯先建一个单元测试类测试下增删改查方法是否 ...
随机推荐
- char引发的血案
char cc = 'j';cc = (char)(cc -32); //注意下,自动转型了System.out.println(cc);
- java android 访问DELPHI 的DATASNAP
最新版的DELPHI开发DATASNAP非常简单便捷,DataSnap的REST风格和对JSON的支持,使之成为服务器端开发的神器. 一.DATASNAP服务器中的方法: TServerMethods ...
- SQLite中命令行程序(CLP)的使用
SQLite CLP是使用和管理SQLite数据库最常用的工具.它在所有平台上的操作方式相同.CLP其实是两个程序,它可以运行在Shell模式下以交互的方式执行查询操作,也可以运行在命令行模式下完成各 ...
- MapReduce shuffle阶段详解
在Mapreduce中,Shuffle过程是Mapreduce的核心,它分布在Mapreduce的map阶段和reduce阶段,共可分为6个详细的阶段: 1).Collect阶段:将MapTask的结 ...
- 共享内存shared pool (3):Library cache
Shared pool物理层面上由许多内存块(chunck)组成.从逻辑功能划分,Shared pool主要由三部分组成:Library cache,Dictionary cache和Control ...
- python爬虫-urllib模块
urllib 模块是一个高级的 web 交流库,其核心功能就是模仿web浏览器等客户端,去请求相应的资源,并返回一个类文件对象.urllib 支持各种 web 协议,例如:HTTP.FTP.Gophe ...
- System V共享内存区
要点 shell查看命令:ipcs -m 主要函数 #include <sys/shm.h> //oflag=IPC_CREAT|IPC_EXCL|0644组合 //创建一个内存共享区 i ...
- entityFramework使用 codefirst
新建项目 用nuget安装entityFramework,Install-Package Entityframework 建一个model和context //[Table("Custome ...
- 菜鸟学习Spring——60s学会Spring与Hibernate的集成
一.概述. Spring与Hibernate的集成在企业应用中是很常用的做法通过Spring和Hibernate的结合能提高我们代码的灵活性和开发效率,下面我就一步一步的给大家讲述Spring如何和H ...
- WARNING: /sys/kernel/mm/transparent_hugepage/enabled is
安装MONGODB 3.0.6的时候提示警告信息,如下: 2015-09-09T11:04:35.011+0800 I CONTROL [initandlisten] ** WARNING: /sys ...