对于Web高性能服务器上的选择,这个是很多人头痛的问题。其实Apache、lighttpd、Nginx都用他们优点,在什么情况下我们如何去选择适合自己的Web高性能服务器,如何去搭建一个适合自己的架构环境,这个是一个很麻烦的事情。接下来,在ADC 2012(Alibaba Developer Conference 2012)大会上,51CTO记者有幸采访到了一淘数据平台与产品部技术专家——清无(花名),为我们解读Nginx_lua的一些优势及劣势,以及在高性能服务器上的选择。

首先让我们来了解一下Nginx_lua的设计指导思想:

1、基于Nginx 快速开发高性能、大并发的网络服务。

2、提供“同步非阻塞” 的I/O 访问接口简化I/O 多路复用体系中的业务逻辑开发:

■“同步”的主体是用户代码与其发起的I/O 请求处理流程之间的时序关系,意即I/O 请求处理完成前用户代码将一直挂起。

■“非阻塞”的主体是服务进程,意即I/O 请求的处理不会导致服务进程阻塞等待,而是可以继续处理其他请求的用户逻辑。

Nginx的特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页伺服器中表现较好。目前中国大陆使用nginx网站用户有:新浪、网易、 腾讯,另外知名的微网志Plurk也使用Nginx。

Nginx服务器及Lua版本的选择

1)Nginx高性能开源WEB服务器的选择

清无是在08年开始接触Nginx服务器的,当时高性能的开源WEB服务器还有lighttpd,那么一淘网技术专家清无为什么会选择Nginx呢?Nginx哪方面比较有它的优势?清无介绍说,lighttpd和Nginx的比较中,有一个很明显的缺点就是lighttpd的模块机制设计的很不好,lighttpd的模块机制过多的把模块本身的请求处理逻辑和底层的网络事件的处理组合在一起,所以不像Nginx的模块结构这么清晰,当然Nginx的模块设计很大程度上也借鉴了Apache的这种模块设计,所以这块有一个先天的优势。当时其实他最早接触lighttpd,然后Nginx出来以后,就对比它们模块结构上的差异后,觉得Nginx似乎更有优势一些。实测对于我们这种网络I/O密集型的应用来说,只要不是你实现的这个逻辑有多大缺陷,其实在放lighttpd或者Nginx差别不是特别大。

在比较选择的过程中,首先从架构出发,如果有问题的话无论你实现如何它都是有问题的,所以我的比较首先在架构搭建上,每连接或者每请求单线程单进程这种服务模型,直接就被刷掉,肯定不可能做到很高的服务能力。余下来清一色的都是基于RO多路的这种结构体系,那么在这个体系上我们才去检验,实际上拿一个IPP的请求来压测看它实现的质量如何,通常来说这部分一旦架构体系决定以后,实测这个性能差异不是特别的大,除非说是某个特性一个实现另一个没实现这种情况,我们测出来的差异通常是在10%-20%上下波动而已。

2)Lua版本的选择

在小编与清无的交流中了解到目前一淘网所使用lua的版本是5.1.2,当小编提出是否版本越高性能越强时,清无则认为不太对。对于lua来说每一个版本的变化意味着它将加入新的语法元素或者变更了内部的一些实现的方式。严格意义上并不说明它的性能就好,比如对5.2和5.1来说,不管对于环境表或者其它的一些机制的修改上面,严格的来说他都是一种新的语言了。所以目前来说迁移到5.2最大的障碍其实还是5.2里面对于底层接口的这种概念的变化。因为5.1里面对于一些方面下了很多工夫,然后使用它的全局表加环境表这种机制。但是5.2里面彻底取消了全局表的概念,也取消了CU级别上一系列对环境表操作的接口,对我们来说肯定是不能平滑的迁移到5.2,如果有这个需求的话,我们可以做,但目前还没有看到这个需求。另外一个阻碍我们升级版本号的问题是Lua JIT,lua JIT的性能比标准的lua要高很多,所以深层里面我们通常用JIT,但是luaJIT目前对lua5.2的支持并不是那么紧,它目前还是以5.1为主,所以这块我没可能较长的时间跟着lua JIT的脚步来。

在一淘网的应用中,清无介绍说,Nginx_lua主要应用在两块地方,一块是传统的一淘数据库量子统计店铺经,数据接口部分完全是用Nginx_lua来做。另一块是一淘的广告部门有一部分数据接口也使用着Nginx_lua。

Nginx_lua的性能测试比较

其实也有很多人一直还在使用Nginx_php这种组合搭配,对于Nginx_lua组合的优势在哪里呢?清无介绍说,Nginx+php之间是要有进程之间通信的,这样以来基础的性能开销就很大。lua是嵌在Nginx进程内部的,它不需要有两套进程在那里独立工作。所以这块从结构上来说就有决定性的优势在里面。再加上线程之间通讯的时候需要大量的反序列化和序列化的工作,然后两套进程带来额外情况是更多的进程更多的切换开销,所以单机上面Nginx_php要比Nginx_lua要低很多。但是相对来说仍然要回到我们做什么事情上面,因为Nginx_lua目前最大的劣势就是周边的模块相当的不健全,我们需要大量的时间来积累这些模块。php积累了十几年的时间了,如果说你对性能的要求并不是那么高,我的并发数就是几十,那么你用php就是最合适的。但是如果像一淘数据的数据接口,机器数就那么一点,因为我的大量成本在MySQL集群上面,它是这块的主力,那么对外的数据接口我希望尽可能降成本,并发数又非常大,php肯定是不行,那么我们就要选择Nginx_lua。但这块的话对模块的劣势看起来不是那么大,因为它的逻辑相对来说较为固定,我们可以忍受这样的成本,我们去为这个逻辑来定制一些模块。

从上面的两张性能测试图中我们总结Nginx_lua的适用场景:

  1. 网络I/O 阻塞时间远高于CPU 计算占用时间、同时上游资源非瓶颈(可伸缩)的网络应用,如高性能网络中间层、HTTP REST 接口服务等;
  2. 期望简化系统架构,让服务向Nginx 同质化的Web 站点;

Nginx_lua的优势和劣势

对于Nginx_lua的劣势在刚刚和Nginx_php的对比的时候清无也介绍了一个是周边模块不完善,不健全的问题。如果你用到的这个东西比较复杂的时候可能生产力上不去,目前Nginx_lua最适合的人员是数据接口层,以及所有的网络中间层,你需要最求并发,高性能的网络中间层。因为它本身的逻辑相对来说比较简单,或者完全用lua本身就可以变现出来,这个用起来收效比例是最大的。那么如果你目前要做一个复杂的WEB访问站,有大量模板要套,有大量的复杂逻辑嵌在里面,然后要访问mail要访问其他服务的话,目前来说我觉得还是php或者其他比较成熟的语言。就我们目前应用来说也是这样,中间层会大量的使用lua,但是前端展现层的话要么全部移到浏览器上面用JS+模板的形式来实现,要么就是用PHP这样来做。

另外的劣势就是调试的辅助工具不太多,因为高级点的php程序员会往往会使用XDebug或者其它的调试工具,可以单步调试,在线调试。跟php相比目前还欠缺这样的一个机制。到时候我们会仿照XDebug 去实现DPT V2协议,我们实现兼容DPT V2这样的一种机制内连到Nginx_lua里面,那样Nginx_lua也可以单步调试。到时候我们也会分享给大家。

最后我们来归纳一下清无介绍的几点优势和劣势:

优势:

  • 同步非阻塞I/O 形式直观易懂,并发服务能力强
  • CPU、内存运行开销低
  • 同Nginx 结合度高,可方便粘合现有Nginx 模块功能

劣势:

  • 属于新技术方案,Lua 相比于PHP、Ruby 等广泛使用的开发
  • 语言,周边附属设施尚不够健全,需要时间积累

Nginx_lua的需求以及性能的追求

在需求方面,清无认为在一淘网的数据接口的这部分是完全可以满足的,至于其他的需求我们还要具体发现,寻找最佳决解方案。因为在计算机行业没有一招吃遍天这种事。

那么作为一名技术人员,在性能的追求是适合而止还是无止境的追求呢?清无表示,这个要看我们是在做生意还是在个人事情,如果是在公司,比如在具体的事情上面,然后是一个团队协作的情况下,那么盲目的追求性能的极限是一个不合适的行为,因为你的追求是要付出相应的成本和开销的,而往往在一个企业的环境里面这个是不可容忍的。最合适的架构往往是针对你去解决问题的那个架构,而不是去追求效率最高的架构。所以我们具体在企业里面做项目的时候,显然适可而止是最好的。盖过了你这个用户的最大需求你就没必要去付出更多的精力来做,因为其他的问题有很多,你没必要停留在性能这个问题上,性能只是其中的一个问题,在一个问题上没必要投入太大的精力。但是,从开发人员个人的角度来说,追求性能的极限是一个很好的想法和行为,因为开发者自己对性能极限的追求体现出对完美的追求,对于完美的追求意味着它可以从上层到底层的专研,而专研是提升个人素质最有效的动力。所以是分开来看这个问题。

【转载】一淘技术专家王晓哲:Nginx_lua的测试及选择的更多相关文章

  1. Daily target小队介绍(刘畅,陈杰,杨有存,唐祎琳,王晓哲,邵汝佳)

    一.团队介绍 1.团队构成: 2.队名: Daily target,我们的口号是Target your day! 3.团队项目描述: 我们计划写一个用于老师发布任务,学生接受任务的安卓app.教师安排 ...

  2. [转载] 关于“淘宝应对"双11"的技术架构分析”

    微博上一篇最新的关于“淘宝应对"双11"的技术架构分析”.数据产品的一个最大特点是数据的非实时写入.

  3. 【转载】jQuery手机移动端触屏日历日期选择

    文章转载自 科e互联 http://www.internetke.com/ 原文链接:http://www.internetke.com/effects/css3/2015/0120/1222.htm ...

  4. [转载]Robotium API 翻译(三)——判断测试结果的方法assert、is、search

    该文来源于:http://blog.csdn.net/dongmu1986   下面的这些方法都主要用来判断测试结果是否与预期结果相符,一般把is和search方法放在assert里面判断.asser ...

  5. 【转载】James Whittaker:经营成功的测试职业生涯

    转注:这篇文章出自 James A. Whittaker ,但未找到原始出处/译者.如果有知道原始出处的朋友,可在评论这留言. 你是如何开始做测试工作的?  1989年,我在田纳西大学读研究生的时候, ...

  6. Google技术专家的建议:各种SdkVersion如何选择?

    原文链接: https://medium.com/google-developers/picking-your-compilesdkversion-minsdkversion-targetsdkver ...

  7. 转载NodePort,LoadBalancer还是Ingress?我该如何选择 - kubernetes

    原文:http://mp.weixin.qq.com/s/dHaiX3H421jBhnzgCCsktg ClusterIP ClusterIP服务是Kuberntets的默认服务.它在集群内部生成一个 ...

  8. 数据库相关文章转载(2) MySQL自带的性能压力测试工具mysqlslap详解

    PS:今天一同事问我有木有比较靠谱的mysql压力测试工具可用.其实mysql自带就有一个叫mysqlslap的压力测试工具,还是模拟的不错的.下面举例说说.mysqlslap是从5.1.4版开始的一 ...

  9. (转)淘淘商城系列——使用solrj来测试索引库

    http://blog.csdn.net/yerenyuan_pku/article/details/72892280 我们使用solrj来操作索引库,一般习惯先建一个单元测试类测试下增删改查方法是否 ...

随机推荐

  1. php中关于抽象(abstract)类和抽象方法的问题解析

    在面向对象(OOP)语言中,一个类可以有一个或多个子类,而每个类都有至少一个公有方法作为外部代码访问的接口.而抽象方法就是为了方便继承而引入的,现在来看一下抽象类和抽象方法分别是如何定义以及他们的特点 ...

  2. delphi启动 EditLineEnds.ttr 被占用问题

    碰到这个问题我也是无语了,每次关掉Delphi后就不能打开了,折腾了半天,网上的方法也没有搞定.最后,找到这个链接(网页如下所示),下载里面的东西就搞定了.打不开的可以向我要.895569369@qq ...

  3. [terry笔记]RMAN综合学习之恢复

    [terry笔记]RMAN综合学习之备份http://www.cnblogs.com/kkterry/p/3308405.html [terry笔记]RMAN综合学习之恢复 http://www.cn ...

  4. C基础 数据序列化简单使用和讨论

     前言 C中对序列化讨论少, 因为很多传输的内容都有自己解析的轮子. 对于序列化本质是统一编码, 统一解码的方式. 本文探讨是一种简单的序列化方案. 保证不同使用端都能解析出正确结果. 在文章一开始, ...

  5. android保存图片的方式

    Android中保存图片的两种方式 第一种是保存到数据库: 1.保存到数据库: 2.从数据库读取: 二是以图片格式保存到本地 1. A.声明tempFile以保存到指定路径: B.保存到tempFil ...

  6. Windows Phone 8.1SDK新特性预览

    前言    Windows Phone 8.1的预览版将在近期推送,WP 8.1的SDK也已经进入到RC阶段,可以从这里安装.本次更新的SDK被直接集成到了VS2013Update2里面,不再是单独的 ...

  7. 管理员必备的20个Linux系统监控工具

    需要监控Linux服务器系统性能吗?尝试下面这些系统内置或附件的工具吧.大多数Linux发行版本都装备了大量的监控工具.这些工具提供了能用作取得相关信息和系统活动的量度指标.你能使用这些工具发现造成性 ...

  8. Go语言工程结构

    Go是一门推崇软件工程理念的编程语言. Go的代码必须放在GOPATH目录下,它应该包含三个子目录: src:用于以代码包的形式组织并保存Go源码文件.应该分为三类:库源码文件.命令源码文件.测试源码 ...

  9. MVC返回图片

    这几天忙着一些小事,也没有写什么了,今天,我们来玩一个比较简单的东东.就是在MVC下如何返回图片,相信,在传统WebForm下,大家都晓得怎么弄,方也不限于一种,但是,在架构较为严格的MVC里面,刚开 ...

  10. spring注解注入失败一个原因

    所有的注解看起来都没有任何问题,最后是由于web-xml配置问题. 由于缺少监听器org.springframework.web.context.ContextLoaderListener, 导致无法 ...