Java中间件：淘宝网系统高性能利器（转）

淘宝网是亚太最大的网络零售商圈，其知名度毋庸置疑，吸引着越来越多的消费者从街头移步这里，成为其忠实粉丝。如此多的用户和交易量，也意味着海量的信息处理，其背后的IT架构的稳定性、可靠性也显得尤为重要。那么，他们是怎么办到的呢？

　　曾宪杰（花名花黎）是淘宝Java中间件团队成员，他认为大型网站就是要同时满足高访问量和高数据量的要求，核心是通过分布式系统解决数据的处理、存储及访问问题。

　　消息中间件Notify

　　早期，淘宝并没有Java中间件，其系统框架比较简单。下面我们就来看看Java中间件在淘宝的诞生和发展。首先要说的是实现系统松耦合和异步处理的消息中间件Notify，这是一个高性能、高可靠、可扩展组件，轻量级支持最终一致性和订阅者集群。所谓订阅者集群，即将订阅消息的客户端分为多个集群，集群之间采用Topic方式，让每个集群都能收到消息，集群之中再按照Queue的方式，仅由一个客户端来处理消息。

　　对于淘宝来说，最终一致性至关重要。有过淘宝经验的人都知道，在我们完成付款之后，订单状态会立刻更改为已付款。如果用户付款之后，淘宝不能通知支付宝为该用户的账号充值，商家也不能知道用户已经付款，也就是整个交易的所有参与方不能实现最终状态一致性的话，整个交易也就无法继续下去。曾宪杰笑言：“如果真的发生这样的情况，那么淘宝就不用做了。”

　　在实现消息的可靠性上，淘宝采用Oracle+小型机（IBM）+高端存储（EMC）的形式，写双份Mysql，同时基于文件和内存。Notify目前每天消息总量达到4.4亿，每天消息投递条次约15亿次，总共有78个消息主题，786种消息类型，部分消息订阅者超过30个集群。下图是淘宝在应用了Notify之后的系统架构图：

　　淘宝服务框架——HSF

　　应用了消息中间件之后，淘宝仍旧面临着一系列问题，比如上百人维护一个代码百万行的前台核心应用；多个业务系统中的代码重复编写以及数据库连接数接近瓶颈。那怎么解决呢？服务化成为淘宝的上选。应用服务化解决了业务核心的稳定和一致的问题，重要数据库的连接数也得到了缓解；此外，系统分解后，效率和稳定性也得到了显著提升。

　　曾宪杰介绍他们的这个服务框架称之为HSF。目前HSF线上提供的服务数量超过六百个，每日的调用总量达到150亿以上，现在甚至更高。下图是应用了HSF之后的系统架构图：

　　淘宝分布式数据层TDDL

　　在淘宝的数据库架构演进过程中，为了更好地支持分库分表以及读写分离，进行了一定的封装。对上层应用而言仍旧操作JDBC，实则是在使用淘宝分布式数据层（TDDL），它能实现SQL解析、规则路由、数据合并；既可以用jar的方式在客户端直接连接数据库，也可以让客户端通过DBProxy服务器访问数据库；具备三层的数据源结构，还支持非对称数据复制。

　　目前TDDL每日SQL执行量达到30亿以上，每日的数据复制量约为2.8亿多。下图是淘宝加上TDDL之后的系统架构：

　　尽管目前淘宝的Java中间件发展顺利，但也并不意味已经解决了一切问题。目前仍旧存在一些问题需要解决，曾宪杰表示在这些问题上，他们希望通过开源的途径得到解决，同时能够根据业务需求提供相应的新功能，另外系统的稳定性仍旧是他们要关注的内容。