云计算之路-阿里云上：愚人节被阿里云OCS愚

今天是愚人节，而我们却被阿里云OCS愚，很多地方的缓存一直不过期，造成很多页面中的数据一直不更新。这篇博文将向您分享我们这两天遇到的OCS问题。

阿里云OCS(Open Cache Service)是阿里云提供的开放缓存服务，简单来说就是一个巨大的memcached。我们是从2013年12月12日开始使用阿里云OCS的（详见云计算之路-阿里云上：用上了开放缓存服务OCS）。OCS是保证网站性能的最重要的功臣之一，而随着网站访问量的快速增长，OCS更加举足轻重。曾经有一个周末，我们因为清空了OCS实例缓存从而引发Web服务器CPU跑满（详见C#正则表达式引发的CPU跑高问题以及解决方法）。

最近我们在优化代码以充分发挥OCS缓存的作用，尽量在OCS缓存中读取数据（从缓存中读取数据太快了，一般在10ms以内）。上个周末，我们发布了一次更新，准备在周一访问高峰时观察一下效果。结果OCS竟然出问题了。

周一早上9:44-09:46期间，我们感觉网站访问速度有一点不对劲，一看Web服务器日志——大量的缓存读取失败日志。向阿里云提交工单后得知OCS后端有台机器出了问题，造成读取缓存超时。

周一下午13:16-13:31期间，OCS又出现了早上的状况，而且OCS管理控制台显示的监控数据完全不对。继续向阿里云提交工单后获知当时OCS后端在进行紧急升级，进一步得知今天OCS正在进行商业化前的升级（4月3日OCS正式对外售卖，之前处于试用阶段）。

今天，有园友向我们反馈首页右侧的“最新新闻”列表还是昨天的新闻，我们立即意识到OCS又出问题了。“最新新闻”列表用了OCS缓存， 缓存时间是5分钟，正常情况下5分钟后会自动过期，可现在OCS始终不让它过期，所以读取到的始终是旧数据。手工清除这个缓存项后，问题解决。

接着又有园友情反馈“首页候选区”显示的也是昨天的数据，我们一看也是同样的OCS问题。我们进一步检查，发现首页右侧的“48小时阅读排行”、部分网站分类页面、“所有随笔”页面也出现了同样的OCS缓存不过期的问题。后来又有园友反馈，个人博客“我的随笔”列表页面也是同样的问题。

虽然根据key手工清除对应的缓存项，可以解决问题，可是摆着我们前的是一个无解的难题——怎么找出那些应该过期而没有过期的缓存项。唯一的解决方法是清空OCS实例缓存，这又是一个不可行的好方法。前面已经提到过，我们在访问低峰的时候因为清空OCS实例缓存而引发Web服务器CPU跑满，何况今天的访问高峰期呢。

愚人节被愚，通常是一笑而过；而被阿里云OCS愚，却是一脸的无奈——要么是等到访问低峰清空OCS实例缓存，等待下一次被愚；要么等待阿里云帮我们真正地解决这个问题。

SLB（负载均衡）+ECS（虚拟机）+RDS（数据库）+OCS（缓存）这是IaaS服务的4个支柱，而我们却被这4根柱子都撞过。希望我们撞出的不是烂木头，而是钢筋混凝土。