全站HTTPs,没那么简单
“全站 HTTPs”俨然成了目前的热门话题,很多网站都在摩拳擦掌要实行全站 HTTPs。凑巧,我们(沪江)也在推行这个计划。
一开始大家想得都很简单,把证书购买了、配好了,相应的路径改一改,就没有问题。事实也确实如此,单个独立站点的 HTTPs 改造是很容易的。一旦走向“全站”,才发现事情远远比想象的要复杂,全站意味着所有资源面对所有客户端,涉及的因素异常多,网络上又没有太多资料,只能自己摸索。下面我简单讲讲遇到的几个问题,提供一些经验给大家参考。
HSTS
如果一个网站既提供了 HTTP 服务,又提供了 HTTPs 服务(在过渡期通常如此),怎样引导用户访问 HTTPs 的站点呢?这就是 HSTS(HTTP Strict Transport Security)的作用。通过 Web 服务器上的设置,在收到 HTTP 访问请求时,返回的 header 里带有 Strict-Transport-Security 字段,告知浏览器必须使用 HTTPs 进行访问。
但是,HSTS 并不能避免首次跳转时遇到的劫持。要彻底解决这个问题,可以申请加入 Preload List(预加载列表)。
Preload List 是由 Google Chrome 维护的“HTTPs 站点列表”,Chrome, Firefox, Safari, Edge, IE 11 均在使用。一旦浏览器发现要访问的站点在 Preload List 上,默认就会发起 HTTPs 链接。这样,就避免了 HSTS 的首次跳转被劫持的隐患。
SSL 卸载
通常的方案里,HTTPs 的加密传输只限于客户端出发的公网阶段,在内网的通讯流量仍然采用非加密的 HTTP 传输。这种“把加密流量转换为非加密流量”的过程,就是常说的 SSL/TLS 卸载(Offloading,以下简称“SSL 卸载”)。
有一些公司会采用 F5 来做负载均衡,F5 应付单纯的 L4 和 L7 的流量是没有问题的,但进行 SSL 卸载时性能往往会急剧降低,F5 可以提供专门的加速卡来解决这个问题,但价格不便宜。所以,还需要专门环节来进行 SSL 卸载,常见的 Nginx 和 HAProxy 都可以执行这个任务。
2010 年 Intel 出品的 Westmere 系列处理器之后,CPU 支持 AES-NI (Advanced Encryption Standard New Instructions)指令集,可以极大提高软件进行 SSL 加解密的速度(通常的数据是 5 倍左右)。但是,单纯采用 CPU 并不会直接享受这种好处,还需要对应的 OpenSSL 提供支持。想要知道自己的 OpenSSL 是否利用了 AES-NI 加速,可以用 OpenSSL 的命令行调试,加上-evp 参数,测试速度是否有明显变化即可。
# without EVP API
openssl speed aes-256-cbc
Doing aes-256 cbc for 3s on 16 size blocks: 14388425 aes-256 cbc's in 3.00s
# with EVP API
openssl speed -evp AES256
Doing aes-256-cbc for 3s on 16 size blocks: 71299827 aes-256-cbc's in 3.00s
客户端证书
HTTP 的服务是很好验证的。一般来说,无论客户端是浏览器,还是其它工具,还是程序代码,同样的行为,结果都是相同的。所以只要一种客户端验证通过,基本就可以认为这个服务是没有问题的。HTTPs 的站点则不是如此。
与 HTTP 不同,HTTPs 的连接建立是需要进行证书验证的,一定要从根证书开始形成完整的信任链条,连接才可以建立成功。然而,浏览器、普通工具、程序类库,它们所信任的根证书在管理上是互相独立的。比如,与浏览器不同的是,C#信任的根证书在 local machine store 或者 current user store 中,Java 信任的根证书在 JDK 安装目录下的 cacerts 目录中。
因为浏览器的证书在使用中又可以持续更新,用户往往感知不到,如果“想当然”认为浏览器验证通过就万事大吉,很可能会出问题。比如国内有不少网站使用 WoSign 签发的证书,但老版本的 JDK 并步信任 WoSign 的根证书,用浏览器浏览没问题的网站,程序就会报错,除非手动导入证书。因为 WoSign 行为不端,前几天 Firefox, Chrome, Safari 等主流浏览器又取消了对它的信任,也就意味着 WoSign 证书有安全风险,所以已经内置 WoSign 根证书的程序也应当做对应的设置。
服务器端证书
还是上面的现象:用浏览器验证没有问题的 HTTPs 站点,用程序访问就有问题。这是为什么?
在服务器上证书配置错误,只有最终证书,而缺少中级证书的情况,我见过几次了。通常,最终证书里包含了中级证书相关的信息,所以如果缺少中级证书,浏览器为了建立证书链,会做一次耗时的操作来获取中级证书,而且这一切都发生在 HTTPs 连接真正建立之前。更糟糕的是,不少浏览器为了“表现更好”,会想办法绕过这个问题。所以缺少中级证书的情况一直存在,一直不会被发现,而程序调用的速度总是上不去,甚至有一定几率报错(我就遇到过这个诡异的问题)。
如果把证书链配置完全,还要注意证书链的大小。有一些网站的完整证书异乎寻常地大,达到若干 kb 甚至几十 kb,也就是说,在建立连接之前,就必须先传输这么多的数据。如果做单纯的 PC 网页浏览,或许不会有问题。但对于移动端和程序调用来说,这就是一场灾难。最好的办法,是用 OpenSSL 配合 WireShark 之类的工具,自己动手来测试。如果你熟悉 TCP 相关的知识,往往可以得到更好的优化方案。
OCSP 和 CRL 也不可忽略。这两项技术用来保证撤回证书(让证书失效)的有效性。如果你仔细观察,会发现证书里都指定了对应的 OCSP 或者 CRL 的 URL,用来检查证书是否失效。按道理说,在每次建立 HTTPs 连接时,都应当进行 OCSP 或 CRL 检查。返回结果通常在 1k 左右,如果请求非常频繁,这个因素也应当考虑。
SNI
大家都熟悉“虚拟主机”的概念,它可以让多个域名对应到同一个 IP,让同一台服务器服务多个站点。在 HTTP 时代,可以在 header 中通过 host 来指定需要访问的域名,一切看起来都那么完美。
但是在 HTTPs 时代,却没有这样的好事,传统的 HTTPs 服务很难让多个域名对应到同一个 IP。在进行到 HTTP 通讯之前,必须先建立验证证书建立连接。如果一个 IP 上绑定了多个域名,这个阶段服务器根本没法知道请求对应的是哪个域名,无疑会造成极大的不便。
为了解决这种问题,SNI (Server Name Identification)应运而生了。这种技术说起来复杂,大家可以把它简单理解为“建立 SSL/TLS 通讯时的 host header”,这样就解决了一个 IP 只能配单张证书的问题。
然而 SNI 的诞生历史并不长,许多客户端的支持都存在奇怪的问题。比如 JDK7 支持 SNI,但是 JDK8 的支持又有 bug。而且这种支持往往需要调用原生的 API 才可以实现,Resteasy 之类的类库并不支持。如果对 SNI 的支持有问题,即便配置正确也可能无法建立连接,因为服务端并不能识别此请求需要的证书。
CDN
CDN 已经是业界流行的技术了,对稍微大一点的网站来说,没有 CDN 几乎是不可想象的。HTTP 时代的 CDN 方案相当成熟,HTTPs 的情况则不是如此。
要使用 HTTPs 的 CDN 服务,就要决定是否将证书交给 CDN 提供商。基于中国目前的商业信誉水平,把证书交给 CDN 提供商的风险不可步考虑。恶意揣测,别有用心的人一旦拿到证书,可以很方便地通过 DNS 劫持发起中间人攻击,而完全不被感知到。
另外,HTTP 时代大家都喜欢将资源分散到多个不同的域名,因为建立连接的成本很低,而同一个域名的并发连接数有限。在 HTTPs 环境下,每次建立连接的成本高了很多,频繁下载和验证证书对移动设备和移动网络影响很大(尤其是证书很大的情况)。如果域名非常分散,影响就更加显著。所以在 HTTPs 时代,把域名收缩集中反而是更好的办法。
内容及其它
因为 HTTPs 的内容中无法引用 HTTP 的资源,所以应当保证网页中资源文件的链接都是 HTTPs 的。遗留的许多系统很可能并不注意这些事情,资源都采用绝对地址的形式,这样改起来工作量很大。如果要修改,最好一步到位,直接改成“协议相对 URL”。
绝对地址 URL:http://www.a.com/b.css
协议相对 URL://www.a.com/b.css
这样浏览器就可以根据当前的协议,自动生成资源的绝对地址,无论是 HTTP 还是 HTTPs,都可以自由切换。
如果资源都是自有的,切换 HTTPs 就相对容易。如果存在外部,尤其是 UGC 的资源,切换到 HTTPs 就很麻烦。如果是超链接,通常采用专门的跳转服务,也就是下面这样:
https://link.my.com/target=www.you.com
如果是图片这类资源,可以设定专门的程序将其抓取过来存放在自己的服务器上,再将地址替换掉即可。但是,这样做很可能要自己承担流量压力,同时还要承担恶意程序攻击的风险。
如果是视频、游戏等富文本、交互复杂的资源,如果源站没有提供 HTTPs 的服务,多半只能忍痛割爱,放弃内嵌展现的形式了。
最后再补充两点经验:
如果真的决定上 HTTPs,最好有个人把 OpenSSL 玩熟,否则很多问题会让你摸不着头脑,OpenSSL 是很好的调试工具,很方便定位问题。
HTTPs 能解决运营商内容劫持的问题,如果是 DNS 劫持,要不要抱着“吾与汝偕亡”的态度上 HTTPs,需要慎重考虑,我知道不少网站是 HTTP 与 HTTPs 可以随时切换的,进可攻,退可守。
本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-11/137212.htm
全站HTTPs,没那么简单的更多相关文章
- 全站 HTTPS 没你想象的那么简单
对自己无知这件事本身的无知真的挺可怕 认知偏差现象一直存在于我们每个人身上,谁也避免不掉,不过是有的人了解这件事儿,有的人不怎么知道而已,这就产生了「无知而不自知」的认知偏差.当然,这时候你自己忽悠自 ...
- 关于全站https必要性http流量劫持、dns劫持等相关技术
关于全站https必要性http流量劫持.dns劫持等相关技术 微信已经要求微信支付,申请退款功能必须12月7号之前必须使用https证书了(其他目前为建议使用https),IOS也是2017年1月1 ...
- 百度全站 https FAQ:技术宅告诉你如何搜索更安全
百度从 14 年开始对外开放了 https 的访问,并于 3 月初正式对全网用户进行了 https 跳转. 你也许会问,切换就切换呗,和我有啥关系?我平常用百度还不是照常顺顺当当的,没感觉到什么切换. ...
- 全站 HTTPS 来了
!版权声明:本文为腾讯Bugly原创文章,转载请注明出处腾讯Bugly特约作者:刘强 最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部出现了一把绿色锁,这把锁表明该网站已经使用了 ...
- 全站 HTTPS 来了(转载)
转载:本文为腾讯Bugly原创文章. 最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部出现了一把绿色锁,这把锁表明该网站已经使用了 HTTPS 进行保护.仔细观察,会发现这些网站已 ...
- 【转】互联网全站HTTPS的时代已经到来
原文地址:http://blog.csdn.net/luocn99/article/details/39777707 前言 我目前正在从事HTTPS方面的性能优化工作.在HTTPS项目的开展过程中明显 ...
- 【转贴】全站 HTTPS 来了
http://geek.csdn.net/news/detail/48765 作者:腾讯TEG架构平台部静态加速组高级工程师 刘强 最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部 ...
- 转《本文为腾讯Bugly原创文章 ---全站 HTTPS 来了》
最近大家在使用百度.谷歌或淘宝的时候,是不是注意浏览器左上角已经全部出现了一把绿色锁,这把锁表明该网站已经使用了 HTTPS 进行保护.仔细观察,会发现这些网站已经全站使用 HTTPS.同时,iOS ...
- 借助腾讯云CDN开启全站https及问题解决分享
版权声明:本文由张戈原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/78 来源:腾云阁 https://www.qcloud ...
随机推荐
- 关于VS项目平台的x86,x64,Any CPU以及Debug和Release的区别
相信对于很多刚接触打包程序的同志来说,关于x86,x64,Any CPU这三个项目平台,以及解决方案配置Debug和Release有什么区别?这个问题一定有许多的困惑,甚至不乏一些已经工作了很久的老程 ...
- DokuWiki整合Zentao的用户授权及分组体系
老外们把精力都放在了怎样做通用性上面了. Doku后台有切换授权方式的选项,改成mysql. 注:如下修改mysql.conf.php后,要把分组和权限设置结合起来,还需要配置dokuwiki的分组, ...
- 蘑菇街2015校招 Java研发笔试题 详解
1. 对进程和线程描述正确的是( ) A. 父进程里的所有线程共享相同的地址空间,父进程的所有子进程共享相同的地址空间. B. 改变进程里面主线程的状态会影响其他线程的行为,改变父进程的状态不会影 ...
- spring入门(二)【加载properties文件】
在开发过程当中需要用到配置信息,这些信息不能进行硬编码,这时配置文件是一个比较好的方式,java提供了properties格式的文件,以键值对的方式保存信息,在读取的时候通过键获得键对应的值,spri ...
- SDL教程第一和第二个视频的笔记
观看正月点灯笼的SDL教程,地址http://www.tudou.com/listplay/9eG9tkk91oQ.html #include <stdio.h> #include < ...
- 命令行工具解析Crash文件,dSYM文件进行符号化
备份 文/爱掏蜂窝的熊(简书作者)原文链接:http://www.jianshu.com/p/0b6f5148dab8著作权归作者所有,转载请联系作者获得授权,并标注“简书作者”. 序 在日常开发 ...
- Quartz.NET开源作业调度框架系列(五):AdoJobStore保存job到数据库
Quartz.NET 任务调度的核心元素是 scheduler, trigger 和 job,其中 trigger(用于定义调度时间的元素,即按照什么时间规则去执行任务) 和 job 是任务调度的元数 ...
- CountUp.js – 让数字以非常有趣的动画方式显示
CountUp.js 无依赖的.轻量级的 JavaScript 类,可以用来快速创建以一种更有趣的动画方式显示数值数据.尽管它的名字叫 countUp,但其实可以在两个方向进行变化,这是根据你传递的 ...
- CSS3颜色特征温故
网页是色彩的表现原理:显示器是由一个个像素构成,利用电子束来表现色彩.像素把光的三原色:红色(R).绿色(G).蓝色(B)组合成的色彩按照科学原理表现出来.一个像素包含8位元色彩的信息量,又从0 ~ ...
- [DeviceOne开发]-轮播图和多模板的简单示例
一.简介 这个例子是利用Slideview组件实现循环轮播的效果,同时这个slideview作为一个listview的最上面的一行数, 1. listview有2个模板,一个是以slideview为核 ...