欢迎来到Curl的世界

一、Curl 简介

curl命令是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载，所以是

综合传输工具，但按传统，习惯称curl为下载工具。作为一款强力工具，curl支持包括HTTP、

HTTPS、ftp等众多协议，还支持POST、cookies、认证、从指定偏移处下载部分文件、用户代理字

符串、限速、文件大小、进度条等特征。做网页处理流程和数据检索自动化，curl可以祝一臂之力。

二、常用的选项

-I/--head

//只显示返回的 HTTP 头部信息

-i/--include

//返回网页 HTTP 代码的同时也包含 HTTP 头部信息输出

-A/--user-agent <agent string>

//User-Agent简单来说就是客户使用的操作系统和浏览器信息

-e/--referer <URL>

//Referer，就是客户是从哪个页面来到当前页面的

-H/--header <header>

//通常使用 -H host:www.***.com 来自定义HTTP请求头部要访问此服务器上的 www.***.com 这个

主机

--interface <name>

//当你的服务器上有多个 IP 或网卡时，可以使用 --interface 来指定使用哪个接口、IP 地址或者主机

名发送 curl 请求

curl --interface eth0:1 http://www.***.com/

curl --interface 172.16.100.1 http://www.***.com/

-k/--insecure

//https方式连接的站点在建立会话时默认是会检测CA与网站的证书之间的完整性和可靠性，检查通过后会使用通过证书来

加密传输数据，而http方式是直接明文传输数据的，所以https是安全的，http是不安全的。在直接curl https连接的站点

时是不会获取到网页HTTP代码的。

翻译：（SSL）此选项明确允许cURL执行“不安全”的SSL连接和传输。所有的SSL连接尝试采用捆绑默认安装的

CA证书的安全。这使得所有的连接被认为是“不安全的”失败，除非使用-k / --insecure 。

-L/--location

//（HTTP / HTTPS）如果服务器报告所请求的网页已经转移到一个不同的位置（标有位置：标题和3xx响应代码），此选项

将使curl重新请求新的地方

三、实例

为了节省篇幅，省略了返回的HTTP网页代码，仅以状态码来区分请求是否成功，如200为成功，301永久跳转，302临时跳转

1. 有的程序员会禁止爬虫或者其它工具对网站进行恶意爬行，所以简单识别用户使用的浏览器和操

作系统标识，这时候使用curl就获取不到网页的HTTP代码了，但我们可以指定User-Agent方式来绕

过，如下：

[root@XssCookies xss]# curl -I -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" -k https://iyuns.cc

HTTP/1.1 200 OK

Server: ***

Date: Mon, 13 Feb 2017 17:43:47 GMT

Content-Type: text/html; charset=UTF-8

Connection: keep-alive

Vary: Accept-Encoding

X-Powered-By: PHP/7.0.12

其中也用到了-k/--insecure，具体描述看上面的选项解释

[root@XssCookies xss]# curl -I -k https://iyuns.cc

HTTP/1.1 200 OK

Server: ***

Date: Mon, 13 Feb 2017 17:43:23 GMT

Content-Type: text/html; charset=UTF-8

Connection: keep-alive

Vary: Accept-Encoding

X-Powered-By: PHP/7.0.12

2. 跟随网页跳转

我们默认直接curl的时候返回的HTTP头部是这样子的：

[root@XssCookies xss]# curl -I http://www.***.com/

HTTP/1.1 302 Moved Temporarily

Date: Mon, 13 Feb 2017 17:44:46 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

X-Powered-By: PHP/5.6.15

Location: ./web/index.php?

Server: ***

其中客户的站点设置了直接访问主域名时，自动跳转到http://www.***.com/web/index.php?这个

页面，但curl本身默认不会自动跳转然后返回HTTP请求头和网页代码。我们可以使用-L/--location

或者指定我们是从哪个页面跳转过来的，就可以返回跳转后的页面网页代码。

[root@XssCookies ~]# curl -I -L http://www.***.com/

HTTP/1.1 302 Moved Temporarily

Date: Mon, 13 Feb 2017 18:56:25 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

X-Powered-By: PHP/5.6.15

Location: ./web/index.php?

Server: ***

HTTP/1.1 200 OK

Date: Mon, 13 Feb 2017 18:56:25 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

Vary: Accept-Encoding

Vary: Accept-Encoding

X-Powered-By: PHP/5.6.15

Server: ***

其中返回的第一个HTTP头部信息是未跳转前的主域名请求头，第二个是跳转后的页面返回的请求

头，200状态码就表示成功了，也可以使用-i来显示完整的网页代码

或者指定referer来代表我们是从主域名跳转到的http://www.***.com/web/index.php?这个页面：

[root@XssCookies ~]# curl -I http://www.***.com/web/index.php? -e "www.***.com"

HTTP/1.1 200 OK

Date: Mon, 13 Feb 2017 19:31:13 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

Vary: Accept-Encoding

Vary: Accept-Encoding

X-Powered-By: PHP/5.6.15

Server: ***

3. 如果一个站有多个A记录提供服务时(可能是CDN)，可以直接指定源IP地址(各种途径找)或者CDN节点的地址来获取http页面代码

[root@XssCookies xss]# curl -I http://*.*.*.*/web/index.php? -e "www.***.com" -H host:www.***.com

HTTP/1.1 200 OK

Server: ***

Date: Mon, 13 Feb 2017 17:46:11 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

Vary: Accept-Encoding

X-Powered-By: PHP/5.6.15

*.*.*.* 表示你找到的真实IP地址或者其他地址(反正只要能提供服务的)