1. curl

curl 支持 HTTP、HTTPS、FTP 等协议，还支持 POST、cookies、认证、从指定偏移处下载部分文件、User-Agent、限速、文件大小、进度条等特征。

1.1 选项

-	-
`-A` 或 `--user-agent <string>`	设置用户代理
`-b` 或 `--cookie <name=string/file>`	cookie 字符串或文件读取位置
`-c` 或 `--cookie-jar <file>`	操作结束后把 cookie 写入文件
`--basic`	使用 HTTP 基本验证
`-d` 或 `--data <data>`	POST 方式传送数据
`--data-ascii <data>`	以 ASCII 的方式 POST 数据
`--data-binary <data>`	以二进制的方式 POST 数据
`--tcp-nodelay`	使用 TCP_NODELAY 选项
`-e` 或 `--referer`	来源网址
`-E` 或 `--cert <cert[:passwd]>`	客户端证书文件和密码 (SSL)
`--cert-type <type>`	证书文件类型 (DER/PEM/ENG) (SSL)
`--key <key>`	私钥文件名 (SSL)
`--key-type <type>`	私钥文件类型 (DER/PEM/ENG) (SSL)
`--pass <pass>`	私钥密码 (SSL)
`--engine <eng>`	加密引擎使用 (SSL)
`--cacert <file>`	CA 证书 (SSL)
`--capath <directory>`	CA 路径
`--ciphers <list>`	SSL 密码
`-F` 或 `--form <name=content>`	模拟 HTTP 表单提交数据
`--form-string <name=string>`	模拟 HTTP 表单提交数据
`-H` 或 `--header <line>`	自定义头信息传递给服务器
`-I` 或 `--head`	只显示请求头信息
`-T` 或 `--upload-file <file>`	上传文件
`-o` 或 `--output`	把输出写到文件中
`-O` 或 `--remote-name`	把输出写到文件中，保留远程文件的文件名
`-s` 或 `--silent`	静默模式。不输出任何东西

1.2 示例

只看返回的 HTTP Header

[root@VM_139_74_centos ~]# curl -I www.163.com

HTTP/1.1 200 OK

Expires: Sun, 06 May 2018 15:22:03 GMT

Date: Sun, 06 May 2018 15:20:43 GMT

Server: nginx

Content-Type: text/html; charset=GBK

Transfer-Encoding: chunked

Vary: Accept-Encoding,User-Agent,Accept

Cache-Control: max-age=80

Age: 44

X-Via: 1.1 PSfjqzdxgn15:0 (Cdn Cache Server V2.0), 1.1 chongdianxin121:4 (Cdn Cache Server V2.0)

Connection: keep-alive

X-Dscp-Value: 0

文件下载

curl 默认行为就是下载，浏览网页就是下载网页到本地，curl URL 会把这个 URL 对应的文件下载下来。但是 curl 会把下载的文件输出到 STDOUT 即终端窗口，可以通过 -o 或 -O 选项写入文件。

[root@VM_139_74_centos ~]# curl http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg -o 1.jpg

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100  208k  100  208k    0     0   447k      0 --:--:-- --:--:-- --:--:--  448k

设置 cookie

使用 -b 读取 cookie 文件，或 --cookie <name=string/file> 选项来指定 cookie，多个 cookie 使用分号分隔：

curl http://www.baidu.com --cookie "user=root;pass=123456"

保存 cookie

使用 -c 或 --cookie-jar <file> 选项：

[root@VM_139_74_centos ~]# curl www.baidu.com --cookie-jar cookie

<!DOCTYPE html>

...

[root@VM_139_74_centos ~]# cat cookie

# Netscape HTTP Cookie File

# http://curl.haxx.se/docs/http-cookies.html

# This file was generated by libcurl! Edit at your own risk.

.baidu.com  TRUE    /   FALSE   1525707455  BDORZ   27315

设置 HTTP Header

使用 -H 或 --header <line> 传递多个头部信息，例如：

curl -H "Host:www.baidu.com" -H "accept-language:en" www.baidu.com

2. wget

wget 用于下载文件，支持断点续传。

2.1 选项

-a<日志文件>：在指定的日志文件中记录执行过程；

-A<后缀名>：指定要下载文件的后缀名，多个后缀名之间使用逗号进行分隔；

-b：进行后台的方式运行 wget；

-B<连接地址>：设置参考的连接地址的基地地址；

-c：继续执行上次终端的任务；

-C<标志>：设置服务器数据块功能标志on为激活，off为关闭，默认值为on；

-D<域名列表>：设置顺着的域名列表，域名之间用“，”分隔；

-e<指令>：作为文件“.wgetrc”中的一部分执行指定的指令；

-i<文件>：从指定文件获取要下载的URL地址；

-l<目录列表>：设置顺着的目录列表，多个目录用“，”分隔；

-q：不显示指令执行过程

-O：另存为指定名称的文件

-r：递归下载方式

2.2 示例

下载文件

[root@VM_139_74_centos ~]# wget http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg

--2018-05-06 23:42:14--  http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg

Resolving img02.tooopen.com (img02.tooopen.com)... 61.240.138.246, 221.194.130.173

Connecting to img02.tooopen.com (img02.tooopen.com)|61.240.138.246|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 213639 (209K) [image/jpeg]

Saving to: ‘tooopen_sy_161967094653.jpg.1’

100%[=====================================================================================================================================================>] 213,639     --.-K/s   in 0.09s   

2018-05-06 23:42:14 (2.17 MB/s) - ‘tooopen_sy_161967094653.jpg.1’ saved [213639/213639]

下载文件并重命名

[root@VM_139_74_centos ~]# wget http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg -O this_is_my_pic

下载指定格式文件

wget -r -A.pdf url

可以递归（-r 选项）下载一个网站的所有图片、视频、PDF 文件。

curl 和 wget 命令的更多相关文章

Linux学习：curl 与 wget命令
curl和wget命令都是Linux下的工具,可以用来下载文件. 一.wget 例1: wget http://www.minjieren.com/wordpress-3.1-zh_CN.zip 下载 ...
Linux命令发送Http的get或post请求(curl和wget两种方法)
Http请求指的是客户端向服务器的请求消息,Http请求主要分为get或post两种,在Linux系统下可以用curl和wget命令来模拟Http的请求.下面就来介绍一下Linux系统如何模拟Http ...
HTTPie：替代 Curl 和 Wget 的现代 HTTP 命令行客户端
HTTPie 工具是现代的 HTTP 命令行客户端,它能通过命令行界面与 Web 服务进行交互. -- Magesh Maruthamuthu 大多数时间我们会使用 curl 命令或是 wget 命令 ...
Curl命令、Elinks命令、lynx命令、Wget命令、lftp命令
一.Curl命令语法 curl(选项)(参数) 选项 -a/--append 上传文件时,附加到目标文件 -A/--user-agent <string> 设置用户代理发送给服务器 -a ...
Linux 下模拟Http 的get or post请求(curl和wget两种方法)
一.get请求: 1.使用curl命令: curl "http://www.baidu.com" 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地curl -i & ...
Shell curl 和 wget 使用代理IP
Linux Shell 提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget curl 和 wget 使用代理 curl 支持 http.https.socks4.socks5 wge ...
使用wget命令下载网络资源
wget是GNU/Linux下的一个非交互式(non-interactive)网络下载工具,支持HTTP.HTTPS与FTP协议,并能够指定HTTP代理服务器.虽然wget命令与curl命令相比支持的 ...
wget命令使用报错 certificate common name 'xxx' doesn't match requestde host name
使用wget命令 wget http://www.monkey.org/~provos/libevent-1.2.tar.gz 报如下错 error:certificate common name & ...
curl与wget
curl 和wget 区别使用方法可参考 curl vs Wget 1.curl是libcurl这个库支持的,wget是一个纯粹的命令行命令.2.curl支持更多的协议.curl supports ...

随机推荐

简历内容-resume
1.TCP.UDP通信服务器客户端网络层 2.http协议通信网络编程应用层根据公司给出的应用层协议开发指定程序: 3.json cjson Cjson解析器 4.freeRT ...
Spark-Core RDD转换算子-Value型
1. map(func) 作用: 返回一个新的 RDD, 该 RDD 是由原 RDD 的每个元素经过函数转换后的值而组成. 就是对 RDD 中的数据做转换. 创建一个包含1-10的的 RDD,然后将每 ...
[AGC035F]Two Histograms
Description 你有一个 \(N\) 行.\(M\) 列的.每个格子都填写着 0 的表格.你进行了下面的操作: 对于每一行 \(i\) ,选定自然数 \(r_i\ (0 ≤ r i ≤ M ) ...
WOJ#3882 旅行问题（POI2004）
描述 John打算驾驶一辆汽车周游一个环形公路.公路上总共有n车站,每站都有若干升汽油(有的站可能油量为零),每升油可以让汽车行驶一千米.John必须从某个车站出发,一直按顺时针(或逆时针)方向走遍所 ...
不定参数（rest 参数 ...）
不定参数如何实现不定参数使用过 underscore.js 的人,肯定都使用过以下几个方法: _.without(array, *values) //返回一个删除所有values值后的array副 ...
处理键盘事件禁止后退键（Backspace）密码或单行、多行文本框除外
//处理键盘事件禁止后退键(Backspace)密码或单行.多行文本框除外 function forbidBackSpace(e) { var ev = e || window.event; //获 ...
Dubbo架构深入篇----RPC实现总结
最近我拜读了mindwind的一片博客文章深入浅出 RPC - 深入篇,希望通过Dubbo深入学习RPC架构设计,在此结合RPC架构的原理,解析Dubbo是如何实现RPC架构的. RPC架构模型 RP ...
Mysql 数据库中9大对象
MySql 数据库9中对象1.表2.索引3.视图4.图表:数据库表之间的关系视图,并不常用5.规则6.缺省值:数据列的默认值7.触发器8.存储过程9.用户
tmux 操作简版
操作session: 操作window: 操作pane: 原文
RocketMQ集群部署安装
RcoketMQ:[ 1.低延时:在高压下,1毫秒内超过99.6%的反应延迟. 2.面向金融:具有跟踪和审计功能的高可用性. 3.行业可持续发展:保证了万亿级的消息容量. 4.厂商中立:一个新的开放的 ...

curl 和 wget 命令