curl 和 wget 命令
1. curl
curl 支持 HTTP、HTTPS、FTP 等协议，还支持 POST、cookies、认证、从指定偏移处下载部分文件、User-Agent、限速、文件大小、进度条等特征。
1.1 选项
| - | - |
|---|---|
-A 或 --user-agent <string> |
设置用户代理 |
-b 或 --cookie <name=string/file> |
cookie 字符串或文件读取位置 |
-c 或 --cookie-jar <file> |
操作结束后把 cookie 写入文件 |
--basic |
使用 HTTP 基本验证 |
-d 或 --data <data> |
POST 方式传送数据 |
--data-ascii <data> |
以 ASCII 的方式 POST 数据 |
--data-binary <data> |
以二进制的方式 POST 数据 |
--tcp-nodelay |
使用 TCP_NODELAY 选项 |
-e 或 --referer |
来源网址 |
-E 或 --cert <cert[:passwd]> |
客户端证书文件和密码 (SSL) |
--cert-type <type> |
证书文件类型 (DER/PEM/ENG) (SSL) |
--key <key> |
私钥文件名 (SSL) |
--key-type <type> |
私钥文件类型 (DER/PEM/ENG) (SSL) |
--pass <pass> |
私钥密码 (SSL) |
--engine <eng> |
加密引擎使用 (SSL) |
--cacert <file> |
CA 证书 (SSL) |
--capath <directory> |
CA 路径 |
--ciphers <list> |
SSL 密码 |
-F 或 --form <name=content> |
模拟 HTTP 表单提交数据 |
--form-string <name=string> |
模拟 HTTP 表单提交数据 |
-H 或 --header <line> |
自定义头信息传递给服务器 |
-I 或 --head |
只显示请求头信息 |
-T 或 --upload-file <file> |
上传文件 |
-o 或 --output |
把输出写到文件中 |
-O 或 --remote-name |
把输出写到文件中，保留远程文件的文件名 |
-s 或 --silent |
静默模式。不输出任何东西 |
1.2 示例
只看返回的 HTTP Header
[root@VM_139_74_centos ~]# curl -I www.163.com
HTTP/1.1 200 OK
Expires: Sun, 06 May 2018 15:22:03 GMT
Date: Sun, 06 May 2018 15:20:43 GMT
Server: nginx
Content-Type: text/html; charset=GBK
Transfer-Encoding: chunked
Vary: Accept-Encoding,User-Agent,Accept
Cache-Control: max-age=80
Age: 44
X-Via: 1.1 PSfjqzdxgn15:0 (Cdn Cache Server V2.0), 1.1 chongdianxin121:4 (Cdn Cache Server V2.0)
Connection: keep-alive
X-Dscp-Value: 0文件下载
curl 默认行为就是下载，浏览网页就是下载网页到本地，curl URL 会把这个 URL 对应的文件下载下来。但是 curl 会把下载的文件输出到 STDOUT 即终端窗口，可以通过 -o 或 -O 选项写入文件。
[root@VM_139_74_centos ~]# curl http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg -o 1.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 208k 100 208k 0 0 447k 0 --:--:-- --:--:-- --:--:-- 448k设置 cookie
使用 -b 读取 cookie 文件，或 --cookie <name=string/file> 选项来指定 cookie，多个 cookie 使用分号分隔：
curl http://www.baidu.com --cookie "user=root;pass=123456"保存 cookie
使用 -c 或 --cookie-jar <file> 选项：
[root@VM_139_74_centos ~]# curl www.baidu.com --cookie-jar cookie
<!DOCTYPE html>
...
[root@VM_139_74_centos ~]# cat cookie
# Netscape HTTP Cookie File
# http://curl.haxx.se/docs/http-cookies.html
# This file was generated by libcurl! Edit at your own risk.
.baidu.com TRUE / FALSE 1525707455 BDORZ 27315设置 HTTP Header
使用 -H 或 --header <line> 传递多个头部信息，例如：
curl -H "Host:www.baidu.com" -H "accept-language:en" www.baidu.com2. wget
wget 用于下载文件，支持断点续传。
2.1 选项
-a<日志文件>：在指定的日志文件中记录执行过程；
-A<后缀名>：指定要下载文件的后缀名，多个后缀名之间使用逗号进行分隔；
-b：进行后台的方式运行 wget；
-B<连接地址>：设置参考的连接地址的基地地址；
-c：继续执行上次终端的任务；
-C<标志>：设置服务器数据块功能标志on为激活，off为关闭，默认值为on；
-D<域名列表>：设置顺着的域名列表，域名之间用“，”分隔；
-e<指令>：作为文件“.wgetrc”中的一部分执行指定的指令；
-i<文件>：从指定文件获取要下载的URL地址；
-l<目录列表>：设置顺着的目录列表，多个目录用“，”分隔；
-q：不显示指令执行过程
-O：另存为指定名称的文件
-r：递归下载方式
2.2 示例
下载文件
[root@VM_139_74_centos ~]# wget http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg
--2018-05-06 23:42:14-- http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg
Resolving img02.tooopen.com (img02.tooopen.com)... 61.240.138.246, 221.194.130.173
Connecting to img02.tooopen.com (img02.tooopen.com)|61.240.138.246|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 213639 (209K) [image/jpeg]
Saving to: ‘tooopen_sy_161967094653.jpg.1’
100%[=====================================================================================================================================================>] 213,639 --.-K/s in 0.09s
2018-05-06 23:42:14 (2.17 MB/s) - ‘tooopen_sy_161967094653.jpg.1’ saved [213639/213639]下载文件并重命名
[root@VM_139_74_centos ~]# wget http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg -O this_is_my_pic
下载指定格式文件
wget -r -A.pdf url可以递归（-r 选项）下载一个网站的所有图片、视频、PDF 文件。
curl 和 wget 命令的更多相关文章
- Linux学习：curl 与 wget命令
curl和wget命令都是Linux下的工具,可以用来下载文件. 一.wget 例1: wget http://www.minjieren.com/wordpress-3.1-zh_CN.zip 下载 ...
- Linux命令发送Http的get或post请求(curl和wget两种方法)
Http请求指的是客户端向服务器的请求消息,Http请求主要分为get或post两种,在Linux系统下可以用curl和wget命令来模拟Http的请求.下面就来介绍一下Linux系统如何模拟Http ...
- HTTPie：替代 Curl 和 Wget 的现代 HTTP 命令行客户端
HTTPie 工具是现代的 HTTP 命令行客户端,它能通过命令行界面与 Web 服务进行交互. -- Magesh Maruthamuthu 大多数时间我们会使用 curl 命令或是 wget 命令 ...
- Curl命令、Elinks命令、lynx命令、Wget命令、lftp命令
一.Curl命令 语法 curl(选项)(参数) 选项 -a/--append 上传文件时,附加到目标文件 -A/--user-agent <string> 设置用户代理发送给服务器 -a ...
- Linux 下模拟Http 的get or post请求(curl和wget两种方法)
一.get请求: 1.使用curl命令: curl "http://www.baidu.com" 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地curl -i & ...
- Shell curl 和 wget 使用代理IP
Linux Shell 提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget curl 和 wget 使用代理 curl 支持 http.https.socks4.socks5 wge ...
- 使用wget命令下载网络资源
wget是GNU/Linux下的一个非交互式(non-interactive)网络下载工具,支持HTTP.HTTPS与FTP协议,并能够指定HTTP代理服务器.虽然wget命令与curl命令相比支持的 ...
- wget命令使用报错 certificate common name 'xxx' doesn't match requestde host name
使用wget命令 wget http://www.monkey.org/~provos/libevent-1.2.tar.gz 报如下错 error:certificate common name & ...
- curl与wget
curl 和wget 区别 使用方法 可参考 curl vs Wget 1.curl是libcurl这个库支持的,wget是一个纯粹的命令行命令.2.curl支持更多的协议.curl supports ...
随机推荐
- MySQL binlog之数据恢复
一.恢复方案1.数据量不是特别大,可以将mysqldump命令备份的数据使用mysql客户端命令或者source命令完成数据的恢复:2.使用Xtrabackup完成数据库的物理备份恢复,期间需要重启数 ...
- Vue源码详细解析:transclude,compile,link,依赖,批处理...一网打尽，全解析!
用了Vue很久了,最近决定系统性的看看Vue的源码,相信看源码的同学不在少数,但是看的时候却发现挺有难度,Vue虽然足够精简,但是怎么说现在也有10k行的代码量了,深入进去逐行查看的时候感觉内容庞杂并 ...
- Flutter 初探 -
flutter 安装 经过许久的关注,及最近google算是真正地推行flutter时,加上掘金小册也有相应的教程,我知道自己得跟着这一波潮流学习了,不然迟早会面临着小程序的危(大家都会了就你不会), ...
- echart 折线渐变 加柱形图结合图形，左右纵轴自设置格式，现行图北京渐变 ，x轴字体倾斜
app.title = '折柱混合'; option = { grid: { left: '5%', //距离左边的距离 right: '5%', //距离右边的距离 top:'8%', bottom ...
- 行人重识别(ReID) ——数据集描述 CUHK03
数据集简介 CUHK03是第一个足以进行深度学习的大规模行人重识别数据集,该数据集的图像采集于香港中文大学(CUHK)校园.数据以"cuhk-03.mat"的 MAT 文件格式存储 ...
- 团队中的 Git 实践
转载自:https://segmentfault.com/a/1190000004963641 本文首发于欧雷流.由于我会时不时对文章进行补充.修正和润色,为了保证所看到的是最新版本,请阅读原文. 在 ...
- Express 中配置使用 art-template模板引擎
art-template 官网 https://aui.github.io/art-template/ 安装: npm install --save art-template npm install ...
- gcc的-D,-w,-W,-Wall,-O3这些参数的意义
一.-D 其意义是添加宏定义,这个很有用. 当你想要通过宏控制你的程序,不必傻乎乎的在程序里定义,然后需要哪个版本,去修改宏. 只需要在执行gcc的时候,指定-D,后面跟宏的名称即可. 示例: gcc ...
- java并发学习--第一章 线程的创建
所谓的并发就是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任一个时刻点上只有一个程序在处理机上运行.所以我们看似几个线程在同时进行,其实在操作系统中 ...
- php函数漏洞
1.ereg — 正则表达式匹配 此函数遇 %00 截断. <?php $a = $_GET['pwd']; var_dump(ereg ("^[0-9]+$", $a)); ...