curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合

传输工具，但按传统，习惯称url为下载工具。

#使用curl发送GET请求：curl protocol://ip:port/url?args

curl https://proxy.mimvp.com/login?user=admin&passwd=12345678  

#使用curl发送POST请求： （推荐）

curl -d "key1=value1&key2=value2&key3=value3" protocol://ip:port/path

#示例1：curl -d 'post_data=i_love_mimvp.com' https://proxy.mimvp.com/ip.php        // 测试 post ，发送什么数据就返回什么数据，如 'i_love_mimvp.com'

#示例2：curl -d "user=admin&passwd=12345678" https://proxy.mimvp.com/login    // 测试 post ，模拟发送登录的用户名和密码

#获取页面内容,默认会发送 GET 请求来获取链接内容到标准输出。

[root@node5 ~]# curl http://www.baidu.com

<!DOCTYPE html>

<!--STATUS OK--><html>

......

id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

#显示 HTTP 头，而不显示文件内容，使用 -I 选项

[root@node5 ~]# curl -I http://www.baidu.com

HTTP/1.1 200 OK

Accept-Ranges: bytes

Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform

Connection: keep-alive

Content-Length: 277

Content-Type: text/html

Date: Thu, 22 Oct 2020 03:27:19 GMT

Etag: "575e1f72-115"

Last-Modified: Mon, 13 Jun 2016 02:50:26 GMT

Pragma: no-cache

Server: bfe/1.0.8.18

#同时显示 HTTP 头和文件内容，使用 -i 选项

[root@node5 ~]# curl -i http://www.baidu.com

#将返回结果保存到文件,使用-o参数

[root@node5 ~]# curl -o baidu.html http://www.baidu.com

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100  2381  100  2381    0     0  58084      0 --:--:-- --:--:-- --:--:-- 59525

#同时下载多个文件

[root@node5 ~]# curl -o baidu.txt http://www.baidu.com -o wanyi.txt http://www.163.com

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100  2381  100  2381    0     0  55109      0 --:--:-- --:--:-- --:--:-- 55372

100   236  100   236    0     0   3062      0 --:--:-- --:--:-- --:--:--  3062

#链接重定向,使用-L跟随链接重定向，逻辑为http://baidu.com -> http://www.baidu.com

[root@node5 ~]# curl -L http://baidu.com

<html>

<meta http-equiv="refresh" content="0;url=http://www.baidu.com/">

</html>

#使用 -c 保存 Cookie,当我们使用 cURL 访问页面的时候，默认是不会保存 Cookie 的。有些情况下我们希望保存 Cookie 以便下次访问时使用。例如登陆了某个网站，我们希望再次访问该网站时保持登陆的状态，这时就可以现将登陆时的 Cookie 保存起来，下次访问时再读取。-c 后面跟上要保存的文件名。

[root@node5 ~]# curl -c "cookie.txt" http://www.baidu.com

<!DOCTYPE html>

<!--STATUS OK--><html>

......

<title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div  href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

[root@node5 ~]# cat cookie.txt

# Netscape HTTP Cookie File

# http://curl.haxx.se/docs/http-cookies.html

# This file was generated by libcurl! Edit at your own risk.

.baidu.com	TRUE	/	FALSE	1603424061	BDORZ	27315

#指定proxy服务器以及其端口,很多时候上网需要用到代理服务器(比如是使用代理服务器上网或者因为使用curl别人网站而被别人屏蔽IP地址的时候)，幸运的是curl通过使用内置option：-x来支持设置代理

[root@node5 ~]# curl -x 192.168.100.100:1080 http://www.linux.com

#模仿浏览器,有些网站需要使用特定的浏览器去访问他们，有些还需要使用某些特定的版本。curl内置option:-A可以让我们指定浏览器去访问网站,如下服务器端就会认为是使用IE8.0去访问的

[root@node5 ~]# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.baidu.com

<!DOCTYPE html><!--STATUS OK-->

<html>

<head>

	<meta http-equiv="content-type" content="text/html;charset=utf-8">

	<link rel="dns-prefetch" href="//t11.baidu.com"/>

	den name=ch value=""><input type=hidden name=tn {ns_c({'fm':'behs','tab':target.name,'un':encodeURIComponent(un)});}});}for(var i = 0; i < u.length; i++) + new Date(new Date().getTime() + 10*60*1000).toGMTString();</script>

</body></html>

linux curl命令的重要用法：发送GET/POST请求，获取网页内容的更多相关文章

  1. (转)Linux curl命令参数详解

    Linux curl命令参数详解 命令:curl在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具.它支持文件的上传和下载,是综合传输工具, ...

  2. Linux curl 命令详解

    命令概要 该命令设计用于在没有用户交互的情况下工作. curl 是一个工具,用于传输来自服务器或者到服务器的数据.「向服务器传输数据或者获取来自服务器的数据」 可支持的协议有(DICT.FILE.FT ...

  3. Linux curl命令使用代理、以及代理种类介绍（转）

    Linux curl命令使用代理.以及代理种类介绍   本文转自http://aiezu.com/article/linux_curl_proxy_http_socks.html,感谢作者 有时出于个 ...

  4. (转)linux traceroute命令参数及用法详解--linux跟踪路由命令

    linux traceroute命令参数及用法详解--linux跟踪路由命令 原文:http://blog.csdn.net/liyuan_669/article/details/25362505 通 ...

  5. Linux curl 命令模拟 POST/GET 请求

    Linux curl 命令模拟 POST/GET 请求   本文链接:https://blog.csdn.net/sunboy_2050/article/details/82156402 curl 命 ...

  6. linux mount命令参数及用法详解

    linux mount命令参数及用法详解 非原创,主要来自 http://www.360doc.com/content/13/0608/14/12600778_291501907.shtml. htt ...

  7. 【转】linux expr命令参数及用法详解

    在抓包过程中,查看某个设定时间内,数据上下行多少,用命令expr 计算! --------------------------------------------------------------- ...

  8. linux dmesg命令参数及用法详解(linux显示开机信息命令)

    linux dmesg命令参数及用法详解(linux显示开机信息命令) http://blog.csdn.net/zhongyhc/article/details/8909905 功能说明:显示开机信 ...

  9. linux sed命令参数及用法详解

    linux sed命令参数及用法详解 http://blog.csdn.net/namecyf/article/details/7336308 1. Sed简介 sed 是一种在线编辑器,它一次处理一 ...

  10. linux dd命令参数及用法详解---用指定大小的块拷贝一个文件（也可整盘备份）

    linux dd命令参数及用法详解---用指定大小的块拷贝一个文件 日期:2010-06-14 点击:3830 来源: 未知 分享至:            linux dd命令使用详解 dd 的主要 ...

随机推荐

  1. CondeseNetV2：清华与华为出品，保持特征的新鲜是特征复用的关键 ｜ CVPR 2021

    论文提出SFR模块,直接重新激活一组浅层特征来提升其在后续层的复用效率,而且整个重激活模式可端到端学习.由于重激活的稀疏性,额外引入的计算量非常小.从实验结果来看,基于SFR模块提出的CondeseN ...

  2. Quanto: PyTorch 量化工具包

    量化技术通过用低精度数据类型 (如 8 位整型 (int8)) 来表示深度学习模型的权重和激活,以减少传统深度学习模型使用 32 位浮点 (float32) 表示权重和激活所带来的计算和内存开销. 减 ...

  3. 抓包整理————tcp 传输数据的基础概念[十一]

    前言 简单介绍一下tcp 数据传输. 正文 tcp 数据传输是怎么样子的呢? 比如我们在代码中写好了,connection 去连接. 然后我们用 write 去读取数据,这个时候呢,到底我们的操作系统 ...

  4. c# 前台和后台线程

    前台和后台线程 Net的公用语言运行时(Common Language Runtime,CLR)能区分两种不同类型的线程:前台线程和后台线程.这两者的区别就是:应用程序必须运行完所有的前台线程才可以退 ...

  5. chrome浏览器代理插件SwitchyOmega使用

    第一步:下载SwitchyOmega插件 Proxy_SwitchyOmega_2.5.21.crx 第二步:安装插件, 1,在chrome扩展程序开启开发者模式: 2,将插件拖过来: 第三步:设置代 ...

  6. 如何解决python安装mysqlclient失败问题

    在使用Django等框架来操作MySQL时,实际上底层还是通过Python来操作的,首先需要安装一个驱动程序,在Python3中,驱动程序有多种选择,比如有pymysql以及mysqlclient等. ...

  7. keycloak~jwt的rs256签名的验证方式

    接口地址 keycloak开放接口地址:/auth/realms/fabao/.well-known/openid-configuration rsa算法相关术语 RSA算法是一种非对称加密算法,其安 ...

  8. el-tree选中子级时默认选中父级（角色授权）

    问题1:选中子级时默认选中父级 <el-tree :data="menuData" show-checkbox default-expand-all node-key=&qu ...

  9. 科普达人丨漫画图解什么是eRDMA？

    简介: 绕过CPU,将数据直接从一台计算机的内存传输到另一台计算机,进行网络加速 在一个领先的阿里云数据中心里,数百台服务器(也就是大型的计算机)在疯狂工作和通信,他们正在合力完成一个大型的大数据处理 ...

  10. HMS数据库设置和优化

    简介:Hive Metastore (HMS) 是一种服务,用于在后端 RDBMS(例如 MySQL 或 PostgreSQL)中存储与 Apache Hive 和其他服务相关的元数据.本文主要分享H ...