功能强大的CURL
linux下的curl,有着非同一般的魔力,有人称它为下载工具,我更倾向于叫它“文件传输工具”因为它好像无所不能。从常见的 FTP, HTTP, TELNET, 等协议,还支持代理服务器,cookies,下载以及上传文件,
curl 打印页面
curl www.baidu.com
curl 抓取一个页面,然后进行保存 -o (小写的英文字母 o )
curl -x ip:port 指定代理
curl -x 代理ip:端口 ,使用代理访问。
curl -D cookies 保存cookie在本地。
curl www.baidu.com -o baidu.html -D baidu.txt
curl www.baidu.com -o baidu.html -D baidu.txt 使用curl 打印出本站的主页,使用 -o 选项来保存在本地, -D保存cookies
目录下将会多出两个文件, baidu.html (网页文件)跟 baidu.txt (cookie文件)
curl -A 模拟浏览器发送报文
curl -A “Mozilla/4.0 (compatible; MSIE 6.0; windows NT 5.0)”
curl -e 很重要的一个选项,模拟来路,比如这样
curl -e www.163.com www.baidu.com 这样是显示本站的某个点过去的~
都知道skycn都使用了referer技术,就是判断点击的来路,不是一级一级点过来,中间突然点击下载地址,就认为你是盗链。
请直接点击 http://dqcnc.skycn.com/down/Ravolxz_2008_206620.zip 会直接跳回主页的
这样再试试
curl -A “Mozilla/4.0 (compatible; MSIE 5.01; windows NT 5.0)” -D skycn.txt -e http://tele.skycn.com/soft/38422.html -o test.rar http://dqcnc.skycn.com/down/Ravolxz_2008_206620.zip
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
31 67.7M 31 21.0M 0 0 513k 0 0:02:15 0:00:41 0:01:34 619k
这样就告诉天空软件站,这是一个运行在windows2000的IE5.0发过来的一个请求,并且来路是http://tele.skycn.com/soft/38422.html 这个页面。
-o 就是指定保存文件的名称。
-O (大写的英文字母 O)这个是自动按服务器上的名字来保存文件到本地。
curl -A “Mozilla/4.0 (compatible; MSIE 5.01; windows NT 5.0)” -D skycn.txt -e http://tele.skycn.com/soft/38422.html -O http://dqcnc.skycn.com/down/Ravolxz_2008_206620.zip
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
4 67.7M 4 3285k 0 0 229k 0 0:05:02 0:00:14 0:04:48 658k
Ravolxz_2008_206620.zip 自己生成的这个名字。
curl -b 是追加旧的cookie,生成新的cookie
功能强大的CURL的更多相关文章
- cURL 是一个功能强大的PHP库。
使用PHP的cURL库可以简单和有效地去抓网页.你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了.无论是你想从从一个链接上取部分数据,或是取一个XML文件并把 ...
- 高效、易用、功能强大的 api 管理平台
前言导读 实际环境的需求可以说是:只有你没想到,没有实现不了的,征对于目前实际开发.测试.生产等环境中,需要用到各类的接口可达几十.甚至上百个,因此,必须需要一个统一管理的工具平台来统一管理这类接口, ...
- 工具推荐:ATSCAN,功能强大的Perl脚本扫描器
工具推荐:ATSCAN,功能强大的Perl脚本扫描器 使用perl语言编写的开源的扫描器,功能丰富强大,除了基本的tcp和udp端口扫描之外,还可以搜索wordpress.joomla等网站并进行口令 ...
- Postman - 功能强大的 API 接口请求调试和管理工具
Postman 是一款功能强大的的 Chrome 应用,可以便捷的调试接口.前端开发人员在开发或者调试 Web 程序的时候是需要一些方法来跟踪网页请求的,用户可以使用一些网络的监视工具比如著名的 Fi ...
- 功能强大的滚动播放插件JQ-Slide
查看效果:http://keleyi.com/keleyi/phtml/jqplug/4.htmJQ-Slide插件功能强大,滚动方式自由多样全部滚动方式 方式一 方式二 方式三 方式四 方式五 方式 ...
- 功能强大而又简单易学的编程语言Python
Python是一种面向对象.直译式计算机程序设计语言,也是一种功能强大的通用型语言.首先,Python非常简单,以Hello World为例: Java的Hello World程序一般这么写: pub ...
- 敏捷BI比传统BI功能强大是否属实?
关于大数据的资讯铺天盖地而来,让人眼花缭乱.虽然资讯很精彩,我们也看到了大数据背后的价值,很多企业选择了商业智能BI产品.商业智能在使用上可分为敏捷BI与传统BI,从名字来看敏捷BI要比传统BI显得利 ...
- [转载]什么是FCKeditor?功能强大的HTML编辑器!
天天在用FCKeditor写博客,但一直不清楚FCKeditor到底是什么,今天终于找到了一些相关的资料,大家一起来分享下. FCKeditor文本编辑程序(共享软件)为用户提供在线的文档编辑服务,其 ...
- 整合了一个功能强大完善的OA系统源码,php全开源 界面漂亮美观
整合了一个功能强大完善的OA系统源码,php全开源界面漂亮美观.需要的同学联系Q:930948049
随机推荐
- floyd判环算法(龟兔赛跑算法)
floyd判环算法(龟兔赛跑算法) 注意,这个算法是用来判断一条链+一条环的图,环的长度或者环与链的交界处的,所以此floyd非彼floyd(虽然都是一个人想出来的). (图不是我的) 如果只要求环的 ...
- IT兄弟连 Java语法教程 Java语言入门 典面试题
1.请说明JVM.JRE和JDK是什么?它们有什么关系? JVM是Java虚拟机,Java Virtual Machine的缩写,是一个虚构出来的计算机,通过在实际的计算机上仿真模拟各种计算机功能来实 ...
- GFS安装
GlusterFS 搭建 1.环境要求 IP地址 主机名称 系统 172.16.2.201 test01 Centos 6.4 172.16.2.202 test02 Centos 6.4 172.1 ...
- jar包冲突问题
这两天在启动一个新项目的时候,项目一直启动不了,报StackOverFlow; java.util.concurrent.ExecutionException: java.lang.StackOver ...
- 原型设计模式(prototype
# 什么是原型设计模式 > 这里与软件工程中的原型开发模式有那么一点类似的地方,我们首先需要构建出一个原型,这个原型可以在现实开发中抽象出来的具体类型,但是这个类型与具体的类又不同,需要抽取公共 ...
- P2184 贪婪大陆 树状数组
树状数组帅炸了....又被一道水题轻虐,又被学长指出了一个错误....我太菜了QAQ 开两个树状数组,一个记录左端点,一个记录右端点: 共有cnt(总数) - (<l的右端点数目) - (> ...
- SSM Spring SpringMVC Mybatis框架整合Java配置完整版
以前用着SSH都是老师给配好的,自己直接改就可以.但是公司主流还是SSM,就自己研究了一下Java版本的配置.网上大多是基于xnl的配置,但是越往后越新的项目都开始基于JavaConfig配置了,这也 ...
- 仙人掌(cactus)
题目描述LYK 在冲刺清华集训(THUSC)!于是它开始研究仙人掌,它想来和你一起分享它最近研究的结果.如果在一个无向连通图中任意一条边至多属于一个简单环(简单环的定义为每个点至多经过一次),且不存 ...
- MVC View与Controller分离
新建了一个 Separate 解决方案, 如下图 Separate.UI UI层. 引用 Separate.Home Separate.Home 把Home控制器分享到 一个类库中 并引用(Sy ...
- spring data jpa封装specification实现简单风格的动态查询
github:https://github.com/peterowang/spring-data-jpa-demo 单一实体的动态查询: @Servicepublic class AdvancedUs ...