<?php

$curl = curl_init();// 初始化

// 准备提交的表单数据之账号和密码。（这个是根据表单选项来的）

$data = "_username=604989282@qq.com&_password=6481485" ;

// 这个配置是为了防盗链，

curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/");

// 基本配置

curl_setopt($curl, CURLOPT_URL, 'http://www.ydma.cn/login/check');// 网址

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);// 不输出

curl_setopt($curl, CURLOPT_POST, 1);// POST方式

curl_setopt($curl, CURLOPT_POSTFIELDS,$data);// POST数据

curl_setopt($curl, CURLOPT_HTTPHEADER, array(// 头部信息类型

  "content-type: application/x-www-form-urlencoded",

));

// Cookie相关设置

date_default_timezone_set("PRC");

curl_setopt($curl,CURLOPT_COOKIESESSION,TRUE);// 开启cookie和session

curl_setopt($curl,CURLOPT_COOKIEFILE,"cookiefile");// 存储名称

curl_setopt($curl,CURLOPT_COOKIEJAR,"cookiefile");// 存储名称

curl_setopt($curl,CURLOPT_COOKIE,session_name()."=".session_id());// 存储的是session_name()和session_id()

curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);// 设置可以跳转

curl_setopt($curl,CURLOPT_HEADER,0);// 不去打印头部信息

curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/");

// 设置一下跳转页面

// curl_setopt($curl,CURLOPT_URL,"http://www.ydma.cn/user/52897/learn");

curl_setopt($curl,CURLOPT_URL,"http://www.ydma.cn/course/137/preview/lesson/3961");

curl_setopt($curl,CURLOPT_POST,0);

curl_setopt($curl,CURLOPT_HTTPHEADER,array("Content-type:text/html"));

curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/");

$res = curl_exec($curl);

curl_close($curl);

// echo str_replace('src="/files', 'src="http://www.ydma.cn/files', $res);

// echo substr_replace($res,"<base href='http://www.ydma.cn/'>",strpos("<head>",$res),0);

echo str_replace("<head>","<head><base href='http://www.ydma.cn/'>",$res);

// echo $res;

页面来源:https://www.jianshu.com/p/682ddef25f55

测试一个网站,因为需要验证码没获取到信息

CURL的模拟登录和抓取页面的更多相关文章

  1. PHP Curl模拟登录并抓取数据

    使用PHP的Curl扩展库可以模拟实现登录,并抓取一些需要用户账号登录以后才能查看的数据.具体实现的流程如下(个人总结): 1. 首先需要对相应的登录页面的html源代码进行分析,获得一些必要的信息: ...

  2. PHP获取cookie、Token、模拟登录、抓取数据、解析生成json

    本文介绍使用PHP获取cookie,获取Token.以及模拟登录.然后抓取数据.最后解析生成json的的过程. 0. 设置Cookie路径 set_time_limit(0); //使用的cookie ...

  3. Java模拟登录系统抓取内容【转载】

    没有看考勤的习惯,导致我的一天班白上了,都是钱啊,系统也不发个邮件通知下....     为了避免以后还有类似状况特别写了个java模拟登录抓取考勤内容的方法(部分代码来自网络),希望有人修改后也可以 ...

  4. 基于puppeteer模拟登录抓取页面

    关于热图 在网站分析行业中,网站热图能够很好的反应用户在网站的操作行为,具体分析用户的喜好,对网站进行针对性的优化,一个热图的例子(来源于ptengine) 上图中能很清晰的看到用户关注点在那,我们不 ...

  5. 好用的 curl 抓取 页面的封装函数

    由于经常使用php curl 抓取页面的内容,在此mark 平时自己封装的 curl函数,(其实 现在也开始用 Python 来爬了~ ^-^) /** * 封装curl方法 * @author Fr ...

  6. curl抓取页面时遇到重定向的解决方法

    用php的curl抓取网页遇到了问题,为阐述方便,将代码简化如下: <?php function curlGet($url) { $ch = curl_init(); curl_setopt($ ...

  7. PHP使用CURL抓取页面

    cURL的基本原理 curl是利用URL语法在命令行方式下工作的开源文件传输工具,他能够从互联网上获得各种各样的网络资源.简单来说,curl就是抓取页面的升级版. <?php //1.初始化,创 ...

  8. curl怎么模拟登录进行采集

    前几天公司需要模拟登录,从网上找了一下代码,结合谷歌浏览器,进行模拟账号密码进行登录 用谷歌浏览器进行抓包操作,获得登录用参数, 下面上干货: <?php /** * 主要获取登录成功的cook ...

  9. 搭建谷歌浏览器无头模式抓取页面服务，laravel->php->python->docker !!!

    背景: 公司管理系统需要获取企业微信页面的配置参数如企业名.logo.人数等信息并操作,来隐藏相关敏感信息并自定义简化企业号配置流程 第一版已经实现了扫码登录获取cookie,使用该cookie就能获 ...

随机推荐

  1. murmur3 hash（hash算法）

    HashUtil.java package com.example.test.util; import com.google.common.base.Charsets; import com.goog ...

  2. Java协程编程之Loom项目尝鲜

    前提 之前很长一段时间关注JDK协程库的开发进度,但是前一段时间比较忙很少去查看OpenJDK官网的内容.Java协程项目Loom(因为项目还在开发阶段,OpenJDK给出的官网https://ope ...

  3. pikachu Over Permission

    Over Permission 如果使用A用户的权限去操作B用户的数据,A的权限小于B的权限,如果能够成功操作,则称之为越权操作. 越权漏洞形成的原因是后台使用了 不合理的权限校验规则导致的. 一般越 ...

  4. <span> 标签与<p>标签的区别

    p标签指一个段落,是块级元素,有换行效果:span是行内元素,一般单独修饰文字: span 标签可以放在p标签里,p标签不应该放在span标签里:

  5. .net core 通过动软连接数据库

    .net core 与动软 首先创建asp.net core 或者 .net core 控制台程序.不需急着创建web.config 文件. 通过NuGet加个ado的包 System.Data.Sq ...

  6. nacos项目搭建(服务提供者，服务消费者)

    spring cloud ablibaba 版本说明 https://github.com/alibaba/spring-cloud-alibaba/wiki/版本说明 启动nacos服务 官网: h ...

  7. 1、二进制安装K8s 之 环境准备

    二进制安装K8s 之 环境准备 1.系统&软件 序号 设备\系统 版本 1 宿主机 MacBook Pro 11.4 2 系统 Centos 7.8 3 虚拟机 Parallels Deskt ...

  8. jsoup的Document类

    一.简介 Document是一个装载html的文档类,它是jsoup一个非常重要的类.类声明:public class Document extends Element .Document是Node间 ...

  9. mysql基础操作（四）：简单多表查询

    -- 创建部门 (主表) create table dept( id int primary key auto_increment, name varchar(20) ); -- 创建员工 (副表) ...

  10. Centos7部署Open-falcon 0.2.0

    官方和github上都有教程,但是对于我来说有的部署内容较为陌生,有点错误官方也未在教程中说明,故在此记录方便以后快速部署,本文部署的时间是2018/10/10. 虽然open-falcon是采用了前 ...