<?php

$curl = curl_init();// 初始化

// 准备提交的表单数据之账号和密码。（这个是根据表单选项来的）

$data = "_username=604989282@qq.com&_password=6481485" ;

// 这个配置是为了防盗链，

curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/");

// 基本配置

curl_setopt($curl, CURLOPT_URL, 'http://www.ydma.cn/login/check');// 网址

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);// 不输出

curl_setopt($curl, CURLOPT_POST, 1);// POST方式

curl_setopt($curl, CURLOPT_POSTFIELDS,$data);// POST数据

curl_setopt($curl, CURLOPT_HTTPHEADER, array(// 头部信息类型

  "content-type: application/x-www-form-urlencoded",

));

// Cookie相关设置

date_default_timezone_set("PRC");

curl_setopt($curl,CURLOPT_COOKIESESSION,TRUE);// 开启cookie和session

curl_setopt($curl,CURLOPT_COOKIEFILE,"cookiefile");// 存储名称

curl_setopt($curl,CURLOPT_COOKIEJAR,"cookiefile");// 存储名称

curl_setopt($curl,CURLOPT_COOKIE,session_name()."=".session_id());// 存储的是session_name()和session_id()

curl_setopt($curl,CURLOPT_FOLLOWLOCATION,1);// 设置可以跳转

curl_setopt($curl,CURLOPT_HEADER,0);// 不去打印头部信息

curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/");

// 设置一下跳转页面

// curl_setopt($curl,CURLOPT_URL,"http://www.ydma.cn/user/52897/learn");

curl_setopt($curl,CURLOPT_URL,"http://www.ydma.cn/course/137/preview/lesson/3961");

curl_setopt($curl,CURLOPT_POST,0);

curl_setopt($curl,CURLOPT_HTTPHEADER,array("Content-type:text/html"));

curl_setopt($curl,CURLOPT_REFERER,"http://www.ydma.cn/");

$res = curl_exec($curl);

curl_close($curl);

// echo str_replace('src="/files', 'src="http://www.ydma.cn/files', $res);

// echo substr_replace($res,"<base href='http://www.ydma.cn/'>",strpos("<head>",$res),0);

echo str_replace("<head>","<head><base href='http://www.ydma.cn/'>",$res);

// echo $res;

页面来源:https://www.jianshu.com/p/682ddef25f55

测试一个网站,因为需要验证码没获取到信息

CURL的模拟登录和抓取页面的更多相关文章

  1. PHP Curl模拟登录并抓取数据

    使用PHP的Curl扩展库可以模拟实现登录,并抓取一些需要用户账号登录以后才能查看的数据.具体实现的流程如下(个人总结): 1. 首先需要对相应的登录页面的html源代码进行分析,获得一些必要的信息: ...

  2. PHP获取cookie、Token、模拟登录、抓取数据、解析生成json

    本文介绍使用PHP获取cookie,获取Token.以及模拟登录.然后抓取数据.最后解析生成json的的过程. 0. 设置Cookie路径 set_time_limit(0); //使用的cookie ...

  3. Java模拟登录系统抓取内容【转载】

    没有看考勤的习惯,导致我的一天班白上了,都是钱啊,系统也不发个邮件通知下....     为了避免以后还有类似状况特别写了个java模拟登录抓取考勤内容的方法(部分代码来自网络),希望有人修改后也可以 ...

  4. 基于puppeteer模拟登录抓取页面

    关于热图 在网站分析行业中,网站热图能够很好的反应用户在网站的操作行为,具体分析用户的喜好,对网站进行针对性的优化,一个热图的例子(来源于ptengine) 上图中能很清晰的看到用户关注点在那,我们不 ...

  5. 好用的 curl 抓取 页面的封装函数

    由于经常使用php curl 抓取页面的内容,在此mark 平时自己封装的 curl函数,(其实 现在也开始用 Python 来爬了~ ^-^) /** * 封装curl方法 * @author Fr ...

  6. curl抓取页面时遇到重定向的解决方法

    用php的curl抓取网页遇到了问题,为阐述方便,将代码简化如下: <?php function curlGet($url) { $ch = curl_init(); curl_setopt($ ...

  7. PHP使用CURL抓取页面

    cURL的基本原理 curl是利用URL语法在命令行方式下工作的开源文件传输工具,他能够从互联网上获得各种各样的网络资源.简单来说,curl就是抓取页面的升级版. <?php //1.初始化,创 ...

  8. curl怎么模拟登录进行采集

    前几天公司需要模拟登录,从网上找了一下代码,结合谷歌浏览器,进行模拟账号密码进行登录 用谷歌浏览器进行抓包操作,获得登录用参数, 下面上干货: <?php /** * 主要获取登录成功的cook ...

  9. 搭建谷歌浏览器无头模式抓取页面服务，laravel->php->python->docker !!!

    背景: 公司管理系统需要获取企业微信页面的配置参数如企业名.logo.人数等信息并操作,来隐藏相关敏感信息并自定义简化企业号配置流程 第一版已经实现了扫码登录获取cookie,使用该cookie就能获 ...

随机推荐

  1. 答应我，安装chromedriver，按照版本号，v70就安装v2.42，

    下载chromedriver,链接:http://chromedriver.storage.googleapis.com/index.html ----------ChromeDriver v2.42 ...

  2. L298N的接线和详细使用方法

    文章说明: 名词概念(为了方便易懂,我就通俗的表达): 逻辑电压:控制板子执行程序的电压. 驱动电压:输出口AB的电压. 逻辑电流:驱动板执行程序的电流. 驱动电流:输出口AB的电流. 本人调试此款L ...

  3. NOIP 模拟 $29\; \rm 完全背包问题$

    题解 \(by\;zj\varphi\) 一道 \(\rm dp\) 题. 现将所有种类从小到大排序,然后判断,若最小的已经大于了 \(\rm l\),那么直接就是一个裸的完全背包,因为选的总数量有限 ...

  4. 题解 P3942 将军令

    题解 首先看到这题 \(k=1\) 时,就是一道 小胖守皇宫,那么由 \(k=1\) 联想到 \(k=2...20\) 发现可以树形 \(DP\) 但转移方程太难想,不太适合考场做. 考虑贪心: 对所 ...

  5. 题解 Star Way To Heaven

    传送门 这整场都不会--这题想二分不会check 其实check很好写,考虑一个mid的实际意义 即为check在不靠近每个star及边界mid距离内的前提下,能不能到达\((n,m)\) 其实可以转 ...

  6. 【springboot】知识点总结

    [springboot 基础编] 01.SpringBoot>01 - 第一个应用–HelloWorld 02.SpringBoot>02 - 整合 MyBatis 03.SpringBo ...

  7. 【转】java内存溢出的场景及解决办法

    参考: https://blog.csdn.net/qq_32671287/article/details/86063396 https://www.cnblogs.com/snowwhite/p/9 ...

  8. LeetCoded第21题题解--合并两个有序链表

    21. 合并两个有序链表 将两个升序链表合并为一个新的 升序 链表并返回.新链表是通过拼接给定的两个链表的所有节点组成的. 示例: 输入:1->2->4, 1->3->4 输出 ...

  9. Redis常用技术

    Xml配置: <?xml version='1.0' encoding='UTF-8' ?> <!-- was: <?xml version="1.0" e ...

  10. servlet中servletContext的五大作用（一）

    获取web的上下文路径 获取全局的参数 作为域对象使用 请求转发 读取web项目的资源文件 package day10.about_servletcontext.get_path; /** * 首先区 ...