在信息采集的时候,要采集的站点可能需要登录,这样使用简单的采集方式(例如file_get_contents)就无法做到了,我们可以利用PHP的CURL扩展库来进行模拟登录,下面给出代码示例:

  1. <?php
  2. $cookie_path = './'; //设置cookie保存路径
  3. //-----登录要提交的表单数据---------------
  4. $vars['username'] = '张三';
  5. $vars['pwd'] = '123';
  6. //-------------------------------------
  7. $method_post = true;
  8. //登录提交的url地址(表单中的action的绝对地址)
  9. $url = 'http://****.com/login';
  10. //----------------------------
  11. $ch = curl_init();
  12. $params[CURLOPT_URL] = $url; //请求url地址
  13. $params[CURLOPT_HEADER] = true; //是否返回响应头信息
  14. $params[CURLOPT_RETURNTRANSFER] = true; //是否将结果返回
  15. $params[CURLOPT_FOLLOWLOCATION] = true; //是否重定向
  16. $params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
  17. $postfields = '';
  18. foreach ($vars as $key => $value){
  19. $postfields .= urlencode($key) . '=' . urlencode($value) . '&';
  20. }
  21. $params[CURLOPT_POST] = true;
  22. $params[CURLOPT_POSTFIELDS] = $postfields;
  23. //判断是否有cookie,有的话直接使用
  24. if (isset($_COOKIE['cookie_jar']) && ($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar'])))
  25. {
  26. $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
  27. }
  28. else
  29. {
  30. $cookie_jar = tempnam($cookie_path, 'cookie'); //产生一个cookie文件
  31. $params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
  32. setcookie('cookie_jar', $cookie_jar); //保存cookie路径
  33. }
  34. curl_setopt_array($ch, $params); //传入curl参数
  35. $content = curl_exec($ch); //执行
  36. echo '
  37. ';
  38. echo $content; //输出登录结果
  39. /*
  40. *如果输出的结果是Json格式则用下面方法得到所需内容
  41. *$obj = json_decode($content);
  42. *print_r($obj->{'所需内容'}) ;
  43. */
  44. /*
  45. //---------登录成功后再次请求其他地址,如果有多个可以循环执行---------
  46. echo '
  47. ';
  48. $nexturl = 'http://****.com/test';
  49. $params[CURLOPT_URL] = $nexturl;
  50. $params[CURLOPT_POSTFIELDS] = '';
  51. curl_setopt_array($ch, $params); //传入curl参数
  52. $content = curl_exec($ch); //执行
  53. echo $content; //输出请求结果
  54. //-------------------------------------------------
  55. */
  56. curl_close($ch); //关闭连接
  57. ?>

注:如果遇到无法请求https站点的情况,可能是因为无法验证证书或者域名,只要在curl_setopt_array前增加以下两项就可以了:

    1. $params[CURLOPT_SSL_VERIFYPEER] = false;
    2. $params[CURLOPT_SSL_VERIFYHOST] = false;

使用CURL进行模拟登录的更多相关文章

  1. PHP cURL实现模拟登录与采集使用方法详解教程

    来源:http://www.zjmainstay.cn/php-curl 本文将通过案例,整合浏览器工具与PHP程序,教你如何让数据 唾手可得 . 对于做过数据采集的人来说,cURL一定不会陌生.虽然 ...

  2. php中CURL实现模拟登录并采集数据

    在php中采集我们用的是简单的采集方式(例如file_get_contents)就无法做到了,但是如果想模拟登录用户并采集利用它就没办法了,我们可利用CURL函数来实现模拟登录并采集数据 这里要说一些 ...

  3. curl怎么模拟登录进行采集

    前几天公司需要模拟登录,从网上找了一下代码,结合谷歌浏览器,进行模拟账号密码进行登录 用谷歌浏览器进行抓包操作,获得登录用参数, 下面上干货: <?php /** * 主要获取登录成功的cook ...

  4. php使用CURL进行模拟登录采集数据

    <?php $cookie_path = './'; //设置cookie保存路径 //-----登录要提交的表单数据--------------- $vars['username'] = '张 ...

  5. CURL的模拟登录和抓取页面

    <?php $curl = curl_init();// 初始化 // 准备提交的表单数据之账号和密码.(这个是根据表单选项来的) $data = "_username=6049892 ...

  6. 模拟登录神器之PHP基于cURL实现自动模拟登录类

    一.构思 从Firefox浏览器拷贝cURL命令(初始页.提交.提交后) 自动分析curl形成模拟登录代码 默认参数:ssl/302/gzip 二.实现 接口 (一)根据curl信息执行并解析结果 p ...

  7. PHP cURL应用实现模拟登录与采集使用方法详解

    对于做过数据采集的人来说,cURL一定不会陌生.虽然在PHP中有file_get_contents函数可以获取远程链接的数据,但是它的可控制性太差了,对于各种复杂情况的采集情景,file_get_co ...

  8. PHP简单模拟登录功能实例分享

    1.curl实现模拟登录的代码,(只是实现服务器与服务器建立会话,其实并没有在客户端与服务器之间建立会话) <?php $cookie_jar = tempnam('./tmp','cookie ...

  9. PHP cURL 使用cookie 模拟登录

    cURL是什么 cURL: http://php.net/manual/zh/book.curl.php PHP 支持 Daniel Stenberg 创建的 libcurl 库,能够连接通讯各种服务 ...

随机推荐

  1. 在vue2.x项目中怎么引入Element UI

    参考:https://blog.csdn.net/u014054437/article/details/79862793 Element使用方法:https://element.eleme.cn/#/ ...

  2. LCA Tarjan方法

    LCA Tarjan方法 不得不说,高中生好厉害,OI大佬,感觉上个大学好憋屈啊! 说多了都是眼泪 链接拿去:http://www.cnblogs.com/JVxie/p/4854719.html

  3. html5,dom操作1

    <body> <script>function hwd(){ var bb=document.getElementById('bt');// alert(bb.innerHTM ...

  4. JavaScript 原型链学习(二)原型的动态性

    由于在原型中查找值的过程是一次搜索,因此我们对原型对象所做的任何修改都能够立即从实例上反映出来,即使是先创建了实例后修改原型也照样如此.如下示例: var friend = new Person(); ...

  5. VSCode 打开文件tab键空格数量异常问题

    [1]现象与原因 现象:用Notepad++打开文件,tab键占4个空格键.但是,用VSCode打开,tab键缺变成了3个空格键. 原因:因为VSCode默认启用了根据文件类型自动设置tabsize的 ...

  6. 清理Visual Studio 2017的项目历史记录或手工修改Visual Studio 2017的注册表设置

    Visual Studio 2017的"最近的文件列表"和"项目列表"总是删了之后重启电脑又出现(PS:这期间没有打开过项目,更没打开过VS). 一怒之下,按照 ...

  7. Servlet+纯java+MySQL实现课程信息的增删改查

    Dbutil: package com.zh.util; import java.sql.Connection; import java.sql.DriverManager; import java. ...

  8. linux 安装nginx+php+mysql

    http://www.cnblogs.com/kyuang/p/6801942.htmlnginx安装 本文是介绍使用源码编译安装,包括具体的编译参数信息. 正式开始前,编译环境gcc g++ 开发库 ...

  9. wait(), notify(), notifyAll()等方法介绍

    在Object.java中,定义了wait(), notify()和notifyAll()等接口.wait()的作用是让当前线程进入等待状态,同时,wait()也会让当前线程释放它所持有的锁.而not ...

  10. 剑指offer(13)调整数组顺序使奇数位于偶数前面

    题目描述 输入一个整数数组,实现一个函数来调整该数组中数字的顺序,使得所有的奇数位于数组的前半部分,所有的偶数位于位于数组的后半部分,并保证奇数和奇数,偶数和偶数之间的相对位置不变. 题目分析 判断是 ...