// $url = "http://www.baidu.com/";
  $url= "https://www.icourse163.org/web/j/courseBean.getCoursePanelListByFrontCategory.rpc?csrfKey=8259facdbcf54eebbb98ee0b438c10b2";
  $UserAgent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36';
// $data=array('type'=>0,'orderBy'=>0,'pageIndex'=>1,'pageSize'=>20,'categoryId'=>'1001043131');
  $data=array('type'=>0,'orderBy'=>0,'pageIndex'=>1,'pageSize'=>20);

// $headers = array("Content-Type: multipart/form-data", "Content-Length: 62","edu-script-token: 8259facdbcf54eebbb98ee0b438c10b2");
// $headers = array("Content-Type: multipart/form-data", "Content-Length: 62");
  $referer ='https://www.icourse163.org/category/computer';
  $curl = curl_init();
  curl_setopt($curl, CURLOPT_URL, $url);
  curl_setopt($curl, CURLOPT_COOKIE, 'EDUWEBDEVICE=99c3d9a6b54d43a7a9bcfe57b1f7f469; hb_MA-A976-948FFA05E931_source=www.baidu.com; WM_TID=FnTVRQrj75JFAVAUAVYpLtgFCUC00fNJ; P_INFO=176***********|1544579809|1|imooc|00&99|null&null&null#CN&null#10#0|&0||17638564503; NTESSTUDYSI=8259facdbcf54eebbb98ee0b438c10b2; utm="eyJjIjoiIiwiY3QiOiIiLCJpIjoiIiwibSI6IiIsInMiOiIiLCJ0IjoiIn0=|aHR0cHM6Ly93d3cuYmFpZHUuY29tL2xpbms/dXJsPURJc1lveUp6SVBuVUNBRUp2SkdvOU5CV3k1MVlidFVGOGFMUlktZGZCc0Q0V1BUNkgwUm5HM1N3ZHh3cUk3QXkmd2Q9JmVxaWQ9ZGI3YmQxZDgwMDAzZmQ3MDAwMDAwMDAzNWMxOTk5MGE="; __utma=63145271.1156471569.1544579763.1544579763.1545181455.2; __utmc=63145271; __utmz=63145271.1545181455.2.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; WM_NI=uB9OxGY%2Ff%2FUg2M2gqw6Ix3qwvOcP%2BlFtk7iePzDjB4QKd1Y6hxVMHgYe9Kkwq2t7v%2Bu2Bnax1nHcMckQaOMyPpUzP57cBZ68p1NHiD%2FeWHO0b%2F49o6ogUNOLPCqba5ISU0E%3D; WM_NIKE=9ca17ae2e6ffcda170e2e6ee9aaa40fc9c008ee25d81928fb2d14f978a8aabb76ff58fae97f16afcba8991f52af0fea7c3b92ab79ef7b0fb4d9bf1aad0d86df293fe88f47df697b8d4f47db691adb1aa6886aca5d8ec6f94a68c8bc1409395acd2dc3eaca89aaecb6d9bbbf7acea7db3eebcd8f521b7ee8e8fe474f3b28884d069a98fafb0d07394b09b9bd33ff5bd8ebbb534b4ef82a9ec50edbb99a9ce3ca2f1fcdaee3eadb99bafce48949dbf83e43f8b8d9bd1c837e2a3; __utmb=63145271.7.9.1545181499475');
  curl_setopt($curl, CURLOPT_HEADER, 0); //0表示不输出Header,1表示输出
// curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);
  $data = http_build_query($data);
  curl_setopt($curl, CURLOPT_REFERER, $referer);
  if(!empty($data)){
    curl_setopt($curl, CURLOPT_POST, true);
    curl_setopt($curl, CURLOPT_POSTFIELDS, $data);
  }
  curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
  curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
  curl_setopt($curl, CURLOPT_ENCODING, '');
  curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);
  curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
  $data = curl_exec($curl);
  echo '<pre>';
  $dataArr=json_decode($data,true);
  var_dump($dataArr['result']['result'][0]);

抓取mooc中国随笔的更多相关文章

  1. python 爬虫抓取 MOOC 中国课程的讨论区内容

    一:selenium 库 selenium 每次模拟浏览器打开页面,xpath 匹配需要抓取的内容.可以,但是特别慢,相当慢.作为一个对技术有追求的爬虫菜鸡,狂补了一些爬虫知识.甚至看了 scrapy ...

  2. 开源中国上抓取的content-type

    开源中国上抓取的content-type类型,来源:http://www.cnblogs.com/smallyard/p/5632608.html { ".*": "ap ...

  3. Python抓取第一网贷中国网贷理财每日收益率指数

    链接:http://www.p2p001.com/licai/index/id/147.html 所需获取数据链接类似于:http://www.p2p001.com/licai/shownews/id ...

  4. scrapy抓取中国新闻网新闻

    目标说明 利用scrapy抓取中新网新闻,关于自然灾害滑坡的全部国内新闻:要求主题为滑坡类新闻,包含灾害造成的经济损失等相关内容,并结合textrank算法,得到每篇新闻的关键词,便于后续文本挖掘分析 ...

  5. 【转】详解抓取网站,模拟登陆,抓取动态网页的原理和实现(Python,C#等)

    转自:http://www.crifan.com/files/doc/docbook/web_scrape_emulate_login/release/html/web_scrape_emulate_ ...

  6. 网络爬虫:使用Scrapy框架编写一个抓取书籍信息的爬虫服务

      上周学习了BeautifulSoup的基础知识并用它完成了一个网络爬虫( 使用Beautiful Soup编写一个爬虫 系列随笔汇总 ), BeautifulSoup是一个非常流行的Python网 ...

  7. 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(3): 抓取amazon.com价格

    通过上一篇随笔的处理,我们已经拿到了书的书名和ISBN码.(网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息 ...

  8. 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码

    这一篇首先从allitebooks.com里抓取书籍列表的书籍信息和每本书对应的ISBN码. 一.分析需求和网站结构 allitebooks.com这个网站的结构很简单,分页+书籍列表+书籍详情页. ...

  9. 网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(1): 基础知识Beautiful Soup

    开始学习网络数据挖掘方面的知识,首先从Beautiful Soup入手(Beautiful Soup是一个Python库,功能是从HTML和XML中解析数据),打算以三篇博文纪录学习Beautiful ...

随机推荐

  1. [蓝桥杯]ALGO-48.算法训练_关联矩阵

    题目描述: 问题描述 有一个n个结点m条边的有向图,请输出他的关联矩阵. 输入格式 第一行两个整数n.m,表示图中结点和边的数目.n<=,m<=. 接下来m行,每行两个整数a.b,表示图中 ...

  2. host文件的用处

    做Flash开发的人员免不了接触host文件. 1:首先你注册Flash软件.FlashBuilder都需要先修改host,然后再安装的.(具体的修改时在etc包里找到host文件,把一堆adobe的 ...

  3. 关于Strategy和State设计模式

    之前,我在描述我所采用的设计模式时,一直在Strategy和State之间犹豫,略微有些拿捏不准,说哪种设计模式好.结果到最后,会根据自己所想,觉得是State就是State,觉得Strategy就是 ...

  4. lvm的磁盘管理知识点整理

    首先感谢参考的博客网址: http://blog.51cto.com/dreamfire/1084729 https://www.cnblogs.com/kevingrace/p/5825963.ht ...

  5. document.createRange剪贴板API

    js实现复制到剪贴板 document.createRange() API 选中元素→range→selection是一一对应的,即选区必须连续,不可以有分开的多个区域.另外,被选元素必须在dom树上 ...

  6. 第8章 传输层(3)_TCP协议

    3. 传输控制协议(TCP) 3.1 TCP协议的主要特点 (1)TCP是面向连接的传输层协议.即使用TCP协议之前必须先建立TCP连接.在传送数据完毕之后,必须释放己经建立的TCP连接. (2)每一 ...

  7. Webbrowser指定IE内核版本(更改注册表)

    如果电脑上安装了IE8或者之后版本的IE浏览器,Webbrowser控件会使用IE7兼容模式来显示网页内容.解决方法是在注册表中为你的进程指定引用IE的版本号. 比如我的程序叫做a.exe 对于32位 ...

  8. Ubuntu 16.04.3 LTS 部署 Cloud Torrent

    下载安装程序 apt install -y curl sudo curl https://i.jpillora.com/cloud-torrent! | bash 写配置文件 sudo vim /et ...

  9. Java动手及实验整理

    1   枚举类型 在Java中,枚举类型本质上其实就是一个类,枚举中的常量都是该枚举类型的实例.枚举类型是引用类型!枚举不属于原始数据类型,它的每个具体值都引用一个特定的对象.相同的值则引用同一个对象 ...

  10. css的优化规则

    1.避免过度约束: // 不推荐 ul.nav{..} // 推荐 .nav{..}  2.避免过长的后代选择符: // 不推荐 html div tr td {..} 3.避免链式(交集)选择符: ...