此篇已实例为主. 一.一般的实例 demo1.php <?php $user = "admin123"; $pass = "admin456"; // $curlPost = "user=$user&pass=$pass"; #### 测试一 ######测试二 $curlPost = array( , , ); $ch = curl_init(); //初始化一个CURL对象 curl_setopt($ch, CURLOPT_UR

这一阵子吉林疫苗案,备受大家关注,索性使用爬虫来爬取今日头条搜索吉林疫苗的新闻 依然使用三件套(scrapy+selenium+PhantomJS)来爬取新闻 以下是搜索页面,得到吉林疫苗的搜索信息,里面包含了新闻信息和视频信息 通过F12中network得到了接口url信息:https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E5%90%89%E6%9E%97%E7%96%AB%E8%8B%97&am

今天学习分析ajax 请求,现把学得记录, 把我们在今日头条搜索街拍美图的时候,今日头条会发起ajax请求去请求图片,所以我们在网页源码中不能找到图片的url,但是今日头条网页中有一个json 文件,这相文件中就包括单个图集的具体url,通过访问这个url ,又可以获取一个json 文件,这个json 文件中有个键是url_list  这个键的值是一个List ,这个list中就存入了具体单个图片的下载url ,通过request.get()方法去访问这个url ,然后把得到content以二进

昨天我们分析了今日头条搜索得到的信息,一直对图集感兴趣的我还是选择将所有的图片下载下来. 我们继续讲一下如何通过各个图集的url得到每个图集下面的照片. 分析图集的组成 [插入图片,某个图集的页面] 我们看上面的这个图片,右面的1/5可以看出,这个图集有5张图片,在图片上右侧点击的话,会打开下一张图片. 我们来看一下这些图片的url在哪里? 分析图集的源代码 [插入图片,图集页的XHR信息] 我们先看一下XHR,返回的仍然是一些json信息,但是每个json里面的内容都不是我们需要的图片的url

Ajax技术 AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML). Ajax并不是新的编程语言,而是一种使用现有标准的新方法,当然也不是很新了,在97年左右,微软就发明了ajax的关键技术,但是并没有推广:随着Google eath.google suggest和gmail的广泛应用,ajax才开始流行起来. ajax最大的优点是在不重新加载整个页面的情况下,可以与服务器交换数据并更新网页的部分内容. ajax不需要任何浏览器

学习目的: 解决AJAX请求的爬虫,网页解析库的学习,MongoDB的简单应用 正式步骤 Step1:流程分析 抓取单页内容:利用requests请求目标站点,得到单个页面的html代码,返回结果: 抓取页面详情内容:解析返回结果,得到详情页的链接,并进一步抓取详情页的信息: 下载图片并保存数据库:将图片下载到本地,把页面信息及图片url保存至MongoDB: 开启循环及多线程:对多页面内容遍历,开启多线程并提高抓取效率. Step2:实例分析 1. 打开今日头条搜索页,搜索“中超”,查看页面的

在做SEO的过程中,实际上,我并不是“技术挂”更多的是基于搜索原理与大量的实战,总结相关的经验,这么多年,经常养成一个小习惯,总是记录一些工作中遇到的一些小问题与小技巧. 特别是2017年,12月份开始跟踪熊掌号算法之后,从新进入SEO行业,我依然保留每隔一定周期审查网站日志的习惯. 读“日志”如“看人”,它让你更加清晰与透彻. “ToutiaoSpider” 记得在2018年6月份的时候,我在日志中发现一个特别特殊的蜘蛛“ToutiaoSpider”,这让我颇为好奇,于是我打开TXT文档,记录

1.从CURL 官网下载CA 证书(当然也可以选择自己创建SSL CA证书,详情参考 https://blog.csdn.net/scuyxi/article/details/54898870 ,或自行百度) CA 证书下载地址:https://curl.haxx.se/docs/caextract.html 页面去选择下载 或:https://curl.haxx.se/ca/cacert.pem 2.在PHP安装目录下新建一个文件夹cacert 来存放CA证书 修改php.ini配置 启用op

前言: 原文地址: http://www.cnblogs.com/JimmyBright/p/7156085.html 前面在配置完成Solr服务之后,在浏览器上可以打开Solr的管理界面,这个界面几乎包含了Solr的所有功能,如何反应到我们的PHP里边呢?很多人或许查到需要再安装一个php-solr-client,用于php和java的solr服务器通信,研究了半天没弄明白怎么做,反正是很麻烦而且似乎很多余. 1:思路: 注意看Solr的管理界面上,你或许有以下发现. 上面框框中有一个url地

ref和out都是C#中的关键字,所实现的功能也差不多,都是指定一个参数按照引用传递.对于编译后的程序而言,它们之间没有任何区别,也就是说它们只有语法区别.总结起来,他们有如下语法区别: 1.ref传进去的参数必须在调用前初始化,out不必,即:int i;SomeMethod( ref i );//语法错误SomeMethod( out i );//通过2.ref传进去的参数在函数内部可以直接使用,而out不可:public void SomeMethod(ref int i){int j=i

做统计相关系统的朋友一定都会学习过什么正态分布.方差.标准差之类的概念,在 PHP 中,也有相应的扩展函数是专门为这些统计相关的功能所开发的.我们今天要学习的 stats 扩展函数库就是这类操作函数.当然,本身我并没有做过什么类似的系统,对这些概念也是一知半解,所以今天学习的内容也只是基于个人的理解以及原来稍微接触过的一些内容.不过据说 Python 在这方面就相对来说会更加强大一些,毕竟是万能胶水语言,而且也是在统计领域获得成功之后才慢慢被大众接受的一门语言,有兴趣的同学可以自己研究一下. s

对于数学计算来说,最常见的其实还是我们使用各种操作符的操作,比如说 +加.-减 之类的.当然,PHP 中也为我们提供了一些可以方便地进行其他数学运算的操作函数.这些函数都属于 Math 扩展.这个扩展是默认包含在 PHP 源码中的,不需要额外的安装,也不需要在编译的时候有什么特别的参数,都是直接可以使用的. 常见数学函数 首先,我们来看看比较常见的数学函数. var_dump(abs(-12)); // int(12) var_dump(abs("-12.22")); // float

对于各类开发语言来说,整数都有一个最大的位数,如果超过位数就无法显示或者操作了.其实,这也是一种精度越界之后产生的精度丢失问题.在我们的 PHP 代码中,最大的整数非常大,我们可以通过 PHP_INT_MAX 来查看.不过,当整数超过一定的位数之后,就会使用科学计数法来显示了,这个可不是我们想要的结果.别着急,GMP 扩展就是专门用来应对这种情况的. GMP 扩展是随 PHP 源码包一起发布的,在安装扩展之前需要系统环境中先安装 gmp-devel ,在 CentOS 中直接 yun insta

今天来学习的是关于数学方面的第一个扩展.对于数学操作来说,无非就是那些各种各样的数学运算,当然,整个程序软件的开发过程中,数学运算也是最基础最根本的东西之一.不管你是学得什么专业,到最后基本上都会要学习数据结构与算法,而算法其实就是研究的如何利用数学来优化各种排序和查找能力.PHP 在底层已经帮我们准备好了很多的数学计算函数,就让我们一一来学习吧. 什么是精度问题 关于精度问题,可能很多做过金融方面的小伙伴都不会陌生.特别是前端的同学,如果你在 js 中执行 1.1+2.2 ,获得的结果往往不会

对于邮件处理来说,大家比较熟悉的应该是 POP3 . SMTP 这类的协议,而今天我们介绍的 IMAP 其实也是非常常用的一种邮件处理协议.它和 POP3 比较类似,都是以接收处理邮件为主.不过相对于 POP3 来说,IMAP 在本地的操作都会直接同步到线上的邮件服务器, POP3 一般不会直接地进行同步,这就是它们两个最大的区别.关于这些邮件协议的具体内容,如果还有不太了解的同学,可以多在网上查阅相关的资料. 不管是 IMAP 还是 POP3 ,与 SMTP 配合后都能非常简单地实现一个邮件客

上篇文章我们已经学习了 GraphicsMagick 中的许多函数,也说过 GraphicsMagick 是 ImageMagick 的一个分支,所以他们很多的函数都是一样的使用方式和效果,相似的内容我们也就不再多说了,感兴趣的朋友可以直接查阅官方文档. 这篇文章我们要学习的是一个具体的案例,也是我在实际业务开发中所接触过的一个案例.具体的效果就是对于微信小游戏和小程序来说,不能直接地使用动态 Gif 图片,一张 Gif 图片在小游戏或小程序中是不会动的.所以在我们公司的游戏开发中,需要一张将整

在 PHP 的图像处理领域,要说最出名的 GD 库为什么好,那就是因为它不需要额外安装的别的什么图像处理工具,而且是随 PHP 源码一起发布的,只需要在安装 PHP 的时候添加上编译参数就可以了. GD 库虽然已经可以帮助我们处理很多事情了,比如图片的简单绘制.加水印.缩放等,但业务需求往往更加的多样和丰富,比如我们今天需要像 PS 一样能够让图片翻转.模糊之类的功能,仅靠 GD 库就非常麻烦了. 当然,可能有不少的同学应该用过 ImageMagick ,不过我们今天先来介绍的可不是 Image

上篇文章我们已经学习了一个 GD 库的应用,那就是非常常用的制作验证码的功能.不过在现实的业务开发中,这种简单的验证码已经使用得不多了,大家会制作出更加复杂的验证码来使用.毕竟现在的各种外挂软件已经能够轻松地破解这种简单的图片验证码了.当然,我们也可以简单地对他进行变形,比如使用中文然后按顺序点击之类的,这些都比较简单地就能实现.更复杂的验证码则推荐使用一些开源的库或者api来实现. 今天,我们将继续学习 GD 库的一些常用的应用.依然是通过一些小例子来进行学习,同样也是我们在日常开发中非常常用

在日常的开发过程中,GD 库最常用的功能就是帮我们对图片进行一些处理,当然,除了处理已有的图片之外,它也可以直接来画图,就像我们最常见的图片验证码.今天的内容主要就是和画图有关,所以最后我们也会做一个非常简单的图片验证码的例子. 创建图片并指定颜色 首先,我们要先创建一个图片的画布.就和 PhotoShop 一样,任何的绘图都要在一张画布下进行. // 创建一个 200X200 的图像 $img = imagecreatetruecolor(200, 200); // 分配颜色 $white =

又到了一个大家非常熟悉的库了,对于图像图形的处理来说,GD 库是 PHPer 们绕不过去的一道坎.从很早很早的 CMS 或者 Discuz 时代,各类开源软件在安装的时候就会明确地指出 GD 库是它们必备的一个扩展.当然,在现在的 PHP 版本中,相信大家也不会在编译的时候忽略掉这个库.不管你是为图片加水印.生成缩略图还是制作验证码图片,都离不开 GD 库的身影. 当然,我们还是由浅入深地学习一些 GD 库中的常用或好玩的函数. 当前环境中的 GD 库信息 首先,我们可以查看下当前 PHP 环境

在我们拍的照片以及各类图像文件中,其实还保存着一些信息是无法直观看到的,比如手机拍照时会有的位置信息,图片的类型.大小等,这些信息就称为 EXIF 信息.一般 JPG . TIFF 这类的图片文件都会有这样的信息.EXIF 其实就是专门为这种数码照片所定制的,专门用于记录数码照片的属性信息和拍摄数据的,最初由日本制定.这个其实很好理解,日本对相机行业基本是垄断般的存在,所以这类的标准当然就是由他们制定啦! EXIF 在 Windows 系统中具有原生的支持,鼠标右键点击图片打开菜单,然后点击属性