概述

现在爬虫技术算是一个普遍的技术了，各个语言的爬虫百家争鸣，但是根据笔者自己的感觉还是python是主流。爬虫涉及到太多的东西，笔者并不是专业的爬虫工程师，只不过个人兴趣分享一下。由于笔者是php工作，所以就使用php来进行简单爬虫。不过我的方法应该是很通用的，我相信java，C#等肯定有类似的函数，然后做法其实都一样了。

技术准备
看懂这段代码你需要对php的正则表达式函数以及正则表达式有一定的理解。

代码   注意实际代码就这么多

<?php

//这个是你网页正则匹配出来的字符串

$str = '<div class="title">
　　　　<h3><span>[小组] </span>&nbsp;<a href="链接内容1" target="_blank">标签内容1</a></h3>
　　　　<div class="info">
　　　　237059 成员
　　　　</div>
　　　　</div>
　　　　<div class="title">
　　　　<h3><span>[小组] </span>&nbsp;<a href="链接内容2" target="_blank">标签内容2</a></h3>
　　　　<div class="info">
　　　　237059 成员
　　　　</div>
　　　　</div>';

//这个是正则的输出结果

preg_match_all('/<div class="title">[\s\S]*?<h3>[\s\S]*?<a href="(.*?)"[\s\S]*?>(.*?)<\/a>/',$str,$match);

print_r($match);//根据打印的结果很明白了吧

//这个方法就是抓取网页内容的方法了可以吧需要抓取的页面传进去，然后正则匹配内容哦

function getUrlContent($url){//通过url获取html内容

　　$ch = curl_init();
　　curl_setopt($ch,CURLOPT_URL,$url);
　　curl_setopt($ch,CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1 )");
　　curl_setopt($ch,CURLOPT_HEADER,1);
　　curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
　　$output = curl_exec($ch);
　　curl_close($ch);
　　return $output;
}
?>

到这里就可以匹配你想要的数据了，如果还是不懂，就继续往下瞅瞅
流程图

简单的爬虫，特殊字符处理就不进行了，保证插入数据库不出错就行了

思路
首先getUrlContent($url)函数，只需要穿一个url地址就行了，当然了因为各个网站都有反扒机制，不过笔者的这个函数并不是万能的，但是在豆瓣测试过，其他网站大家自行测试了。
任何网站都可以理解为一个很长的字符串，如果对html有研究无非就是:
<html>

　　<head>XXX</head>
　　<body>XXX</body>
</html>
我们需要的只是将body标签里的东西拿出来，笔者模拟了一段body里的代码

<html>
   <head>XXX</head>
   <body>
   <div class="title">
   <h3><span>[小组] </span>&nbsp;<a href="链接内容1" target="_blank">标签内容1</a></h3>
   <div class="info">
   237059 成员
   </div>
   </div>
   <div class="title">
   <h3><span>[小组] </span>&nbsp;<a href="链接内容2" target="_blank">标签内容2</a></h3>
   <div class="info">
   237059 成员
   </div>
   </div>
   </body>
</html>
对于这段代码，可以理解为一个很长的字符串

$str = '<html>
     <head>XXX</head>
　 <body>
　　<div class="title">
　　<h3><span>[小组] </span>&nbsp;<a href="链接内容1" target="_blank">标签内容1</a></h3>
　　<div class="info">
　　237059 成员
　　</div>
　　</div>
　　<div class="title">
　　<h3><span>[小组] </span>&nbsp;<a href="链接内容2" target="_blank">标签内容2</a></h3>
　　<div class="info">
　　237059 成员
　　</div>
　　</div>
　　</body>
</html>';

对这段字符串，只需要进行正则匹配拿出你想要的，假如需要a标签里的href与内容

preg_match_all('/<div class="title">[\s\S]*?<h3>[\s\S]*?<a href="(.*?)"[\s\S]*?>(.*?)<\/a>/',
$str,$match);

然后如果你不认识这段正则表达式还有preg_match_all函数，这里笔者就简单说下了，[\s\S]*?代表懒惰匹配任意字符，因为标签之间会用空格符换行符，这里又出现新问题什么叫懒惰匹配，简单来说就是匹配最少的内容。(.*?)代表非空字符，加括号的原因简单来说就是括号里的内容是你想要的，前面的[\s\S]*?匹配到的是一堆特殊符号，并没有什么作用，你不用把特殊符号记录下来，所以不加括号。

最后打印结果，也就是$match数组。

Array
(
[0] => Array
(
　　[0] => <div class="title">
　　　　<h3><span>[小组] </span>&nbsp;<a href="链接内容1" target="_blank">标签内容1</a>
　　[1] => <div class="title">
　　　　<h3><span>[小组] </span>&nbsp;<a href="链接内容2" target="_blank">标签内容2</a>
)

[1] => Array
(
　　[0] => 链接内容1
　　[1] => 链接内容2
)

[2] => Array
(
　　[0] => 标签内容1
　　[1] => 标签内容2
)

)
根据这个数组，需要什么自己遍历数组，然后拼装sql语句，插入到自己的数据库中即可。但是插入过程中可能会有一些单引号双引号捣乱，所以你用str_replace（）把他们替换掉，或者加转义符号。

总结
只是针对php进行的简单爬虫，不过爬虫的思路我相信很多种语言都用得到。不过很多网站的内容是通过js返回的，或者需要登陆才能获取到数据，这些比较高级的部分，有兴趣的推荐自学python爬虫。

本文转载自https://blog.csdn.net/qq_35370923/article/details/82901220

php 爬虫采集的更多相关文章

  1. python爬虫采集

    python爬虫采集 最近有个项目需要采集一些网站网页,以前都是用php来做,但现在十分流行用python做采集,研究了一些做一下记录. 采集数据的根本是要获取一个网页的内容,再根据内容筛选出需要的数 ...

  2. 利用Python网络爬虫采集天气网的实时信息—BeautifulSoup选择器

    相信小伙伴们都知道今冬以来范围最广.持续时间最长.影响最重的一场低温雨雪冰冻天气过程正在进行中.预计,今天安徽.江苏.浙江.湖北.湖南等地有暴雪,局地大暴雪,新增积雪深度4-8厘米,局地可达10-20 ...

  3. 基于Python爬虫采集天气网实时信息

      相信小伙伴们都知道今冬以来范围最广.持续时间最长.影响最重的一场低温雨雪冰冻天气过程正在进行中.预计,今天安徽.江苏.浙江.湖北.湖南等地有暴雪,局地大暴雪,新增积雪深度4-8厘米,局地可达10- ...

  4. 抖音爬虫教程，python爬虫采集反爬策略

    一.爬虫与反爬简介 爬虫就是我们利用某种程序代替人工批量读取.获取网站上的资料信息.而反爬则是跟爬虫的对立面,是竭尽全力阻止非人为的采集网站信息,二者相生相克,水火不容,到目前为止大部分的网站都还是可 ...

  5. 去除爬虫采集到的\xa0、\u3000等字符

    \xa0表示不间断空白符,爬虫中遇到它的概率不可谓不小,而经常和它一同出现的还有\u3000.\u2800.\t等Unicode字符串.单从对\xa0.\t.\u3000等含空白字符的处理来说,有以下 ...

  6. python爬虫采集网站数据

    1.准备工作: 1.1安装requests: cmd >> pip install requests 1.2 安装lxml: cmd >>  pip install lxml ...

  7. python爬虫-采集英语翻译

      http://fanyi.baidu.com/?aldtype=85#en/zh/drughttp://fanyi.baidu.com/?aldtype=85#en/zh/cathttp://fa ...

  8. 编写python爬虫采集彩票网站数据，将数据写入mongodb数据库

    1.准备工作: 1.1安装requests: cmd >> pip install requests 1.2 安装lxml: cmd >>  pip install lxml ...

  9. Python爬虫——城市公交、地铁站点和线路数据采集

    本篇博文为博主原创,转载请注明. 城市公交.地铁数据反映了城市的公共交通,研究该数据可以挖掘城市的交通结构.路网规划.公交选址等.但是,这类数据往往掌握在特定部门中,很难获取.互联网地图上有大量的信息 ...

随机推荐

  1. 开源堡垒机jumpserver

    开源堡垒机jumpserver 开源堡垒机jumpserver的安装 开源堡垒机jumpserver的配置和使用

  2. 【转】Android WiFi 经常掉线出现的几个原因分析！

    原因1．从Log分析来看,这个是由于Dhcp request fail 导致最终disconnect . Log 分析如下: 16:53:31.659 958 6525 D NetUtils: dhc ...

  3. Angular 从入坑到挖坑 - 组件食用指南

    一.Overview angular 入坑记录的笔记第二篇,介绍组件中的相关概念,以及如何在 angular 中通过使用组件来完成系统功能的实现 对应官方文档地址: 显示数据 模板语法 用户输入 组件 ...

  4. ResNet详解与分析

    目录 Resnet要解决的是什么问题 Residual Block的设计 ResNet 网络结构 error surface对比 Residual Block的分析与改进 小结 参考 博客:博客园 | ...

  5. 国产安全自主可控IT智能运维管理解决方案

    新一轮科技革命和产业变革席卷全球,大数据.云计算.物联网.人工智能.区块链等新技术不断涌现,数字经济正深刻地改变着人类的生产和生活方式,作为经济增长新动能的作用日益凸显.伴随增长的,还有网络中不断涌现 ...

  6. tomcat+memcached+nginx部署文档（附完整部署包直接运行即可）

    1 前言 1.1 目的 为了正确的部署“ngix+memcached”特编写此部署手册,使安装人员可以通过部署手册知道如何部署系统,也为需要安装该系统的安装人员正确.快速的部署本系统提供帮助. 1.2 ...

  7. 【WPF学习】第四十九章 基本动画

    在前一章已经学习过WPF动画的第一条规则——每个动画依赖于一个依赖项属性.然而,还有另一个限制.为了实现属性的动态化(换句话说,使用基于时间的方式改变属性的值),需要有支持相应数据类型的动画类.例如, ...

  8. pyHamcrest

    概念 Hamcrest是用于编写匹配器对象的框架.他提供了一套匹配符Matcher,这些匹配符更接近自然语言,可读性高,更加灵活.Hamcrest还有很好的可扩展性,能够创建自定义的匹配器. 支持语言 ...

  9. 字符串转数字 (With C++)

    1.stoi().stof().stod() 实现字符串转 int.float.double. stoi -> string to integer stof -> string to fl ...

  10. Mumbai:1 Vulnhub Walkthrough

    靶机地址: https://www.vulnhub.com/entry/mumbai-1,372/ 主机探测: 主机端口扫描: FTP 下载Note文件 TODO: Move these multip ...