php简单的爬虫

爬虫的原理是分析下载的页面，找出其中的连接，然后再下载这些链接，对链接再进行更深层次的递归，周而复始。在数据存储方面，先存储到redis里面，再有redis 写入到mysql,这样可以减轻mysql写入的压力。只是一个简单php脚本。并没有使用多线程。

我抓取的是糗事百科的用户数据

使用curl扩展

    static function curlGet($url_list, $method, $param = array()) {
        $cookie = self::setCookie(self::$cookie);
        $url_info = $url_list;
        $ch = curl_init($url_info);
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_setopt($ch, CURLOPT_COOKIE, $cookie);
        curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER[' HTTP_USER_AGENT']);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($ch, CURLOPT_TIMEOUT, 10);
        if ($method === 'POST') {
            curl_setopt($ch, CURLOPT_POST, true);
            curl_setopt($ch, CURLOPT_POSTFIELDS, $param);
        }
        $result = curl_exec($ch);
        curl_close($ch);
        return $result;
    }

 

 redis

 

      public static function getInstance() {
        if (NULL == self::$_instance) {
            $redis = new Redis();
            $redis->connect('127.0.0.1', 6379);
            return self::$_instance = $redis;
        }
        return self::$_instance;
    }

 

mysql

 

    public static function getInstance() {
        if (null == self::$instance) {
            $mysql = mysql_connect('127.0.0.1', 'root', '*****');
            return self::$instance = $mysql;
        }
        return self::$instance;
    }

 

主要的是抓取的图片，因为我在图片上能找到用户名，用户ＩＤ，用户头像图片地址，不晓得为啥糗百这样生用户图片，如下

 

匹配图片的正则有很多，我使用：<img.*?(?:>|\/>)

 

<img alt="淡雅书香" src="http://pic.qiushibaike.com/system/avtnew/3155/31557801/thumb/2016090711055677.JPEG">

 

分析

图片自带用户名称， 连接有http://pic.qiushibaike.com/system/avtnew/ + 用户ＩＤ前四位+ 用户ＩＤ

 

 

对找到数据 写入 redis,用的是crontab 脚本 每10分钟执行一次抓取

 

*/10 * * * * curl  + URL

 

写入数据库作业也是有脚本完成的

 

*/5 * * * * curl + url