php 网络爬虫，爬一下花瓣的图片

今天无聊看在知乎上看到有人写网络爬虫爬图片(￣▽ ￣)

传送门：

福利 - 不过百行代码的爬虫爬取美女图：https://zhuanlan.zhihu.com/p/24730075

福利 - 不过十行代码的爬虫爬取美女图：https://zhuanlan.zhihu.com/p/24779556

其实这个是一个nodejs用了一百多行代码和php只要10行代码写的爬虫代码比较(￣▽ ￣)

不过这都不重要，重要的是，我看着无聊，自己又写了一个花瓣的图片爬虫(￣▽ ￣)(￣▽ ￣)

注释都在代码里的，不多说了，直接上代码：

<?php
/**
 * 获取花瓣网图片
 * @param  string  $mixed         查询关键字或直接一个画板id
 * @param  int        $page_limit     要查询几页的，默认只查一页
 * @return void
 */
function getHuabanImgs($mixed, $page_limit=1){
    error_reporting(0);
    set_time_limit(0);

    $board_id        = 0;
    $keyword         = '';
    $max             = '';

    if(is_numeric($mixed))
    {
        $board_id     = $mixed;
    }else
    {
        $keyword      = urlencode($mixed);
    }

    @mkdir('save');

    for ($pageno = 1 ; $pageno <= $page_limit; $pageno ++)
    {
        /*
            你喜欢用curl也行，使用这个花瓣的接口关键点是要在请求头加一个 X-Requested-With:XMLHttpRequest
            如果没有这个X-Requested-With，接口返回的是一个html网页，有的话，就是返回json
        */

        /*$ch     = curl_init();
        curl_setopt($ch, CURLOPT_URL, 'http://huaban.com/search/?q='.$keyword.'&ixsaam0z&page='.$pageno.'&per_page=20&wfl=1');
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_HTTPHEADER, array('Accept:application','X-Request:JSON','X-Requested-With:XMLHttpRequest'));
        $response = curl_exec($ch);
        curl_close($ch);*/

        $context     = stream_context_create(array('http'=>array('method'=>'GET','header'=>"Accept:application\r\nX-Request:JSON\r\nX-Requested-With:XMLHttpRequest\r\n")));

        //按画板id查找
        if($board_id>0)
        {
            $response     = @file_get_contents('http://huaban.com/boards/'.$board_id.'/?&max='.$max.'&limit=20&wfl=1', 'r', $context);
            $arr          = @json_decode($response, true);
            $pins         = $arr['board']['pins'];
        }
        //按关键字查找
        else
        {
            $response     = @file_get_contents('http://huaban.com/search/?q='.$keyword.'&ixsaam0z&page='.$pageno.'&per_page=20&wfl=1', 'r', $context);
            $arr          = @json_decode($response, true);
            $pins         = $arr['pins'];
        }

        if(empty($pins)) break;

        foreach ((array)$pins as $key => $value)
        {
            $type         = str_replace('image/', '', $value['file']['type']);
            if(!$type || $type=='jpeg') $type = 'jpg';

            $max         = $value['pin_id'];

            /*
                花瓣的缩略图链接是这个的：http://img.hb.aicdn.com/c39ac6a698b6d95b823d0840a773bdb7f2cc057216dfd-HkHx3k_fw236
                而大图的链接是这样的：http://img.hb.aicdn.com/c39ac6a698b6d95b823d0840a773bdb7f2cc057216dfd-HkHx3k
                可以看出，其实就是去掉后面的_fw236而已，这里使用 preg_replace 正则去掉这类后缀
            */
            @copy('http://img.hb.aicdn.com/' . preg_replace('/(_[\s\S]+)?/', '', $value['file']['key']), './save/'.$value['file']['id'] . '.' . $type);
        }
    }
}

// getHuabanImgs('向日葵', 2);
getHuabanImgs('13715723', 2);

自己建个 php 文件来测试玩一下吧