说起爬虫，大家第一印象就是想到了python来做爬虫。其实，服务端语言好些都可以来实现这个东东。

在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。

我们可以通过erlang 来实现这样一个简单的爬虫功能。下面就看看如何使用erlang来实现这样一个功能。

网上很多python有做爬取图片的，这里，我也拿这个开刀，用erlang做个爬取图片的简单功能。

需要爬取网页地址：https://tieba.baidu.com/p/2460150866?red_tag=1460270922

分析下爬虫功能的点：

1）通过已知的URL，做http数据请求（http/https  request）；

2）根据获取数据，<html>.....</html>标签，提取数据（规则抽象，提取，获取数据），正则表达式（或匹配，递归）；

3）处理结果集，落地（写文件，sql/nosql等）。

好了，大概思路有了，先不考虑分布式爬虫，只是做个简单的demo，之后可考虑多节点多进程的spider。

-module(http).

-compile(export_all).

start() ->

    % application:start(inets),

    % application:start(crypto),

    % application:start(asn1), %一定要的

    % application:start(public_key),  %一定要的

    % application:start(ssl),  %一定要的

    inets:start(),

    ssl:start(),

    {ok,{_,_,Body}} = httpc:request("https://tieba.baidu.com/p/2460150866?red_tag=1460270922"),

    io:format("~ts",[unicode:characters_to_binary([Body])]),

    %匹配HTML标记的正则表达式

    {match, Res1}  = re:run(Body, "<img (.*?) src=\"(.+?)\".*?>",[{capture,first,list},global]),

    {match, Res}  = re:run(Body, "<img src=\"([^\"]*?)\">",[{capture,first,list},global]).

后面，遍历列表中的值，依次请求下载图片，下载图片的方式也很多， 请参考我的另一篇博客：https://www.cnblogs.com/unqiang/p/4595491.html

通过 ibrowse （erlang的client）下载，最初的inets的请求，也可在ibrower中直接请求处理即可。

未写完 待续。。。。

erlang 爬虫——爬取网页图片的更多相关文章

  1. node：爬虫爬取网页图片

    代码地址如下:http://www.demodashi.com/demo/13845.html 前言 周末自己在家闲着没事,刷着微信,玩着手机,发现自己的微信头像该换了,就去网上找了一下头像,看着图片 ...

  2. Python多线程爬虫爬取网页图片

    临近期末考试,但是根本不想复习!啊啊啊啊啊啊啊!!!! 于是做了一个爬虫,网址为 https://yande.re,网页图片为动漫美图(图片带点颜色........宅男福利 github项目地址为:h ...

  3. Python爬虫爬取网页图片

    没想到python是如此强大,令人着迷,以前看见图片总是一张一张复制粘贴,现在好了,学会python就可以用程序将一张张图片,保存下来. 今天逛贴吧看见好多美图,可是图片有点多,不想一张一张地复制粘贴 ...

  4. java爬虫-简单爬取网页图片

    刚刚接触到“爬虫”这个词的时候是在大一,那时候什么都不明白,但知道了百度.谷歌他们的搜索引擎就是个爬虫. 现在大二.再次燃起对爬虫的热爱,查阅资料,知道常用java.python语言编程,这次我选择了 ...

  5. python3爬虫爬取网页思路及常见问题（原创）

    学习爬虫有一段时间了,对遇到的一些问题进行一下总结. 爬虫流程可大致分为:请求网页(request),获取响应(response),解析(parse),保存(save). 下面分别说下这几个过程中可以 ...

  6. python requests库爬取网页小实例：爬取网页图片

    爬取网页图片: #网络图片爬取 import requests import os root="C://Users//Lenovo//Desktop//" #以原文件名作为保存的文 ...

  7. Python3简单爬虫抓取网页图片

    现在网上有很多python2写的爬虫抓取网页图片的实例,但不适用新手(新手都使用python3环境,不兼容python2), 所以我用Python3的语法写了一个简单抓取网页图片的实例,希望能够帮助到 ...

  8. python爬虫-爬取百度图片

    python爬虫-爬取百度图片(转) #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:16# 文件 :spider ...

  9. 利用Python爬取网页图片

    最近几天,研究了一下一直很好奇的爬虫算法.这里写一下最近几天的点点心得.下面进入正文: 你可能需要的工作环境: Python 3.6官网下载 我们这里以sogou作为爬取的对象. 首先我们进入搜狗图片 ...

随机推荐

  1. 洛谷 P4538 收集邮票

    题目描述 有n种不同的邮票,皮皮想收集所有种类的邮票.唯一的收集方法是到同学凡凡那里购买,每次只能买一张,并且买到的邮票究竟是n种邮票中的哪一种是等概率的,概率均为1/n.但是由于凡凡也很喜欢邮票,所 ...

  2. OVF? OVA? VMDK? – File Formats and Tools for Virtualization

    I recently worked on a project to create a “virtual appliance” for one of our customers. They have a ...

  3. 了解RxJava以及如何在Android应用中使用它

    如果你在阅读这篇文章,相信你一定很想了解RxJava以及如何在Android应用中使用它.可能你已经见过RxJava的代码了,但仍然有些疑惑,愿你能在这篇文章里找到答案. 当我第一次使用RxJava的 ...

  4. Chrome的Waterfall

    参考: 1.https://developers.google.com/web/tools/chrome-devtools/network-performance/reference#timing 2 ...

  5. GTK+重拾--09 GTK+中的组件（一）

    (一):写在前面 在这篇文章中主要介绍了GTK+程序中的各种构件,这是解说构件的第一个部分,另外一部分将在下一个小节中讲到. 构件是建立一个GUI程序的基础.在GTK+的长期发展过程中.一些特定的构件 ...

  6. 访问php程序无法解析，排查步骤

    1.安装lamp后,php程序没有被解析 (1) apachectl -M 看是否加载了libphp5.so ,apachectl -M 这个命令查看动态libphp5.so的是否由apache加载 ...

  7. [ACM] POJ 1035 Spell checker (单词查找，删除替换添加不论什么一个字母）

    Spell checker Time Limit: 2000MS   Memory Limit: 65536K Total Submissions: 18693   Accepted: 6844 De ...

  8. 修改PHP上传文件的大小限制(post)

    在PHP的默认配置情况下,当上传的文件大小超出一定的限制时,我们将得到如下的错误提示信息: Warning: POST Content-Length of 625523488 bytes exceed ...

  9. C++ 利用文件流复制文件

    bool CopyFile(const std::string &src, const std::string &dest) { std::ifstream fin(src.c_str ...

  10. XML的基本用法(转)

    一.概述 XML全称为可扩展的标记语言.主要用于描述数据和用作配置文件. XML文档在逻辑上主要由一下5个部分组成: XML声明:指明所用XML的版本.文档的编码.文档的独立性信息 文档类型声明:指出 ...