本来是想抓取博客园的博客推荐的页面的,但由于一些博客进去的页面格式都不太相同,一时不想花时间去寻找规律,发现CSDN上面的格式较为单一,就决定以CSDN推荐专家的个人博客信息作为爬虫抓取的目标. [首先,查看一下CSDN的推荐专家的页面] [然后再查看一下主页面] 准备用爬虫获取一下几个变量 1.姓名 2.访问量 3.积分 4.等级 5.排名 6.原创 7.转载 8.译文 9.评论 10.链接 11.照片 [工程截图]因为主要用到WebMagic,所有的jar包在WebMagic的git地址,自…

1.环境安装 python -m pip install --upgrade pip pip install bs4 pip install wxpy pip install lxml 2.博客爬取及发送 from bs4 import BeautifulSoup from threading import Timer import requests import traceback from wxpy import * url = '' nIndex = 6 my_groups = None…

            博客配置 服务器:无 配置链接:在博客园中安装皮肤 皮肤:GEEK by GUANGZAN           个人简介 本蒟蒻是广东中山人 如果您有一些问题,请发送邮件至moudengya123@qq.com,本蒟蒻会力所能及解答 监督鸭子--My Tasks 个人信息in Luogu: \(\small\texttt{本}\huge\texttt{人}_{\small\texttt{的}^{\large\texttt{萌新}\small\texttt{QAQ}}}^{…

每天刷开csdn的博客,看到一整个页面,其实对我而言,我只想看看访问量有没有上涨而已... 于是萌生了一个想法: 想写一个爬虫程序把csdn博客上边的访问量和评论数都爬下来. 打算通过网络各种搜集资料,自学写Python代码. 这次自学的历程,也打算及时的整理下来,发布在博客里. /******************这是程序员风格的分割线******************/ 2013.11.3_开工 据说Python并不难,看过了python的代码之后也觉得确实, 代码很清爽,相比起C/C+…

package com.wbg.my.service; import java.io.*; import java.net.HttpURLConnection; import java.net.URL; import java.util.*; import java.util.regex.Matcher; import java.util.regex.Pattern; /** * @author Jack Chen * */ public class BlogUtil { /** * URL_P…

http://www.utubon.com/1495/wordpress-multisite-get-current-bolg-info global $current_blog; 它的返回结果是: stdClass Object ( [blog_id] => 3 [site_id] => 1 [domain] => demo.utubon.com [path] => /neighborhood/ [registered] => 2013-08-01 10:31:03 [la…

scrapy作为流行的python爬虫框架,简单易用,这里简单介绍如何使用该爬虫框架爬取个人博客信息.关于python的安装和scrapy的安装配置请读者自行查阅相关资料,或者也可以关注我后续的内容.   本文使用的python版本为2.7.9  scrapy版本为0.14.3    1.假设我们爬虫的名字为vpoetblog   在命令行下切换到桌面目录,输入startproject scrapy vpoetblog 如下图所示:    命令执行成功后会在桌面生成一个名为vpoetblog的文…

一.博客系统进度回顾 目前已经完成了,前台展示,以及后台发布的功能,最近都在做这个,其实我在国庆的时候就可以弄完的,但是每天自己弄,突然最后国庆2天,连电脑都不想碰,所以就一直拖着,上一篇写了前端实现用到的一些WebUI框架以及一些系统中用到的js插件,其实写了这么久,还是第一次,有人留言,不要烂尾的,感觉还是有点点价值的,至少有人关注. 废话不多说,现在开始上代码. 二.博客系统后台布局实现 2.1.这里所用的是MVC的布局页来实现的,后台主要分为三部分:导航.菜单.主要内容 代码实现: 这里…

转自https://github.com/tangqiaoboy/iOSBlogCN 中文 iOS/Mac 开发博客列表 本博客列表会不断更新维护,如果有推荐的博客,请到此处提交博客信息. 本博客列表涉及的文章内容支持 定制化Google搜索,特别感谢 JeOam 提供并帮助更新. 本博客列表也提供同步更新的OPML文件(下载OPML文件),可供导入到例如feedly等第三方定阅工具中,特别感谢 lcepy 提供自动转换脚本.这里有导入教程. 博客地址 RSS地址 OneV's Den http…

使用Octopress作为我的博客框架有两年了.使用起来一直很顺手,这个工具真正的把博客跟写代码等同起来,非常酷炫.再加上各种各样的定制化,简直是随心所欲.我针对自己的需求对Octopress框架进行了一些定制化,比如编写了一些插件自动将博客同步到博客园,以及部署时将博客部署到亚马逊云的S3上等.这个周末闲着无事,写了一个插件将最新的博客信息推送到LinkedIn的timeline上去. 代码已经放置到了Github上了,地址是https://github.com/huangbowen521/o…