perl 爬取csdn
<pre name="code" class="python">use LWP::UserAgent;
use POSIX;
use HTML::TreeBuilder::XPath;
use DBI;
use Encode;
use utf8;
use HTML::TreeBuilder;
open DATAFH,">csdn.html" || die "open csdn file failed:$!";
my $ua = LWP::UserAgent->new;
$ua->timeout(10);
$ua->env_proxy;
$ua->agent("Mozilla/8.0");
$base_dir='/root/lwp';
my $response = $ua->get('http://blog.csdn.net/zhaoyangjian724'); if ($response->is_success) {
print DATAFH $response->decoded_content; # or whatever
# print $response->decoded_content; # or whatever
use HTML::TreeBuilder::XPath;
my $tree= HTML::TreeBuilder::XPath->new;
$tree->parse_file( "csdn.html");
## 按link_view
###获取每个类别的url
@Links = $tree->find_by_tag_name('a');
foreach (@Links) {
$href = $_->attr('href');
###获取每个类别的url
if ($href =~/category/){print "\$href is $href\n";
push (@href,$href);
}; };
#@href 是所有类别url的汇总
print "\@href is @href\n"; #@type 是类别名称汇总
my @type=$tree->findvalues( '/html/body//ul[@class="panel_body"]/li/a');
print "\@type is @type\n";
my $length=@href;
@tmp="";
for ($i=0;$i<$length;$i++){print "$href[$i]===$type[$i]\n";
push (@tmp,$type[$i])};
##此时@tmp表示Oracle dump解析 类别开始到监控平台项目结束
shift @tmp;
@type=@tmp;
print "\@type is @type\n";
#循环类别开始
for ($i=0;$i<=@type - 1; $i++){
print "\$type is $type\n";
#next unless ($type[$i]) ;
if (! -d "$type[$i]"){
mkdir $type[$i];
};
chdir "$base_dir/$type[$i]";
system(pwd);
sleep (5);
##进入每个分类版块url my $pageString;
my $response = $ua->get("http://blog.csdn.net$href[$i]");
##每个版块首页url
print "\$href[$i] is $href[$i]\n";
##fh1.html每个版块首页url
open fh1,">fh1.html" || die "open csdn file failed:$!";
print fh1 $response->decoded_content;
close fh1;
my $tree= HTML::TreeBuilder::XPath->new;
$tree->parse_file( "fh1.html");
##获取每个版块的页码数 这个方法有问题,这里是数组$_ is 150条数据 共8页
my @pageString = $tree->findvalues('/html/body//div[@id="papelist"]/span');
if ($pageString[0]){ if ($pageString[0] =~ /.*\s+.*?(\d+).*/){$pageString=$1}; };
print "\@pageString is @pageString\n;";
##获取$pageString
sleep (5);
unless ($pageString){$pageString=1};
print "\$pageString is $pageString\n";
sleep(5);
##进入每页,处理url
for ($j=1;$j<=$pageString + 0; $j++){
##每个类别对应的url
my $url="http://blog.csdn.net$href[$i]/$j";
print "\$url is $url\n";
my $response = $ua->get("$url");
##fh2 每页url
open fh2,">fh2.html" || die "open csdn file failed:$!";
print fh2 $response->decoded_content;
close fh2;
#获取每页都多少条标题
my @pageTitles="";
my $tree= HTML::TreeBuilder::XPath->new;
$tree->parse_file( "fh2.html");
#获取标题,这里会拿到除了该类别下文章外,
my @pageTitles = $tree->findvalues('/html/body//span[@class="link_title"]');
print "\$pageTitles[0] is $pageTitles[0]\n";
print "\@pageTitles is @pageTitles\n";
sleep (10); ##获取标题连接url
my $tree= HTML::TreeBuilder::XPath->new;
$tree->parse_file( "fh2.html");
@titleLinks="";
@titleLinks=$tree->find_by_tag_name('a');
@urlall="";
@urltmp="";
#@urlall除了包含每个类别的文章,还包含阅读排行里的文章
foreach (@titleLinks) {
@titleHref = $_->attr('href');
foreach (@titleHref) {
###获取版块中每个页面的url
if ($_ =~/zhaoyangjian724\/article\/details\/(\d+)$/){
unless ($_ ~~ @urlall) { print "\$_=========$_\n";push (@urlall ,$_);}}
};
};
##第一个元素为空 需要去掉
shift @urlall;
print "\@urlall is @urlall\n";
sleep (10);
for ($k=0;$k<=@pageTitles - 1;$k++){
print "\$urlall[$k] is $urlall[$k]\n"; push (@urltmp,$urlall[$k]);
};
@urlall=@urltmp;
shift @urlall; print "\$---urlall[0] is $urlall[0]\n";
sleep (10);
for ($m=0;$m<=@urlall - 1; $m++){
$pageTitles[$m] =~ s/\s+//g;
print "===========================\n";
print "$pageTitles[$m]======$urlall[$m]\n";
print "===========================\n";
open fh3,">$pageTitles[$m].html" || die "open csdn file failed:$!";
my $response = $ua->get("http://blog.csdn.net$urlall[$m]"); print "--------------------------------\n";
print "$urlall[$m]"."\n";
print fh3 $response->decoded_content;
close fh3; # unlink("$pageTitles[$m].html.tmp");
#循环页码结束
}; #循环每个分类的url结束 #循环单个类别结束 } chdir "$base_dir"; }
}
else{print $response->decoded_content;}
perl 爬取csdn的更多相关文章
- [Python学习] 简单爬取CSDN下载资源信息
这是一篇Python爬取CSDN下载资源信息的样例,主要是通过urllib2获取CSDN某个人全部资源的资源URL.资源名称.下载次数.分数等信息.写这篇文章的原因是我想获取自己的资源全部的评论信息. ...
- Python爬取CSDN博客文章
0 url :http://blog.csdn.net/youyou1543724847/article/details/52818339Redis一点基础的东西目录 1.基础底层数据结构 2.win ...
- Java爬虫实践--爬取CSDN网站图片为例
实现的效果,自动在工程下创建Pictures文件夹,根据网站URL爬取图片,层层获取.在Pictures下以网站的层级URL命名文件夹,用来装该层URL下的图片.同时将文件名,路径,URL插入数据库, ...
- Python 2.7_爬取CSDN单页面博客文章及url(二)_xpath提取_20170118
上次用的是正则匹配文章title 和文章url,因为最近在看Scrapy框架爬虫 需要了解xpath语法 学习了下拿这个例子练手 1.爬取的单页面还是这个rooturl:http://blog.csd ...
- Python 2.7_爬取CSDN单页面利用正则提取博客文章及url_20170114
年前有点忙,没来的及更博,最近看爬虫正则的部分 巩固下 1.爬取的单页面:http://blog.csdn.net/column/details/why-bug.html 2.过程 解析url获得网站 ...
- 信息领域热词分析系统--java爬取CSDN中文章标题即链接
package zuoye1; import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.SQLExce ...
- 开发记录_自学Python写爬虫程序爬取csdn个人博客信息
每天刷开csdn的博客,看到一整个页面,其实对我而言,我只想看看访问量有没有上涨而已... 于是萌生了一个想法: 想写一个爬虫程序把csdn博客上边的访问量和评论数都爬下来. 打算通过网络各种搜集资料 ...
- 看我怎么扒掉CSDN首页的底裤(python selenium+phantomjs爬取CSDN首页内容)
这里只是学习一下动态加载页面内容的抓取,并不适用于所有的页面. 使用到的工具就是python selenium和phantomjs,另外调试的时候还用了firefox的geckodriver.exe. ...
- Perl爬取江西失信执行
#! /usr/bin/perl use strict; use Encode qw(encode decode); binmode(STDIN,":encoding(utf8)" ...
随机推荐
- cf448A Rewards
A. Rewards time limit per test 1 second memory limit per test 256 megabytes input standard input out ...
- tcp 状态示码 及 三次握手
TCP的几个状态对于我们分析所起的作用. 在TCP层,有个FLAGS字段,这个字段有以下几个标识:SYN, FIN, ACK, PSH, RST, URG. 其中,对于我们日常的分析有用的就是前面的五 ...
- 沙湖王 | 用Scipy实现K-means聚类算法
沙湖王 | 用Scipy实现K-means聚类算法 用Scipy实现K-means聚类算法
- Uboot与Linux之间的参数传递
U-boot会给Linux Kernel传递很多参数,如:串口,RAM,videofb等.而Linux kernel也会读取和处理这些参数.两者之间通过struct tag来传递参数. U-boot把 ...
- 判断包含字符String.contains
Java String.contains()方法用法实例教程, 返回true,当且仅当此字符串包含指定的char值序列 java.lang.String.contains() 方法返回true,当且仅 ...
- java二维码开发
之前就写过很多关于二维码的东西,一直没有时间整理一下,所以呢今天就先来介绍一下如何利用java开发二维码.生成二维码有很多jar包可以实现,例如Zxing,QRcode,前者是谷歌的,后者日本的,这里 ...
- Kafka在Linux环境下搭建过程
准备工作 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群.由于我们之前的分布式系统中已经安装zookeeper服务,这里不进行zookeeper安装教程以及应用教 ...
- Dynamics CRM2013 missing prvReadComplexControl privilege
左右ComplexControl 权限设置,SDK例如,在以下的说明,仅供内部使用的实体,但是你可以没有找到这个叫配置安全角色ComplexControl的东西的. 在msdn上面查下就会发现这么一段 ...
- Firebase远程更新应用
能打造出色的应用不意味着一定能在商业上取得成功,两者之间还有许多工作要做,绝不能简单发布应用后就宣告“收工”.您需要能迅速根据用户反馈作出调整.测试新功能,以及向用户提供他们最关注的内容. Fireb ...
- 【SQL学习笔记】排名开窗函数,聚合开窗函数(Over by)
处理一些分组后,该组按照某列排序后 ,取其中某条完整数据的问题. 或 按照其中不同列分组后的聚合 比如 sum,avg之类. MSDN上语法: Ranking Window Functions < ...