<pre name="code" class="python">use  LWP::UserAgent;

use utf8;

use DBI;

use POSIX;

use Data::Dumper;

use HTML::TreeBuilder;

  use HTML::TreeBuilder::XPath;

my $ua = LWP::UserAgent->new;

$ua->timeout(10);

$ua->env_proxy;

$ua->agent("Mozilla/8.0");

#my $response = $ua->get('http://data.10jqka.com.cn/financial/yjyg/date/2016-12-31/board/ALL/field/enddate/order/desc/page/1/ajax/1/');

#my $response = $ua->get('http://data.10jqka.com.cn/financial/yjyg/');

my @array=('2016-12-31','2016-03-31','2015-12-31','2015-09-30','2015-06-30','2015-03-31','2014-12-31','2014-09-30','2014-03-31');

foreach (@array){

print "\$_ is $_\n";

my $url="http://data.10jqka.com.cn/financial/yjyg/date/$_/board/ALL/field/enddate/order/desc/page/1/ajax/1/";

print "\$url is $url\n";

my $response = $ua->get($url);

if ($response->is_success) {

open DATAFH,">data.html" || die "open data file failed:$!";

print DATAFH "<html>";

print 	DATAFH "\n";

print DATAFH  $response->decoded_content;  # or whatever

print DATAFH "</html>";

print DATAFH "\n";

};

close DATAFH;

unlink("ths.html");

system('cp data.html ths.html');

$tree= HTML::TreeBuilder::XPath->new;

$tree->parse_file( "ths.html");

my $title="$_";

#my $title=  $tree->findvalue('/html/body//span[@class="text-value"]');

print "\$title is $title\n";

my @pages="";

my @titlepage="";

$max="";

my    @pages=$tree->find_by_tag_name('a');

print "\@pages is @pages\n";

                      #@urlall除了包含每个类别的文章,还包含阅读排行里的文章

                      foreach (@pages) {

                                               @titlepage = $_->attr('page');

                                               foreach (@titlepage) {

                                                 if ($_){

                                                 if ( $_ > $max ){

                                                   $max=$_;

							};				   ###获取版块中每个页面的url

                                                     };

                                           };

};

unless ($max){$max=1};

print "\$max is $max\n";

sleep (5);

for ($m=1;$m<=$max; $m++){

my $url="http://data.10jqka.com.cn/financial/yjyg/date/$_/board/ALL/field/enddate/order/desc/page/$m/ajax/1/";

my $response = $ua->get("$url");

if ($response->is_success) {

open DATAFH,">data.html" || die "open data file failed:$!";

print DATAFH "<html>";

print   DATAFH "\n";

print DATAFH  $response->decoded_content;  # or whatever

print DATAFH "</html>";

print DATAFH "\n";

close DATATH;

};

unlink("ths.html");

system('cp data.html ths.html');

$tree= HTML::TreeBuilder::XPath->new;

$tree->parse_file( "ths.html");

my @arr1= $tree->find_by_tag_name("tr") ;

#shift @arr1;

foreach my $row ( @arr1) {

   my @arr2= $row->content_list;

    my $str1= $arr2[0]->as_text;

    my $str2= $arr2[1]->as_text;

    my $str3= $arr2[2]->as_text;

    my $str4= $arr2[3]->as_text;

    my $str5= $arr2[4]->as_text;

    my $str6= $arr2[5]->as_text;

    my $str7= $arr2[6]->as_text;

    my $str8= $arr2[7]->as_text;

    print $str1, $str2, $str3, $str4, $str5, $str6, $str7,$str8."\n";

   open( E, ">>", "$title-$m.txt" );

      print E ($str1."|".$str2."|".$str3."|".$str4."|".$str5."|".$str6."|".$str7."|".$str8."\n");

      close E; 

                  }

    }

} 
												


											
perl 爬取上市公司业绩预告的更多相关文章
	

    
								
  1. Perl爬取江西失信执行
		
    #! /usr/bin/perl use strict; use Encode qw(encode decode); binmode(STDIN,":encoding(utf8)" ...
    
		
    2. 
						
  2. Perl爬取铁路违章旅客信息
		
    #! /usr/bin/perl use strict; use Encode qw(encode decode); binmode(STDIN,":encoding(utf8)" ...
    
		
    3. 
						
  3. perl 爬取某理财网站产品信息
		
    use LWP::UserAgent; use utf8; use DBI; $user="root"; $passwd="xxxxx"; $dbh=" ...
    
		
    4. 
						
  4. perl 爬取数据<1>
		
    use LWP::UserAgent; use POSIX; use DBI; $user="root"; $passwd="11111111"; $dbh=& ...
    
		
    5. 
						
  5. perl 爬取csdn
		
    <pre name="code" class="python">use LWP::UserAgent; use POSIX; use HTML::T ...
    
		
    6. 
						
  6. perl 爬取同花顺数据
		
    use LWP::UserAgent; use utf8; use DBI; $user="root"; $passwd='xxx'; $dbh=""; $db ...
    
		
    7. 
						
  7. Python爬取CSDN博客文章
		
    0 url :http://blog.csdn.net/youyou1543724847/article/details/52818339Redis一点基础的东西目录 1.基础底层数据结构 2.win ...
    
		
    8. 
						
  8. 用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）
		
    简单介绍: WebCollector是一个无须配置.便于二次开发的JAVA爬虫框架(内核),它提供精简的的API.仅仅需少量代码就可以实现一个功能强大的爬虫. 怎样将WebCollector导入项目请 ...
    
		
    9. 
						
  9. Java爬虫_资源网站爬取实战
		
    对 http://bestcbooks.com/  这个网站的书籍进行爬取 (爬取资源分享在结尾) 下面是通过一个URL获得其对应网页源码的方法 传入一个 url  返回其源码 (获得源码后,对源码进 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. [一个经典的多线程同步问题]解决方案二：Event事件
			
    使用关键段来解决经典的多线程同步互斥问题,由于关键段的“线程所有权”特性所以关键段只能用于线程的互斥而不能用于同步.本篇介绍用事件Event来尝试解决这个线程同步问题. 首先介绍下如何使用事件.事件E ...
    
			
    2. 
						
  2. Git 系列（二）：初步了解 Git
			
    在这个系列的介绍篇中,我们学习到了谁应该使用 Git,以及 Git 是用来做什么的.今天,我们将学习如何克隆公共 Git 仓库,以及如何提取出独立的文件而不用克隆整个仓库. 由于 Git 如此流行,因 ...
    
			
    3. 
						
  3. GDB调试方法（转）
			
    一:列文件清单 1． List (gdb) list line1,line2 ************************************************************* ...
    
			
    4. 
						
  4. 快速美眉(FastMM)使用手记
			
    今天在SourceForge下到了FastMM (Fast Memory Manager),听说比官方的内存管理快多了,试了一下,果然不错.目前最新的是4.27. 就我的使用范围来说,我就是想看看我的 ...
    
			
    5. 
						
  5. 在windows下进行linux开发：利用Vagrant+virtualbox（ShowDoc与mp3dish的作者）
			
    1,介绍Vagrant 我们做web开发的时候经常要安装各种本地测试环境,比如apache,php,mysql,redis等等.出于个人使用习惯,可能我们还是比较习惯用windows.虽然说在wind ...
    
			
    6. 
						
  6. POJ 2400 最小权匹配
			
    吐槽:首先,这道题的输入居然是错的.要将上下两个矩阵的位置换一下才可以出样例,也就是上面那个矩阵是employee对Supervisor的打分,下面那个矩阵才是Supervisor对employee的 ...
    
			
    7. 
						
  7. padding-top、margin-top和top的区别
			
    padding-top:10px;是指容器内的内容距离容器的顶部有10个像素,是包含在容器内的: margin-top:10px;是指容器本身的顶部距离其他容器有10个像素,不包含在容器内: top: ...
    
			
    8. 
						
  8. 在cmd中输入ls命令出现“ls不是内部或外部命令解决
			
    今天在学习sass查看目录遇到cmd输入ls提示不是内部命令 解决方法: 新建一个ls.bat文件 内容为: @echo off dir
    
			
    9. 
						
  9. 枚举与剪枝_观察算式（比标准答案还要牛B）
			
    观察算式 观察以下的算式: △△△ * △△ = △△△△ 某3位数乘以2位数,结果为4位数 要求:在9个△所代表的数字中.1~9的数字恰好每一个出现1次. 暴力破解代码: package lianx ...
    
			
    10. 
						
  10. HDU 3037 Saving Beans(Lucas定理的直接应用）
			
    解题思路: 直接求C(n+m , m) % p , 由于n , m ,p都非常大,所以要用Lucas定理来解决大组合数取模的问题. #include <string.h> #include ...
    
			
    11.