import java.io.BufferedInputStream;

import java.io.BufferedReader;

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStreamReader;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.List;

import net.sf.json.JSONArray;

import net.sf.json.JSONObject;

import org.apache.poi.hssf.usermodel.HSSFCell;

import org.apache.poi.hssf.usermodel.HSSFCellStyle;

import org.apache.poi.hssf.usermodel.HSSFRow;

import org.apache.poi.hssf.usermodel.HSSFSheet;

import org.apache.poi.hssf.usermodel.HSSFWorkbook;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

    public class aaaa {

        public static void main(String[] args) {

            aaaa t = new aaaa();

            t.getExl();

        }  

   　　//得到URL数据

        public List<String> getText() throws IOException{

            List<String>Url=new ArrayList<String>();

　　　　//批量导入网址           

　　　　String file = "shop.txt";

             BufferedReader in = new BufferedReader(

                     new InputStreamReader(

                         new BufferedInputStream(

                             new FileInputStream(file)), "gbk"));

                 String str;

                 while((str= in.readLine())!=null){

                     Url.add(str);

                     System.out.println(str);

                 }

                 in.close();

                 return Url;

        }

　　//将抓取的数据组合成json对象

        public List<JSONObject> parseUrl() {

            List<JSONObject>UTL=new ArrayList<JSONObject>();

            try {

                for(String url:getText()){

　　　　　　//将url这个网页解析成一个dom对象

                Document doc = Jsoup.connect(url).get();  

　　　　　　//筛选<a class="mall-icon">的所有对象

                Elements hrefs = doc.select("a.mall-icon");

　　　　　　//遍历改对象数组

                for(Element href:hrefs){

　　　　　　　　//对该对象的元素进行处理,包装成另一个url进行二级网站的数据抓取

                    String number=href.attr("data-uid");

                    String jsonurl="http://rate.taobao.com/ShopService4C.htm?userNumId="+number;

                    System.out.println(jsonurl);

                    Document doc1 = Jsoup.connect(jsonurl).get();

                    Element jsons=doc1.body();

                    JSONObject json=JSONObject.fromObject(jsons.toString().replaceAll("<body>|</body>", "").replace("&quot;", ""));

                    UTL.add(json);

                }

                }

            } catch (IOException e) {

                e.printStackTrace();

            }

            return UTL;

        }  

　　//导出excel表格

      public void  getExl(){

          try

        {

          // 第一步，创建一个webbook，对应一个Excel文件

                HSSFWorkbook wb = new HSSFWorkbook();

                // 第二步，在webbook中添加一个sheet,对应Excel文件中的sheet

                HSSFSheet sheet = wb.createSheet("行业统计");

                // 第三步，在sheet中添加表头第0行,注意老版本poi对Excel的行数列数有限制short

                HSSFRow row = sheet.createRow((int) 0);

                // 第四步，创建单元格，并设置值表头 设置表头居中

                HSSFCellStyle style = wb.createCellStyle();

                style.setAlignment(HSSFCellStyle.ALIGN_CENTER); // 创建一个居中格式

                HSSFCell cell = row.createCell((short) 0);

                cell.setCellValue("URL");

                cell.setCellStyle(style);

                cell = row.createCell((short) 1);

                cell.setCellValue("行业均值");

                cell.setCellStyle(style);

                cell = row.createCell((short) 2);

              cell.setCellValue("本店值");

              cell.setCellStyle(style);

                List<JSONObject>list=parseUrl();

                List<String>url=getText();

                System.out.println(list.size());

                System.out.println(url.size());

                for (int i = 0; i < list.size(); i++)

              {

                  row = sheet.createRow((int) i + 1);

                  JSONObject json=(JSONObject)list.get(i);

                  JSONObject ratRefund=json.optJSONObject("ratRefund");

                  // 第四步，创建单元格，并设置值

                  System.out.println(i);

                  row.createCell((short) 0).setCellValue("淘宝淘宝");

                  row.createCell((short) 1).setCellValue(ratRefund.optString("indVal"));

                  row.createCell((short) 2).setCellValue(ratRefund.optString("localVal"));

            }

            FileOutputStream fout = new FileOutputStream("E:/taobao.xls");

            wb.write(fout);

            fout.close();

        }

        catch (Exception e)

        {

            e.printStackTrace();

        }

      }

    }

利用jsoup爬虫工具，爬取数据，并利用excel导出的更多相关文章

  1. python爬取数据保存到Excel中

    # -*- conding:utf-8 -*- # 1.两页的内容 # 2.抓取每页title和URL # 3.根据title创建文件,发送URL请求,提取数据 import requests fro ...

  2. sumafan:python爬虫多线程爬取数据小练习（附答案）

    抓取 https://www.cnbeta.com/ 首页中新闻内容页网址, 抓取内容例子: https://hot.cnbeta.com/articles/game/825125 将抓取下来的内容页 ...

  3. 使用htmlparse爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  4. 使用htmlparser爬虫技术爬取电影网页的全部下载链接

    昨天,我们利用webcollector爬虫技术爬取了网易云音乐17万多首歌曲,而且还包括付费的在内,如果时间允许的话,可以获取更多的音乐下来,当然,也有小伙伴留言说这样会降低国人的知识产权保护意识,诚 ...

  5. 【个人】爬虫实践，利用xpath方式爬取数据之爬取虾米音乐排行榜

    实验网站:虾米音乐排行榜 网站地址:http://www.xiami.com/chart  难度系数:★☆☆☆☆ 依赖库:request.lxml的etree (安装lxml:pip install ...

  6. python爬虫项目-爬取雪球网金融数据（关注、持续更新）

    (一)python金融数据爬虫项目 爬取目标:雪球网(起始url:https://xueqiu.com/hq#exchange=CN&firstName=1&secondName=1_ ...

  7. PYTHON 爬虫笔记九:利用Ajax+正则表达式+BeautifulSoup爬取今日头条街拍图集（实战项目二）

    利用Ajax+正则表达式+BeautifulSoup爬取今日头条街拍图集 目标站点分析 今日头条这类的网站制作,从数据形式,CSS样式都是通过数据接口的样式来决定的,所以它的抓取方法和其他网页的抓取方 ...

  8. Python使用Scrapy框架爬取数据存入CSV文件(Python爬虫实战4)

    1. Scrapy框架 Scrapy是python下实现爬虫功能的框架,能够将数据解析.数据处理.数据存储合为一体功能的爬虫框架. 2. Scrapy安装 1. 安装依赖包 yum install g ...

  9. 【Spider】使用CrawlSpider进行爬虫时，无法爬取数据，运行后很快结束，但没有报错

    在学习<python爬虫开发与项目实践>的时候有一个关于CrawlSpider的例子,当我在运行时发现,没有爬取到任何数据,以下是我敲的源代码:import scrapyfrom UseS ...

随机推荐

  1. 在Linux终端命令行下播放音乐的命令（Ubuntu）

    现在的 Linux 桌面已经发展的很好了,在桌面下播放音乐操作起来也很简单.那么我们还记得在桌面不是那么好的时候我们是怎么播放音乐的么?哎,我是想不起来了,实在是太难了. 不过现在我们可以先安装一个小 ...

  2. 1.Java内存区域

    Java虚拟机在执行java程序的过程中会把他管理的内存划分为若干个不同的数据区域各自用途.创建以及销毁时间各不相同.有的随着虚拟机进行的启动而存在,有的区域依赖于线程的启动和结束而建立以及销毁.如图 ...

  3. 基于weka的文本分类实现

    weka介绍 参见 1)百度百科:http://baike.baidu.com/link?url=V9GKiFxiAoFkaUvPULJ7gK_xoEDnSfUNR1woed0YTmo20Wjo0wY ...

  4. LaTex学习笔记（一）：review

    1.百分号 \% 2.下标 b_{ij} 3.表格(excel2latex) 符号说明 \begin{table}[H] \centering \begin{tabular}{m{100pt}< ...

  5. Spring+MyBatis多数据源配置实现

    最近用到了MyBatis配置多数据源,原以为简单配置下就行了,实际操作后发现还是要费些事的,这里记录下,以作备忘 不多废话,直接上代码,后面会有简单的实现介绍 jdbc和log4j的配置 #定义输出格 ...

  6. IOS网络编程。。

    ASI 与AFN框架:  越低层性能越好. AFNetworking ASIHTTPRequest(性能好点) NSURL会更好. NSURL NSURLRequest NSData * data = ...

  7. win7电脑共享VPN连接教程

    互通网络VPN服务器不限制连接数,如果仅仅是电脑连接的话有点浪费,如何只在笔记本电脑上设置一次VPN,然后手机.平板等都可以直接共享使用呢?为什么需要笔记本电脑,因为笔记本电脑内置的无线网卡可以设置w ...

  8. java中的继承Object

    一个类,要么是直接继承Object,要么就是间接继承Object,如下: class A{ } class B extends A{ } B 是A的子类,A是Object的子类,所以B间接继承了Obj ...

  9. php public protected private属性实例详解

    php 类中函数和类变量都有三个属性:public protected private,具体什么时候使用什么属性好纠结,特意找了个实例,这样看起来更清晰. public 表示全局,类内部外部子类都可以 ...

  10. ubuntu下phpmyadmin配置

    经常出现的问题就是明明安装了phpmyadmin但却在输入 http://localhost/phpmyadmin的时候,没有出现管理界面,反而出现没有找到的页面. 不急,我们先安装再了phpmyad ...