Httpclient爬取优酷网
参考:http://www.cnblogs.com/lchzls/p/6277210.html
/httpClient/src/main/java/com/louis/youku/Page.java
/**
* Project Name:httpClient
* File Name:Page.java
* Package Name:com.louis.youku
* Date:2017年11月9日上午9:11:28
* Copyright (c) 2017, 2692613726@qq.com All Rights Reserved.
*
*/ package com.louis.youku;
/**
* ClassName:Page
* Function: TODO ADD FUNCTION.
* Reason: TODO ADD REASON.
* Date: 2017年11月9日 上午9:11:28
* @author michael
* @version
* @since JDK 1.7
* @see
*/
public class Page {
//页面内容
private String content; //总播放量
private String allnumber; //每日播放增量
private String daynumber; //评论数
private String commentnumber; //收藏数
private String collectnumber; //赞
private String supportnumber; //踩
private String againstnumber; //电视剧名称
private String tvname; //页面url
private String url; //子集数据
private String episodenumber; public String getContent() {
return content;
} public void setContent(String content) {
this.content = content;
} public String getAllnumber() {
return allnumber;
} public void setAllnumber(String allnumber) {
this.allnumber = allnumber;
} public String getDaynumber() {
return daynumber;
} public void setDaynumber(String daynumber) {
this.daynumber = daynumber;
} public String getCommentnumber() {
return commentnumber;
} public void setCommentnumber(String commentnumber) {
this.commentnumber = commentnumber;
} public String getCollectnumber() {
return collectnumber;
} public void setCollectnumber(String collectnumber) {
this.collectnumber = collectnumber;
} public String getSupportnumber() {
return supportnumber;
} public void setSupportnumber(String supportnumber) {
this.supportnumber = supportnumber;
} public String getAgainstnumber() {
return againstnumber;
} public void setAgainstnumber(String againstnumber) {
this.againstnumber = againstnumber;
} public String getTvname() {
return tvname;
} public void setTvname(String tvname) {
this.tvname = tvname;
} public String getUrl() {
return url;
} public void setUrl(String url) {
this.url = url;
} public String getEpisodenumber() {
return episodenumber;
} public void setEpisodenumber(String episodenumber) {
this.episodenumber = episodenumber;
} }
/httpClient/src/main/java/com/louis/youku/DownLoadService.java
/**
* Project Name:httpClient
* File Name:DownLoadService.java
* Package Name:com.louis.youku
* Date:2017年11月9日上午9:14:16
* Copyright (c) 2017, 2692613726@qq.com All Rights Reserved.
*
*/ package com.louis.youku;
/**
* ClassName:DownLoadService
* Function: TODO ADD FUNCTION.
* Reason: TODO ADD REASON.
* Date: 2017年11月9日 上午9:14:16
* @author michael
* @version
* @since JDK 1.7
* @see
*/
public interface DownLoadService {
public Page downLoad(String url);
}
/httpClient/src/main/java/com/louis/youku/DownLoadServiceImpl.java
/**
* Project Name:httpClient
* File Name:DownLoadService.java
* Package Name:com.louis.youku
* Date:2017年11月9日上午9:14:16
* Copyright (c) 2017, 2692613726@qq.com All Rights Reserved.
*
*/ package com.louis.youku;
/**
* ClassName:DownLoadService
* Function: TODO ADD FUNCTION.
* Reason: TODO ADD REASON.
* Date: 2017年11月9日 上午9:14:16
* @author michael
* @version
* @since JDK 1.7
* @see
*/
public interface DownLoadService {
public Page downLoad(String url);
}
/httpClient/src/main/java/com/louis/youku/PageDownLoadUtil.java
/**
* Project Name:httpClient
* File Name:Page.java
* Package Name:com.louis.youku
* Date:2017年11月9日上午9:11:28
* Copyright (c) 2017, 2692613726@qq.com All Rights Reserved.
*
*/ package com.louis.youku;
/**
* ClassName:Page
* Function: TODO ADD FUNCTION.
* Reason: TODO ADD REASON.
* Date: 2017年11月9日 上午9:11:28
* @author michael
* @version
* @since JDK 1.7
* @see
*/
public class Page {
//页面内容
private String content; //总播放量
private String allnumber; //每日播放增量
private String daynumber; //评论数
private String commentnumber; //收藏数
private String collectnumber; //赞
private String supportnumber; //踩
private String againstnumber; //电视剧名称
private String tvname; //页面url
private String url; //子集数据
private String episodenumber; public String getContent() {
return content;
} public void setContent(String content) {
this.content = content;
} public String getAllnumber() {
return allnumber;
} public void setAllnumber(String allnumber) {
this.allnumber = allnumber;
} public String getDaynumber() {
return daynumber;
} public void setDaynumber(String daynumber) {
this.daynumber = daynumber;
} public String getCommentnumber() {
return commentnumber;
} public void setCommentnumber(String commentnumber) {
this.commentnumber = commentnumber;
} public String getCollectnumber() {
return collectnumber;
} public void setCollectnumber(String collectnumber) {
this.collectnumber = collectnumber;
} public String getSupportnumber() {
return supportnumber;
} public void setSupportnumber(String supportnumber) {
this.supportnumber = supportnumber;
} public String getAgainstnumber() {
return againstnumber;
} public void setAgainstnumber(String againstnumber) {
this.againstnumber = againstnumber;
} public String getTvname() {
return tvname;
} public void setTvname(String tvname) {
this.tvname = tvname;
} public String getUrl() {
return url;
} public void setUrl(String url) {
this.url = url;
} public String getEpisodenumber() {
return episodenumber;
} public void setEpisodenumber(String episodenumber) {
this.episodenumber = episodenumber;
} }
Httpclient爬取优酷网的更多相关文章
- selenium爬取优酷页面并下载图片
from selenium import webdriver import requests driver = webdriver.Chrome() #打开优酷 driver.get("ht ...
- java平台利用jsoup开发包,抓取优酷视频播放地址与图片地址等信息。
/******************************************************************************************** * aut ...
- 爱斯达M2C服装定制系统介绍—在线播放—优酷网,视频高清在线观看
爱斯达M2C服装定制系统介绍-在线播放-优酷网,视频高清在线观看 视频: 爱斯达M2C服装定制系统介绍
- 爬取西刺网的免费IP
在写爬虫时,经常需要切换IP,所以很有必要自已在数据维护库中维护一个IP池,这样,就可以在需用的时候随机切换IP,我的方法是爬取西刺网的免费IP,存入数据库中,然后在scrapy 工程中加入tools ...
- python爬虫基础应用----爬取校花网视频
一.爬虫简单介绍 爬虫是什么? 爬虫是首先使用模拟浏览器访问网站获取数据,然后通过解析过滤获得有价值的信息,最后保存到到自己库中的程序. 爬虫程序包括哪些模块? python中的爬虫程序主要包括,re ...
- selenium爬取煎蛋网
selenium爬取煎蛋网 直接上代码 from selenium import webdriver from selenium.webdriver.support.ui import WebDriv ...
- Scrapy实战篇(一)之爬取链家网成交房源数据(上)
今天,我们就以链家网南京地区为例,来学习爬取链家网的成交房源数据. 这里推荐使用火狐浏览器,并且安装firebug和firepath两款插件,你会发现,这两款插件会给我们后续的数据提取带来很大的方便. ...
- (python爬取小故事网并写入mysql)
前言: 这是一篇来自整理EVERNOTE的笔记所产生的小博客,实现功能主要为用广度优先算法爬取小故事网,爬满100个链接并写入mysql,虽然CS作为双学位已经修习了三年多了,但不仅理论知识一般,动手 ...
- Python Scrapy 爬取煎蛋网妹子图实例(一)
前面介绍了爬虫框架的一个实例,那个比较简单,这里在介绍一个实例 爬取 煎蛋网 妹子图,遗憾的是 上周煎蛋网还有妹子图了,但是这周妹子图变成了 随手拍, 不过没关系,我们爬图的目的是为了加强实战应用,管 ...
随机推荐
- Java反射及其在Android中的应用学习总结
一. Java反射机制 Reflection 是Java被视为动态(或准动态)语言的一个关键性质.这个机制同意程序在执行时透过Reflection APIs取得不论什么一个已知名称的class的内部信 ...
- nice命令兼容性分析实例
背景 产品实验室出现一例日志转储问题,经定位发现当前版本号没有提供nice命令,而cron拉起定时任务时,却调用了nice命令,对定时任务做优先级调整. 毫无疑问兴许版本号须要提供nice命令,可是是 ...
- UML类图关系表示方法
本文转载: http://blog.csdn.net/fengsh998/article/details/8105631 分类: UML2012-10-24 10:18 1175人阅读 评论(0) 收 ...
- Ubuntu上Eclipse安装PyDev方法和配置
Ubuntu11.10中Eclipse安装PyDev插件方法 PyDev是Eclipse中用来开发python的一个插件,个人比较喜欢,下面介绍在Ubuntu下安装这个插件的方法.(在Windows下 ...
- EM算法索引
把这n个{试验结果来自B的概率}求和得到期望,平均后,得到B出正面的似然估计,同理有p和q. 重复迭代,直到收敛为止 http://blog.csdn.net/junnan321/article/de ...
- Javascript学习之三元运算符详解
本文主要是通过实例为大家介绍javascript三元运算符相关内容,希望对初学者学习这部分内容有所帮助. 实例 <!DOCTYPE html> <html> <head& ...
- 关于4Ps 、4Cs 、4Rs 、4Vs营销策略的内容及优劣比较
- linux host=${host:-"localhost"}使用方法
localhost=${host:-"localhost"} host 变量未设定或者为空,host取"-"后面的值;否则host=$host host=${h ...
- hdu 1361.Parencodings 解题报告
题目链接: http://acm.hdu.edu.cn/showproblem.php?pid=1361 题目意思: 根据输入的P-sequence , 输出对应的W-sequence. P-se ...
- bzoj3669【NOI2014】魔法森林
题面一道最短路好题…… 开始和喻队长讨论了一下,喻队长一眼切:枚举ai的上界MAX,每次把ai小于等于MAX的边加到图里,以bi为边权跑最短路. 但是,这样做是O(ai*m)的,妥妥TLE,于是我们想 ...