MinerConfig.java 爬取配置类
package com.iteye.injavawetrust.miner; import java.util.List; /**
* 爬取配置类
* @author InJavaWeTrust
*
*/
public class MinerConfig {
/**
* URL包含关键字
*/
public List<String> keys;
/**
* 存储方式
*/
public StoreType storeType;
/**
* 爬取页面最大深度
*/
public int maxDepth;
/**
* 下载页面线程数
*/
public int minerHtmlThreadNum;
/**
* 分析页面线程数
*/
public int miseringThreadNum;
/**
* 存储线程数
*/
public int minserStoreThreadNum; public List<String> getKeys() {
return keys;
}
public void setKeys(List<String> keys) {
this.keys = keys;
} public StoreType getStoreType() {
return storeType;
}
public void setStoreType(StoreType storeType) {
this.storeType = storeType;
}
public int getMaxDepth() {
return maxDepth;
}
public void setMaxDepth(int maxDepth) {
this.maxDepth = maxDepth;
}
public int getMinerHtmlThreadNum() {
return minerHtmlThreadNum;
}
public void setMinerHtmlThreadNum(int minerHtmlThreadNum) {
this.minerHtmlThreadNum = minerHtmlThreadNum;
}
public int getMiseringThreadNum() {
return miseringThreadNum;
}
public void setMiseringThreadNum(int miseringThreadNum) {
this.miseringThreadNum = miseringThreadNum;
}
public int getMinserStoreThreadNum() {
return minserStoreThreadNum;
}
public void setMinserStoreThreadNum(int minserStoreThreadNum) {
this.minserStoreThreadNum = minserStoreThreadNum;
} }
MinerConfig.java 爬取配置类的更多相关文章
- MinerHtmlThread.java 爬取页面线程
		
MinerHtmlThread.java 爬取页面线程 package com.iteye.injavawetrust.miner; import org.apache.commons.logging ...
 - Java 爬取 51job 数据  WebMagic实现
		
Java 爬取 51job 数据 一.项目Maven环境配置 相关依赖 jar 包配置 <parent> <groupId>org.springframework.boot&l ...
 - Java爬取网络博客文章
		
前言 近期本人在某云上购买了个人域名,本想着以后购买与服务器搭建自己的个人网站,由于需要筹备的太多,暂时先搁置了,想着先借用GitHub Pages搭建一个静态的站,搭建的过程其实也曲折,主要是域名地 ...
 - java爬取网页内容 简单例子(2)——附jsoup的select用法详解
		
[背景] 在上一篇博文java爬取网页内容 简单例子(1)——使用正则表达式 里面,介绍了如何使用正则表达式去解析网页的内容,虽然该正则表达式比较通用,但繁琐,代码量多,现实中想要想出一条简单的正则表 ...
 - java爬取并下载酷狗TOP500歌曲
		
是这样的,之前买车送的垃圾记录仪不能用了,这两天狠心买了好点的记录仪,带导航.音乐.蓝牙.4G等功能,寻思,既然有这些功能就利用起来,用4G听歌有点奢侈,就准备去酷狗下点歌听,居然都是需要办会员才能下 ...
 - Java爬取并下载酷狗音乐
		
本文方法及代码仅供学习,仅供学习. 案例: 下载酷狗TOP500歌曲,代码用到的代码库包含:Jsoup.HttpClient.fastJson等. 正文: 1.分析是否可以获取到TOP500歌单 打开 ...
 - Java爬取先知论坛文章
		
Java爬取先知论坛文章 0x00 前言 上篇文章写了部分爬虫代码,这里给出一个完整的爬取先知论坛文章代码. 0x01 代码实现 pom.xml加入依赖: <dependencies> & ...
 - Java爬取同花顺股票数据(附源码)
		
最近有小伙伴问我能不能抓取同花顺的数据,最近股票行情还不错,想把数据抓下来自己分析分析.我大A股,大家都知道的,一个概念火了,相应的股票就都大涨. 如果能及时获取股票涨跌信息,那就能在刚开始火起来的时 ...
 - Java爬取校内论坛新帖
		
Java爬取校内论坛新帖 为了保持消息灵通,博主没事会上上校内论坛看看新帖,作为爬虫爱好者,博主萌生了写个爬虫自动下载的想法. 嗯,这次就选Java. 第三方库准备 Jsoup Jsoup是一款比较好 ...
 
随机推荐
- 如果将Joomla网站搜索结果显示到一个“干净”页面
			
有时候大家会发现Joomla网站自带的或者第三方的搜索功能时,搜索结果会显示在首页,和首页其它的模块如图片橱窗等显示在一起,非常混乱. 在这里教大家一个不需要修改代码的小技巧来解决这个问题,使搜索结果 ...
 - Jupyter Notebook 添加目录
			
1. 安装 jupyter_contrib_nbextensions pip install jupyter_contrib_nbextensions 2. 配置 nbextension jupyt ...
 - Zookeeper Api
			
如何使用 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储 ...
 - 为什么《Dive into Python》不值得推荐
			
2010 年 5 月 5 日更新:我翻译了一篇<<Dive Into Python>非死不可>作为对本文观点的进一步支持和对评论的回复,请见:http://blog.csdn. ...
 - 在Spring Boot框架下使用WebSocket实现消息推送
			
Spring Boot的学习持续进行中.前面两篇博客我们介绍了如何使用Spring Boot容器搭建Web项目(使用Spring Boot开发Web项目)以及怎样为我们的Project添加HTTPS的 ...
 - git 同步勾子
			
#!/bin/bash git --git-dir=/var/www/domain/.git --work-tree=/var/www/domain pull uwsgi --reload /tmp/ ...
 - Android反编译(未混淆的apk)
			
Android反编译(未混淆的apk) 工具 dex2jar 下载地址:我的CSDN 或者 官网 jd-gui 下载地址:我的CSDN 或者 官网 反编译步骤 1. 将APK解压缩,获取classes ...
 - 使用Intent传递对象
			
Intent 的用法相信你已经比较熟悉了,我们可以借助它来启动活动.发送广播.启动服务等.在进行上述操作的时候,我们还可以在Intent 中添加一些附加数据,以达到传值的效果,比如在FirstActi ...
 - MTK8127编译sdk出错解决方法
			
1.按照源码中sdk目录下的howto_build_SDK.txt参考文档的编译方式 $ cd ~/my-android-git $ . build/envsetup.sh $ lunch sd ...
 - Intellij IDEA 插件开发之自建插件仓库
			
Intellij IDEA 有一个自己的官方的插件仓库,但是当我们的开发的 Intellij IDEA 的插件不能够对外公开时,我们就需要搭建自己的 Intellij IDEA 的插件仓库.前不久我们 ...