本博客属原创文章,欢迎转载!转载请务必注明出处:http://guoyunsky.iteye.com/blog/650694

本博客已迁移到本人独立博客: http://www.yun5u.com/

欢迎加入Heritrix群(QQ):109148319,10447185  , Lucene/Solr群(QQ) :  118972724

CrawlController的确是Heritrix的大脑,在Heritrix中拥有无上的权利!可以控制Heritrix的启动、暂停、停止,也定时进行数据统计、数据汇报和文件管理。同时CrawlController也基本上贯穿整个Heritrix代码,和CrawlURI一样。同时CrawlController纯代码页进2000行,下面就先介绍里面的属性和主要方法,同时对一些灵活用法也加以介绍:

 1.属性:

  1. //状态,Checkpoinging:表示正在备份
  2. private static final Object CHECKPOINTING = "CHECKPOINTING".intern();
  3. //状态,FINISHED:表示抓取结束
  4. private static final Object FINISHED = "FINISHED".intern();
  5. //状态,NASCENT:表示正在生成一个JOB
  6. private static final Object NASCENT = "NASCENT".intern();
  7. //状态,PAUSED:表示暂停结束,该状态Heritrix正暂停任何抓取
  8. private static final Object PAUSED = "PAUSED".intern();
  9. //状态,PAUSING:表示正在暂停,传达一个暂停命令到每一个线程暂停中间需要时间
  10. private static final Object PAUSING = "PAUSING".intern();
  11. //状态,PREPARING:表示抓取结束
  12. private static final Object PREPARING = "PREPARING".intern();
  13. //状态,RUNNING:表示正在运行
  14. private static final Object RUNNING = "RUNNING".intern();
  15. //状态,STARTED:表示已经启动
  16. private static final Object STARTED = "STARTED".intern();
  17. //状态,STOPPING:表示正在停止,传达一个停止命令到每一个线程暂停中间需要时间
  18. private static final Object STOPPING = "STOPPING".intern();
  19. //当前类的日志管理器
  20. private final static Logger LOGGER = Logger.getLogger(CrawlController.class
  21. .getName());
  22. // 活动的日志文件名后缀
  23. public static final String CURRENT_LOG_SUFFIX = ".log";
  24. // 日志crawl.log.txt的文件名
  25. private static final String LOGNAME_CRAWL = "crawl";
  26. // 日志local-errors.log.txt的文件名
  27. private static final String LOGNAME_LOCAL_ERRORS = "local-errors";
  28. // 日志progress-statistics.log.txt的文件名
  29. private static final String LOGNAME_PROGRESS_STATISTICS = "progress-statistics";
  30. // runtime-errors.txt的文件名
  31. private static final String LOGNAME_RUNTIME_ERRORS = "runtime-errors";
  32. // 日志uri-errors.txt的文件名
  33. private static final String LOGNAME_URI_ERRORS = "uri-errors";
  34. // 日志manifest-report的文件名前缀
  35. public final static String MANIFEST_REPORT = "manifest";
  36. //processors-report.txt的文件名前缀
  37. public final static String PROCESSORS_REPORT = "processors";
  38. // crawl-manifest日志文件中中配置文件标签缩写
  39. public static final char MANIFEST_CONFIG_FILE = 'C';
  40. // crawl-manifest日志文件中中日志文件标签缩写
  41. public static final char MANIFEST_LOG_FILE = 'L';
  42. // crawl-manifest日志文件中中报告文件标签缩写
  43. public static final char MANIFEST_REPORT_FILE = 'R';
  44. //报告文件名数组
  45. protected final static String[] REPORTS = { PROCESSORS_REPORT,
  46. MANIFEST_REPORT };
  47. //应急内存,当内存不够时Heritrix会释放这个内存去做一些紧急动作如数据备份
  48. private static final int RESERVE_BLOCK_SIZE = 6 * 2 ^ 20; // 6MB
  49. private static final int RESERVE_BLOCKS = 1;
  50. //BDB数据库,Heritrix自己封装
  51. private transient EnhancedEnvironment bdbEnvironment = null;
  52. //用于Checkpoint备份,存储需要备份的数据
  53. private transient Map<String, CachedBdbMap<?, ?>> bigmaps = null;
  54. //备份器
  55. private Checkpointer checkpointer;
  56. //备份对象
  57. private transient Checkpoint checkpointRecover = null;
  58. //备份目录
  59. private transient File checkpointsDisk;
  60. //整个Heritrix目录
  61. private transient File disk;
  62. //日志文件目录
  63. private transient File logsDisk;
  64. //scratch文件
  65. private transient File scratchDisk;
  66. //BDB数据库文件
  67. private transient File stateDisk;
  68. //日志处理器跟文件处理器关联
  69. transient private Map<Logger, FileHandler> fileHandlers;
  70. //调度器
  71. private transient Frontier frontier;
  72. // 日志处理器,关联local-errors.log
  73. public transient Logger localErrors;
  74. // 日志处理器,关联 progress-statistics.log
  75. private transient Logger progressStats;
  76. //日志处理器,关联报告文件
  77. public transient Logger reports;
  78. // 日志处理器,关联runtime-errors.log
  79. public transient Logger runtimeErrors;
  80. // 日志处理器,关联uri-Errors.log
  81. public transient Logger uriErrors;
  82. // 日志处理器,关联crawl.log
  83. public transient Logger uriProcessing;
  84. //记录Hertrix创建的日志文件名
  85. private StringBuffer manifest;
  86. //最大字节数,来源于配置文件
  87. private long maxBytes; //
  88. //抓取限制, 最大文档数,来源于配置文件
  89. private long maxDocument;
  90. // 抓取限制,最大时间,来源于配置文件
  91. private long maxTime;
  92. //管理order.xml
  93. private transient CrawlOrder order;
  94. //处理器链
  95. private transient ProcessorChainList processorChains;
  96. //事件监听器,比如正在运行、停止
  97. private transient List<CrawlStatusListener> registeredCrawlStatusListeners = Collections
  98. .synchronizedList(new ArrayList<CrawlStatusListener>());
  99. //抓取状态监听器,这里监听哪些URl被忽略,哪些URL抓取失败等
  100. private transient CrawlURIDispositionListener registeredCrawlURIDispositionListener;
  101. //抓取状态监听器数据
  102. protected transient ArrayList<CrawlURIDispositionListener> registeredCrawlURIDispositionListeners;
  103. // 应急储备内存
  104. private transient LinkedList<char[]> reserveMemory;
  105. //抓取范围管理
  106. private transient CrawlScope scope;
  107. // CrawlServer和CrawlHost的缓存
  108. private transient ServerCache serverCache;
  109. //配置文件,如order.xml
  110. private transient SettingsHandler settingsHandler;
  111. //Heritrix状态,表示已经存在
  112. private transient String sExit;
  113. // 锁,控制同时只能一个线程运行使用本类
  114. private transient ReentrantLock singleThreadLock = null;
  115. //是否是单线程模式
  116. private volatile transient boolean singleThreadMode = false;
  117. // 表示当前爬虫状态,新生的
  118. transient private Object state = NASCENT;
  119. // 统计跟踪器
  120. protected StatisticsTracking statistics = null;
  121. //线程池
  122. private transient ToePool toePool;

同时属性中有三个地方需要补充下:

1)"CHECKPOINTING".intern(); 为什么采用intern()方法?知道intern()方法的人都知道,intern在创建String对象时会先无内存里查看有没有该对象,有的话直接返回,没有则重新创建。而普通的new一般都是直接创建对象,如此在一定程序上可以节省开销

2)transient LinkedList<char[]> reserveMemory;应急内存。Heritrix在初始化的时候会先占用一部分内存,这里是6M。当发生内存溢出的时候则释放这部分内存,然后做一些日志、报告方面的操作

3)private transient ReentrantLock singleThreadLock,重入锁.大脑只能有一个,所以需要用这个来保证一个大脑的存在,而不是多个。这里为什么不用单例模式来取代,而采用这种方法?我这里没有用单例模式和这种方法进行实验比较,但直觉上告诉我,由于Heritrix是个多线程爬虫,并且可以同时有多个抓取Job,但同时只能有一个job运行。单例模式的synchronized不能保证当一个job发生线程中断时,其他job可以获得CrawlController的锁来运行他们的抓取,因为synchronized会一直锁住CrawlController对象.而使用ReentrantLock则可以做到这一点...我的想法,欢迎大家拍砖...

由于贴上方法介绍后本文章会太长,故方法介绍方法下一篇博客介绍,博客地址:http://guoyunsky.iteye.com/blog/650744

Heritrix源码分析(十二) Heritrix的控制中心(大脑)CrawlController(一)(转)的更多相关文章

  1. Heritrix源码分析(十四) 如何让Heritrix不间断的抓取(转)

    欢迎加入Heritrix群(QQ):109148319,10447185 , Lucene/Solr群(QQ) :  118972724 本博客已迁移到本人独立博客: http://www.yun5u ...

  2. Heritrix源码分析(十四)

    近段时间在搞定Lucene的一些问题,所以Heritrix源码分析暂时告一段落.今天下午在群里有同学提到了Heritrix异常终止的问题以及让Heritrix不停的抓取(就是抓完一遍后载入种子继续抓取 ...

  3. ABP源码分析十二:本地化

    本文逐个分析ABP中涉及到locaization的接口和类,以及相互之间的关系.本地化主要涉及两个方面:一个是语言(Language)的管理,这部分相对简单.另一个是语言对应得本地化资源(Locali ...

  4. [Abp 源码分析]十二、多租户体系与权限验证

    0.简介 承接上篇文章我们会在这篇文章详细解说一下 Abp 是如何结合 IPermissionChecker 与 IFeatureChecker 来实现一个完整的多租户系统的权限校验的. 1.多租户的 ...

  5. jQuery 源码分析(十二) 数据操作模块 html特性 详解

    jQuery的属性操作模块总共有4个部分,本篇说一下第1个部分:HTML特性部分,html特性部分是对原生方法getAttribute()和setAttribute()的封装,用于修改DOM元素的特性 ...

  6. Vue.js 源码分析(十二) 基础篇 组件详解

    组件是可复用的Vue实例,一个组件本质上是一个拥有预定义选项的一个Vue实例,组件和组件之间通过一些属性进行联系. 组件有两种注册方式,分别是全局注册和局部注册,前者通过Vue.component() ...

  7. Heritrix源码分析(十五) 各种问题总结(转)

    开博客以及建立Heritrix 群有一段时间了(这里谢谢大家的关注),这篇博客将整理这段时间所遇到的问题.同时由于自己从今年5月份开始就不怎么接触Heritrix,很多东西开始遗忘(不过里面思想没忘) ...

  8. Heritrix源码分析(十五)

    开博客以及建立Heritrix 群有一段时间了(这里谢谢大家的关注),这篇博客将整理这段时间所遇到的问题.同时由于自己从今年5月份开始就不怎么接触Heritrix,很多东西开始遗忘(不过里面思想没忘) ...

  9. Heritrix源码分析(十) Heritrix中的Http Status Code(Http状态码)(转)

    本博客属原创文章,欢迎转载!转载请务必注明出处:http://guoyunsky.iteye.com/blog/649737       本博客已迁移到本人独立博客: http://www.yun5u ...

随机推荐

  1. C#DataGridView 美化

    private void dataGridView(DataGridView dataGridView) { System.Windows.Forms.DataGridViewCellStyle da ...

  2. java反射机制(基础版)

    package com.reflect; import java.lang.reflect.Constructor; import java.lang.reflect.Field; import ja ...

  3. Android核心分析之二十一Android应用框架之AndroidApplication

    Android Application Android提供给开发程序员的概念空间中Application只是一个松散的表征概念,没有多少实质上的表征.在Android实际空间中看不到实际意义上的应用程 ...

  4. iOS开发cell--滑动手势显示按钮

    // 主要代码 #warning iOS8 - #pragma mark 在滑动手势删除某一行的时候,显示出更多的按钮 - (NSArray *)tableView:(UITableView *)ta ...

  5. JavaWeb笔记——利用过滤器实现页面静态化

    1.说明 页面静态化是把动态页面生成的html保存到服务器的文件上,然后再有相同请求时,不再去执行动态页面,而是直接给用户响应上次已经生成的静态页面. * 核心思路为拦截请求,实现请求转发指向静态页面 ...

  6. http://www.cnblogs.com/AloneSword/p/3370462.html

    http://www.cnblogs.com/AloneSword/p/3370462.html

  7. 机器人学 —— 机器人视觉(Bundle Adjustment)

    今天完成了机器人视觉的所有课程以及作业,确实是受益匪浅啊! 最后一个话题是Bundle Adjustment. 机器人视觉学中,最顶尖的方法. 1.基于非线性优化的相机位姿估计 之前已经在拟合一篇中, ...

  8. z-index无效问题的解决方法

    在使用z-index这个属性之前,我们必须先了解使用z-index的必要条件: 1.要想给元素设置z-index样式,必须先让它变成定位元素,说的明白一点,就是要给元素设置一个postion:rela ...

  9. 高斯判别分析 Gaussian Discriminant Analysis

    如果在我们的分类问题中,输入特征xx是连续型随机变量,高斯判别模型(Gaussian Discriminant Analysis,GDA)就可以派上用场了. 以二分类问题为例进行说明,模型建立如下: ...

  10. (step4.2.5)hdu 1495(非常可乐——BFS)

    题目大意:输入三个整数 a,b,c.   a : 可乐瓶的容量,b: 甲杯的容量 ,c: 乙杯的容量.问能否用这三个被来实现饮料的平分???如果可以输出倒饮料的次数, 否则输出NO 解题思路:BFS ...