Generator:  records selected for fetching, exiting ...

Stopping at depth= - no more URLs to fetch.

出现上面的错误一般都会是nutch/conf/crawl-urlfilter.txt中的配置出现的不可预见的错误

我在网上找了好多配置发现

# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*/.)*360buy.com/
([a-z0-9]*/.)里的/这个写错了，正确的如下：
# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*qq.com/
												


											
no more URLs to fetch的更多相关文章
	

    
								
  1. Libcurl多线程crash问题（cento）
		
    cento :http://blog.csdn.net/delphiwcdj/article/details/18284429 1 问题背景 后台系统有一个单线程的http接口,为了提高并发处理能力, ...
    
		
    2. 
						
  2. Nutch源码阅读进程3---fetch
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    3. 
						
  3. HTTP Header Injection in Python urllib
		
    catalogue . Overview . The urllib Bug . Attack Scenarios . 其他场景 . 防护/缓解手段 1. Overview Python's built ...
    
		
    4. 
						
  4. 爬虫Larbin解析(一)——Larbin配置与使用
		
    介绍 功能:网络爬虫 开发语言:c++ 开发者:Sébastien Ailleret(法国) 特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页) 安装 安装平台:Ubun ...
    
		
    5. 
						
  5. larbin是一种开源的网络爬虫/网络蜘
		
    larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发.larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源.Lar ...
    
		
    6. 
						
  6. GO语言的进阶之路-协程和Channel
		
    GO语言的进阶之路-协程和Channel 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 看过我之前几篇博客小伙伴可能对Golang语言的语法上了解的差不多了,但是,如果想要你的代码 ...
    
		
    7. 
						
  7. Nutch源码阅读进程3
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    8. 
						
  8. [日常] Go语言圣经--JSON习题2
		
    练习 4.12: 流行的web漫画服务xkcd也提供了JSON接口.例如,一个 https://xkcd.com/571/info.0.json 请求将返回一个很多人喜爱的571编号的详细描述. 下载 ...
    
		
    9. 
						
  9. Python threads synchronization: Locks, RLocks, Semaphores, Conditions, Events and Queues(Forwarding)
		
    This article describes the Python threading synchronization mechanisms in details. We are going to s ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 《后会无期》票房赶超《小时代3》 大数据解读韩寒VS四娘之争
			
    7月25日.韩寒导演的处女作<后会无期>零点首映,而郭四娘导演的<小时代3:刺金时代>比<后会无期>早上映一周.也就是7月17日正式公映,韩寒与四娘之间向来不缺乏话 ...
    
			
    2. 
						
  2. Java反射及其在Android中的应用学习总结
			
    一. Java反射机制 Reflection 是Java被视为动态(或准动态)语言的一个关键性质.这个机制同意程序在执行时透过Reflection APIs取得不论什么一个已知名称的class的内部信 ...
    
			
    3. 
						
  3. ARM architecture
			
    http://en.wikipedia.org/wiki/ARM_architecture ARM architecture     ARM architectures The ARM logo De ...
    
			
    4. 
						
  4. poj3181 Dollar Dayz
			
    Description Farmer John goes to Dollar Days at The Cow Store and discovers an unlimited number of to ...
    
			
    5. 
						
  5. 关于global和$GLOBALS[]的一道经典面试题
			
    在不执行程序的情况下,你觉得的输出结果是什么? <?php $var1 = 1; $var2 = 2; function test(){ global $var1,$var2; $var2 =  ...
    
			
    6. 
						
  6. EasyRTMP实现的rtmp推流的基本协议流程
			
    EasyRTMP介绍 EasyRTMP是结合了多种音视频缓存及网络技术的一个rtmp直播推流端,包括:圆形缓冲区(circular buffer).智能丢帧.自动重连.rtmp协议等等多种技术,能够非 ...
    
			
    7. 
						
  7. opencv中的子库
			
    1 FLANN 近似最近邻库,NN就是nearest neighbor的缩写. 2 IlmImf Ilm是Industrial light & magic公司的缩写. Imf是image fo ...
    
			
    8. 
						
  8. TCP/IP笔记之OSI和TCP/IP
			
    
			
    9. 
						
  9. SVD分解的理解
			
    对称阵A 相应的,其对应的映射也分解为三个映射.现在假设有x向量,用A将其变换到A的列空间中,那么首先由U'先对x做变换: 由于正交阵“ U的逆=U‘ ”,对于两个空间来讲,新空间下的“ 基E' 坐标 ...
    
			
    10. 
						
  10. mysql给一张表新增字段，并设置该字段为外键
			
    首先给usercategory表新增libraryid字段: alter table usercategory add libraryid varchar(50) 修改picturelibrary表的 ...
    
			
    11.