Generator:  records selected for fetching, exiting ...

Stopping at depth= - no more URLs to fetch.

出现上面的错误一般都会是nutch/conf/crawl-urlfilter.txt中的配置出现的不可预见的错误

我在网上找了好多配置发现

# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*/.)*360buy.com/
([a-z0-9]*/.)里的/这个写错了，正确的如下：
# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*qq.com/
												


											
no more URLs to fetch的更多相关文章
	

    
								
  1. Libcurl多线程crash问题（cento）
		
    cento :http://blog.csdn.net/delphiwcdj/article/details/18284429 1 问题背景 后台系统有一个单线程的http接口,为了提高并发处理能力, ...
    
		
    2. 
						
  2. Nutch源码阅读进程3---fetch
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    3. 
						
  3. HTTP Header Injection in Python urllib
		
    catalogue . Overview . The urllib Bug . Attack Scenarios . 其他场景 . 防护/缓解手段 1. Overview Python's built ...
    
		
    4. 
						
  4. 爬虫Larbin解析(一)——Larbin配置与使用
		
    介绍 功能:网络爬虫 开发语言:c++ 开发者:Sébastien Ailleret(法国) 特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页) 安装 安装平台:Ubun ...
    
		
    5. 
						
  5. larbin是一种开源的网络爬虫/网络蜘
		
    larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发.larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源.Lar ...
    
		
    6. 
						
  6. GO语言的进阶之路-协程和Channel
		
    GO语言的进阶之路-协程和Channel 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 看过我之前几篇博客小伙伴可能对Golang语言的语法上了解的差不多了,但是,如果想要你的代码 ...
    
		
    7. 
						
  7. Nutch源码阅读进程3
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    8. 
						
  8. [日常] Go语言圣经--JSON习题2
		
    练习 4.12: 流行的web漫画服务xkcd也提供了JSON接口.例如,一个 https://xkcd.com/571/info.0.json 请求将返回一个很多人喜爱的571编号的详细描述. 下载 ...
    
		
    9. 
						
  9. Python threads synchronization: Locks, RLocks, Semaphores, Conditions, Events and Queues(Forwarding)
		
    This article describes the Python threading synchronization mechanisms in details. We are going to s ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. C语言-回溯例4
			
    1,问题提出 日本数学家桥本吉彦教授于1993年10月在我国山东举行的中日美三国数学教育研讨会上向与会者提出以下填数趣题: 把1,2,...,9这9个数字填入下式的九个方格中(数字不得重复),使下面 ...
    
			
    2. 
						
  2. 【Sprint3冲刺之前】项目完成时间表
			
    Sprint2冲刺成果——项目完成时间表 项目完成时间表 经过Sprint2小组总结会议的探讨,我们决定一起约定项目alpha版本,beta版本,release版本的发布时间,发布形式及预计完成效果  ...
    
			
    3. 
						
  3. ThinkPHP5 安装自定义模块
			
    安装官方给的demo,在build.php文件中 <?php // +-------------------------------------------------------------- ...
    
			
    4. 
						
  4. MYSQL 5.6修改密码
			
    忘记了超级用户root密码的时候怎么办呢? 1. 修改配置文件跳过密码 (1)编辑mysql主配置文件my.cnf # vim /etc/my.cnf 在[mysqld] 字段下添加参数 skip-g ...
    
			
    5. 
						
  5. Edit conflicts
			
    Edit conflicts 当副本修改处和服务器版本相同处被修改并下载到本地时,就会发生文件冲突. 操作步骤如下所示: Ø 执行"SVN Update" Ø 若发生冲突,会出现如 ...
    
			
    6. 
						
  6. ios 使用自定义字体
			
    本文转载至 http://blog.csdn.net/yesjava/article/details/8447596   1.下载要使用的自定义字体,格式通常为ttf.otf文件.这里假设是nokia ...
    
			
    7. 
						
  7. EasyRTMP实现Demux解析MP4文件进行rtmp推送实现RTMP直播功能
			
    本文转自EasyDarwin团队Kim的博客:http://blog.csdn.net/jinlong0603/article/details/52965101 前面已经介绍过EasyRTMP,这里不 ...
    
			
    8. 
						
  8. 用EasyClient开源项目采集Windows摄像头/麦克风的音视频进行RTSP直播
			
    EasyClient是EasyDarwin开源流媒体团队开发的一款功能丰富的开源PC客户端项目,目前支持Windows.Android版本,后续将支持ios版本,其中Windows版本的EasyCli ...
    
			
    9. 
						
  9. Angular中的内置指令和自定义指令
			
    NG中的指令,到底是什么(what)? 为什么会有(why)?以及怎样使用(how)? What: 在NG中,指令扩展HTML功能,为 DOM 元素调用方法.定义行为绑定数据等. Why: 最大程度减 ...
    
			
    10. 
						
  10. 记一次FastJSON和Jackson解析json时遇到的中括号问题
			
    版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/jadyer/article/details/24395015 完整版见https://jadyer. ...
    
			
    11.