Generator:  records selected for fetching, exiting ...

Stopping at depth= - no more URLs to fetch.

出现上面的错误一般都会是nutch/conf/crawl-urlfilter.txt中的配置出现的不可预见的错误

我在网上找了好多配置发现

# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*/.)*360buy.com/
([a-z0-9]*/.)里的/这个写错了，正确的如下：
# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*qq.com/
												


											
no more URLs to fetch的更多相关文章
	

    
								
  1. Libcurl多线程crash问题（cento）
		
    cento :http://blog.csdn.net/delphiwcdj/article/details/18284429 1 问题背景 后台系统有一个单线程的http接口,为了提高并发处理能力, ...
    
		
    2. 
						
  2. Nutch源码阅读进程3---fetch
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    3. 
						
  3. HTTP Header Injection in Python urllib
		
    catalogue . Overview . The urllib Bug . Attack Scenarios . 其他场景 . 防护/缓解手段 1. Overview Python's built ...
    
		
    4. 
						
  4. 爬虫Larbin解析(一)——Larbin配置与使用
		
    介绍 功能:网络爬虫 开发语言:c++ 开发者:Sébastien Ailleret(法国) 特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页) 安装 安装平台:Ubun ...
    
		
    5. 
						
  5. larbin是一种开源的网络爬虫/网络蜘
		
    larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发.larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源.Lar ...
    
		
    6. 
						
  6. GO语言的进阶之路-协程和Channel
		
    GO语言的进阶之路-协程和Channel 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 看过我之前几篇博客小伙伴可能对Golang语言的语法上了解的差不多了,但是,如果想要你的代码 ...
    
		
    7. 
						
  7. Nutch源码阅读进程3
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    8. 
						
  8. [日常] Go语言圣经--JSON习题2
		
    练习 4.12: 流行的web漫画服务xkcd也提供了JSON接口.例如,一个 https://xkcd.com/571/info.0.json 请求将返回一个很多人喜爱的571编号的详细描述. 下载 ...
    
		
    9. 
						
  9. Python threads synchronization: Locks, RLocks, Semaphores, Conditions, Events and Queues(Forwarding)
		
    This article describes the Python threading synchronization mechanisms in details. We are going to s ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. python 写数据到txt 文件
			
    # coding=utf-8 import codecs # list = [[1,2],[3,4]] list = ['{"PN":"34VT123",&qu ...
    
			
    2. 
						
  2. Java IO 类
			
    IO包中绝大部分的类都是由以下四个类直接或间接继承来的InputStream OutputStream Reader 还有Writer 其中InputStream和OutputStream代表输入流和 ...
    
			
    3. 
						
  3. 在Fedora24/25中轻松安装gcc 4.9
			
    在Fedora24/25中轻松安装gcc 4.9 http://blog.csdn.net/u010158659/article/details/53608285 标签: gccgcc-4.9Fedo ...
    
			
    4. 
						
  4. Linux学习笔记——例说makefile 综合案例
			
    0.前言     从学习C语言開始就慢慢開始接触makefile,查阅了非常多的makefile的资料但总感觉没有真正掌握makefile,假设自己动手写一个makefile总认为非常吃力.所以特意借 ...
    
			
    5. 
						
  5. JavaScript事件在WebKit中的处理流程研究
			
    本文主要探讨了JavaScript事件在WebKit中的注冊和触发机制. JS事件有两种注冊方式: 通过DOM节点的属性加入或者通过node.addEventListener()函数注冊: 通过DOM ...
    
			
    6. 
						
  6. php逻辑操作符中&和&&的异同
			
    php有5种算术操作符(+ - * / %),6种赋值操作符(+= -= *= /= %= .=),8种比较操作符(=== < > <= >= != <> !==) ...
    
			
    7. 
						
  7. UltimateRecyclerView的用法具体解释
			
    近期在用非常多第三方库的时候,发现有一些附带的demo写的不是非常全面或者样例的代码太多,凝视太少,要想使用还要去看下源代码什么的(.. .用第三方开源库不就是想节省时间嘛).所以决定每周两到三篇.写 ...
    
			
    8. 
						
  8. Openlayers中layer介绍
			
    1.base layers & overlay layers base layer:最底层的layer,其它的图层是在他之上,最先增加的图层默认作为base layer. overlay la ...
    
			
    9. 
						
  9. spring boot Mybatis多数据源配置
			
    关于 有时候,随着业务的发展,项目关联的数据来源会变得越来越复杂,使用的数据库会比较分散,这个时候就会采用多数据源的方式来获取数据.另外,多数据源也有其他好处,例如分布式数据库的读写分离,集成多种数据 ...
    
			
    10. 
						
  10. switch多分枝语句
			
    package lianxi; //switch多分枝语句 import java.util.Scanner; public class GetSwitch { public static void  ...
    
			
    11.