Generator:  records selected for fetching, exiting ...

Stopping at depth= - no more URLs to fetch.

出现上面的错误一般都会是nutch/conf/crawl-urlfilter.txt中的配置出现的不可预见的错误

我在网上找了好多配置发现

# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*/.)*360buy.com/
([a-z0-9]*/.)里的/这个写错了，正确的如下：
# accept hosts in MY.DOMAIN.NAME

+^http://([a-z0-9]*\.)*qq.com/
												


											
no more URLs to fetch的更多相关文章
	

    
								
  1. Libcurl多线程crash问题（cento）
		
    cento :http://blog.csdn.net/delphiwcdj/article/details/18284429 1 问题背景 后台系统有一个单线程的http接口,为了提高并发处理能力, ...
    
		
    2. 
						
  2. Nutch源码阅读进程3---fetch
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    3. 
						
  3. HTTP Header Injection in Python urllib
		
    catalogue . Overview . The urllib Bug . Attack Scenarios . 其他场景 . 防护/缓解手段 1. Overview Python's built ...
    
		
    4. 
						
  4. 爬虫Larbin解析(一)——Larbin配置与使用
		
    介绍 功能:网络爬虫 开发语言:c++ 开发者:Sébastien Ailleret(法国) 特点:只抓取网页,高效(一个简单的larbin的爬虫可以每天获取500万的网页) 安装 安装平台:Ubun ...
    
		
    5. 
						
  5. larbin是一种开源的网络爬虫/网络蜘
		
    larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发.larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源.Lar ...
    
		
    6. 
						
  6. GO语言的进阶之路-协程和Channel
		
    GO语言的进阶之路-协程和Channel 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 看过我之前几篇博客小伙伴可能对Golang语言的语法上了解的差不多了,但是,如果想要你的代码 ...
    
		
    7. 
						
  7. Nutch源码阅读进程3
		
    走了一遍Inject和Generate,基本了解了nutch在执行爬取前的一些前期预热工作,包括url的过滤.规则化.分值计算以及其与mapreduce的联系紧密性等,自我感觉nutch的整个流程是很 ...
    
		
    8. 
						
  8. [日常] Go语言圣经--JSON习题2
		
    练习 4.12: 流行的web漫画服务xkcd也提供了JSON接口.例如,一个 https://xkcd.com/571/info.0.json 请求将返回一个很多人喜爱的571编号的详细描述. 下载 ...
    
		
    9. 
						
  9. Python threads synchronization: Locks, RLocks, Semaphores, Conditions, Events and Queues(Forwarding)
		
    This article describes the Python threading synchronization mechanisms in details. We are going to s ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. vs2012 MinGW编译ffmpeg 出现libavdevice/avdevice.c(38) : error C2059: 语法错误:“.”
			
    利用vs2012编译ffmpeg出现以下错误: libavdevice/avdevice.c(38) : error C2059: 语法错误:“.” libavdevice/avdevice.c(40 ...
    
			
    2. 
						
  2. Hdu-1565 方格取数(1) （状态压缩dp入门题
			
    方格取数(1) Time Limit: 10000/5000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total S ...
    
			
    3. 
						
  3. TCP/IP协议组学习笔记
			
    TCP/IP协议族学习笔记: 一.基础概念: (1)TCP(Transmission Control Protocol) 传输控制协议. (2)IP(Internet Protocol)网际协议.IP ...
    
			
    4. 
						
  4. kubernetes容器编排之定义环境变量以及通过downwardapi把pod信息作为环境变量传入容器内
			
    系列目录 在学习docker的时候,大家可能经常看到不少示例在docker run的时候指定环境变量(比如wordpress的docker示例就是通过环境变量传入账户和密码到容器内).这里之所以经常用 ...
    
			
    5. 
						
  5. php返回HTTP状态码
			
    HTTP协议状态码,调用函数时候只需要将$num赋予一个下表中的已知值就直接会返回状态了.<?PHP /** * HTTP Protocol defined status codes* HTTP ...
    
			
    6. 
						
  6. Memcached服务端自动启动(转载）
			
    Memcached服务端自动启动 原文链接:http://www.cnblogs.com/technet/archive/2011/09/11/2173485.html  经测试,要使得Memcach ...
    
			
    7. 
						
  7. 问题 “cell 出栈 selectBox 已选的图标，被释放掉，再次进入屏幕时，没有了已选图标  ” 解决方案
			
    如何 去解决 列表里面的selectBox已选情况,在滑出屏幕后被清除的问题.      我来在这里 详细说明一下, 在cell里面写一个方法,去专门修复滑出后,又滑进来 图标被冲刷掉的cell. 在 ...
    
			
    8. 
						
  8. EasyDarwin Streaming Server对Task的调用方法
			
    我们在EasyDarwin流媒体服务器的二次开发过程中,经常会需要定义自己的Task类,例如在EasyDarwin中,RTSPSessioin.HTTPSession.RTCPTask等,都是Task ...
    
			
    9. 
						
  9. ASP.NET MVC4中ViewBag、ViewData和TempData的使用和区别
			
    一.说明 本文章主要是讲解asp.net mvc中ViewBag.ViewData和TempData的使用和区别,ViewBag.ViewData和TempData常常用于将action方法中的数据传 ...
    
			
    10. 
						
  10. wireshark 学习 1
			
    wireshark 调试WiFi 安装之后的启动脚步. #!/bin/bash iw dev mon0 del iw dev wlp3s0 interface add mon0 type monito ...
    
			
    11.