1.Nutch2.1问题

1.1

问题:导入完成后,Nutch2.1里面runtime仍旧不能运行,出现jobfailed等错误。

解决:runtime里的nutch调试过程和导入Eclipse差不多,都是在调试配置文件。将Eclipse里能运行的nutch的配置文件,特别是nutch-default.xml,nutch-site.xml,gora.properties替换runtime/local/conf里的文件。

如果仍有错误,打开nutch-default.xml,找到plugin.folders属性项,修改默认value为runtime/local/plugins,可以用绝对路径。绝对路径仍旧有错,用相对路径;相对路径有错,再改到绝对路径。

用相对路径时,注意./表示文件(nutch-default.xml)所在包(conf)的平级路径,此处的相对路径也就是./plugins。

1.2

问题:nutch在抓取数据时提示,“skiped,content xxxx truncated to xxxx”,并且没有插入数据库新的数据。

解决:找到nutch-default.xml属性parser.skip.truncated修改为fasle。

1.3

问题:大面积出现Skipping http://auto.163.com/chemi/; different batch id (null)这样的提示

解决:sb,我还没找到解决办法,就被你贴到网上了。

1.4

问题:很多数据并没有放入数据库webpage中

解决:打开nutch-default.xml文件,找到file.content.limit属性,修改一个更大的值,比如可以修改为67108864;找到http.content.limit属性,修改一个更大的值。使更多的数据能够插入到数据库。

2.solrwenti

2.1

3.mysql问题

3.1

问题:网上创建数据库时,找不到my.cnf

解决:root权限下/etc/mysql/my.cnf

3.2

问题:创建数据库时,加入my.cnf的[mysqld]参数后系统不能启动或识别

解决:确保输入的参数没有拼写错误。仍旧有错误的话查看mysql版本,5.6版本以下的话就不用修改my.cnf了。

3.3

Nutch2.1+solr3.6.1+mysql5.6问题的更多相关文章

  1. Nutch2.1+mysql+solr3.6.1+中文网站抓取

    1.mysql 数据库配置 linux mysql安装步骤省略. 在首先进入/etc/my.cnf (mysql为5.1的话就不用修改my.cnf,会导致mysql不能启动)在[mysqld] 下添加 ...

  2. CENTOS 6.5 平台离线编译安装 Mysql5.6.22

    一.下载源码包 http://cdn.mysql.com/archives/mysql-5.6/mysql-5.6.22.tar.gz 二.准备工作 卸载之前本机自带的MYSQL 安装 cmake,编 ...

  3. 在 Windows7 上按照 MySQL5.7

    在 Windows7 上按照 MySQL5.7 1.从官网下载最新版本的 MySQL,这里下载的是 mysql-5.7.17-win32: 2.将下载的 mysql-5.7.17-win32.zip ...

  4. Win7安装MySQL-5.7.16过程

    1.在C盘新建MYSQL文件夹:2.将mysql-5.7.16-winx64拷贝到C:\MYSQL文件夹下,更名为mysql-5.7.16:3.在mysql-5.7.16目录下,建my.ini文件,内 ...

  5. mysql-5.6.34 Installation from Source code

    Took me a while to suffer from the first successful souce code installation of mysql-5.6.34. Just pu ...

  6. mysql5.x升级至mysql5.7后导入之前数据库date出错的解决方法!

    mysql5.x升级至mysql5.7后导入之前数据库date出错的解决方法! 修改mysql5.7的配置文件即可解决,方法如下: linux版:找到mysql的安装路径进入默认的为/usr/shar ...

  7. 搭建LNAMP环境(一)- 源码安装MySQL5.6

    1.yum安装编译mysql需要的包 yum -y install gcc-c++ make cmake bison-devel ncurses-devel perl 2.为mysql创建一个新的用户 ...

  8. windows7 下 apache2.4 和 php5.5 及 mysql5.6 的安装与配置

    要准备的软件 httpd-2.4.9-win32-VC11.zip http://www.apachelounge.com/download/ php-5.5.13-Win32-VC11-x86.zi ...

  9. Mysql5.6 online ddl

    Innodb性能改善方面: --Users can add indexes and perform standard table alterations while the database rema ...

随机推荐

  1. linux命令及相关配置

    hostname # 查看 hostname vim /etc/hostname # 修改hostname,重启后生效 vim /etc/resolv.conf 写入 nameserver 192.1 ...

  2. Pandas的基础操作(一)——矩阵表的创建及其属性

    Pandas的基础操作(一)——矩阵表的创建及其属性 (注:记得在文件开头导入import numpy as np以及import pandas as pd) import pandas as pd ...

  3. 【IDEA使用技巧】(5) —— IntelliJ IDEA集成Tomcat部署Maven Web项目

    1.IntelliJ IDEA集成Tomcat部署Maven Web项目 1.1.IDEA构建Maven Web项目 使用IDEA来创建一个简单的Hello World的Maven Web项目,并使用 ...

  4. mybatis内置参数及foreach使用

  5. php 中header头的使用

    header("content-type:text/html;charset=utf-8");//页面字符集的设置 header("location:index.php& ...

  6. .NET子页Main页面实例(UI页面)

    <%@ Page Language="C#"  MasterPageFile="~/MasterPageDefault.master"   AutoEve ...

  7. 支持移动端裁剪图片插件Jcrop(结合WebUploader上传)

    (此教程包括前端实现图片裁剪,后端进行获取裁剪区并保存) 最近有一个需求,微信公众号上传图片,支持自定义裁剪. 以前用过一款裁剪插件cropper,很久没用了,不知道对移动端操作兼容如何,重新从网上搜 ...

  8. PowerShell命令批量添加、导出AD用户

    导入单个AD用户命令 New-ADUser -Name "周八" -Surname "周" -GivenName "八"-SamAccoun ...

  9. 关于 Nginx的相关学习

    转自:https://www.cnblogs.com/wcwnina/category/1193394.html Nginx能做什么 ——反向代理 ——负载均衡 ——HTTP服务器(动静分离) ——正 ...

  10. python 简单工厂模式

    abc 是抽象类模块abc.ABC 是继承抽象类  也可直接继承 (metaclass=ABCMeta)abc.abstractmethod 是定义抽象方法 简单工厂模式:通过接口创建对象,但不会暴露 ...