sphinx实时索引和高亮显示

时间 2014-06-25 14:50:58  linux技术分享 -欧阳博客

上次介绍了coreseek与sphinx的区别，并详细记录了安装coreseek文档说明，以及给php加上sphinx模块，详细内容请参考我写的coreseek详解这篇文档，这次主要介绍sphinx是如何做到实时索引.首先配置进入到coreseek配置文件目录，对原始配置文件进行配制，这里介略说下coreseek配制文件，主要分为主数据源，增量数据源，主索引，增量索引，索引器配制、以及还有守护进程配制。如果应用在大型系统上还会涉及到分布式索引，和增量分布式索引，由于分布式索引过于复杂，这里就不说.下面贴出我在项目中用到的sphinx配制文件

  
##主数据源

source main

{

  type					= mysql

  sql_host				= localhost

  sql_user				= root

  sql_pass				=

  sql_db					= test

  sql_port				= 3306	# optional, default is 3306

  sql_sock				= /tmp/mysql.sock

   sql_query_pre			= SET NAMES utf8

#	 sql_query_pre			= SET SESSION query_cache_type=OFF

  sql_query_pre = replace into sph_counter select 1,max(id) from post

  sql_query=select id,title,content from post where id <=(select max_doc_id from sph_counter where count_id = 1)

  sql_ranged_throttle	= 0

  sql_query_info		= SELECT * FROM post WHERE id=$id

}

#增量数据源

source delta : main

{

  sql_query_pre=set names utf8

  sql_query=select id,title,content from post where id >(select max_doc_id from sph_counter where count_id = 1)

}

#主索引

index main

{

  source			= main

  path			= /usr/local/coreseek/var/data/main

  docinfo			= extern

  mlock			= 0

  morphology		= none

  min_word_len		= 1

  charset_type		= zh_cn.utf-8

  charset_dictpath	= /usr/local/mmseg/etc/

  html_strip				= 0

}

#增量索引

index delta : main

{

  source=delta

  path			= /usr/local/coreseek/var/data/delta

#	morphology		= stem_en

}

##索引器

indexer

{

  mem_limit			= 128M

}

###守护进程设置

searchd

{

  log					= /usr/local/coreseek/var/log/searchd.log

  query_log			= /usr/local/coreseek/var/log/query.log

  read_timeout		= 5

  client_timeout		= 300

  max_children		= 30

  pid_file			= /usr/local/coreseek/var/log/searchd.pid

  max_matches			= 1000

  seamless_rotate		= 1

  preopen_indexes		= 0

  unlink_old			= 1

  mva_updates_pool	= 1M

  max_packet_size		= 8M

  max_filters			= 256

  max_filter_values	= 4096

}

上面请注意我的sql语句的写法，这里是一个核心，也是决定sphinx能否配置成功的一个关键,下面贴出sph_counter和post表结构,这里做下说明sph_count表是与sphinx实时索引相关的表

  
CREATE TABLE `post` (

  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `title` varchar(254) NOT NULL,

  `content` text,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=42 DEFAULT CHARSET=utf8;

CREATE TABLE `sph_counter` (

  `count_id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `max_doc_id` int(11) DEFAULT NULL,

  PRIMARY KEY (`count_id`)

) ENGINE=MyISAM AUTO_INCREMENT=2 DEFAULT CHARSET=utf8

下面通过一段程序介绍shpinx如何实现高显示和实时索引

  
<html>

  <head>

    <title>spinx</title>

    <meta charset="utf-8" />

  </head>

  <body>

    <form action="find.php" method="post">

      <input type="text"  name="search"/>

      <input type="submit" value="提交">

    </form>

  </body>

</html>
  
header("content-type:text/html;charset=utf-8");

  $keyword = $_POST['search'];

  $sphinx = new SphinxClient();

  $sphinx->SetServer("localhost",9312);

  $sphinx->SetMatchMode(SPH_MATCH_ANY);

  $result=$sphinx->query("$keyword","*");

  $key = array_keys($result['matches']);

  $ids = implode(',',$key);

  $conn = mysql_connect('localhost','root','')or die('mysql connect failed');

  mysql_select_db('test');

  mysql_set_charset('utf8',$conn);

  $sql = "select * from post where id in($ids)";

  $res = mysql_query($sql);

  $opt = array("before_match"=>"<font style='font-weight:bold;color:#f00'>","after_match"=>"</font>");

  while($row=mysql_fetch_assoc($res)){

    echo '<pre>';

                //这里为sphinx高亮显示

    $rows = $sphinx->buildExcerpts($row,"main",$keyword,$opt);

    print_r($rows);

  }

        $sphinx->close();

运行之后结果展示

做到这里以经完成了一大半，但还没有做到实时索引，假设数据库表里面的数据增加就没有办法搜索到新增的数据,这里写了一个shell脚本 main.sh

  
#!/bin/bash

 /usr/local/coreseek/bin/inderer main --rotate >>/usr/local/coreseek/var/log/main.log

脚本delta.sh

  
#!/bin/bash

/usr/local/coreseek/bin/inderer delta --rotate >>/usr/local/coreseek/var/log/delta.log

然后将这两个脚本放在linux定时任务器每一分钟执行一次,代码如下

  
*/5 * * * * /usr/local/coreseek/init/delta.sh

00 03 * * * /usr/local/coreseek/init/main.sh

完毕，另外在说一点，sphinx操作的表必须要有主键。

sphinx实时索引和高亮显示的更多相关文章

  1. Sphinx 实时索引

    index rt { type = rt rt_mem_limit = 512M path = /usr/local/sphinx/data/rt rt_field = title rt_field ...

  2. Sphinx实时索引

    数据库中的数据很大,然后我有些新的数据后来加入到数据库中,也希望能够检索到,全部重新建立索引很消耗资源,这样需要用到“主索引+增量索引”的思路来解决,这个模式实现的基本原理是设置两个数据源和两个索引. ...

  3. sphinx 增量索引 实现近实时更新

    一.sphinx增量索引的设置   数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万条 ...

  4. Sphinx 增量索引更新

    是基于PHP API调用,而不是基于sphinxSE.现在看来sphinxSE比API调用更简单的多,因为之前没有想过sphinxSE,现在先把API的弄明白.涉及到的:sphinx 数据源的设置,简 ...

  5. sphinx 增量索引 及时更新、sphinx indexer索引合成时去旧和过滤办法(转)

    一.sphinx增量索引的设置    数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万 ...

  6. Coreseek:部门查询和增量索引代替实时索引

    1.行业调查 索引系统需要通过主查询来获取所有的文档信息,一个简单的实现是整个表的数据到内存,但是这可能会导致整个表被锁定,并且使其它操作被阻止(例如:在MyISAM格款式上INSERT操作).同时, ...

  7. Coreseek:区段查询及增量索引取代实时索引

    1.区段查询 索引系统须要通过主查询来获取所有的文档信息,一种简单的实现是将整个表的数据读入内存,可是这可能导致整个表被锁定并使得其它操作被阻止(比如:在MyISAM格式上的INSERT操作),同一时 ...

  8. sphinx增量索引使用

    sphinx在使用过程中如果表的数据量很大,新增加的内容在sphinx索引没有重建之前都是搜索不到的. 这时可以通过建立sphinx增量索引,通过定时更新增量索引,合并主索引的方式,来实现伪实时更新. ...

  9. sphinx增量索引和主索引来实现索引的实时更新

    项目中文章的信息内容因为持续有新增,而文章总量的基数又比较大,所以做搜索的时候,用了主索引+增量索引这种方式来实现索引的实时更新. 实现原理: 1. 新建一张表,记录一下上一次已经创建好索引的最后一条 ...

随机推荐

  1. 在http请求中的Content-Type

    声明:multipart/form-data:既可以上传文件等二进制数据,也可以上传表单键值对,只是最后会转化为一条信息: x-www-form-urlencoded:只能上传键值对,并且键值对都是间 ...

  2. PHP中isset和empty的区别（最后总结）

    PHP的isset()函数 一般用来检测变量是否设置 格式:bool isset ( mixed var [, mixed var [, ...]] ) 功能:检测变量是否设置 返回值: 若变量不存在 ...

  3. Spring Framework 5.0 新特性

    Spring Framework 5.0是在Spring Framework 4.0之后将近四年内一次重大的升级. 在这个时间框架内,主要的发展之一就是Spring Boot项目的演变. Spring ...

  4. 化繁为简 经典的汉诺塔递归问题 in Java

    问题描述   在世界中心贝拿勒斯(在印度北部)的圣庙里,一块黄铜板上插着三根宝石针.印度教的主神梵天在创造世界的时候,在其中一根针上从下到上地穿好了由大到小的64片金片,这就是所谓的汉诺塔.不论白天黑 ...

  5. CentOS 引导 Win10 启动项

    因为无聊,所以想尝试一下双系统,所以在win10的基础之上,装了一个Linux系统,之前装过Ubuntu,几乎都是自动完成的无任何压力.但是想着Ubuntu好像更新换代有点快,所以换了个能用比较久的C ...

  6. include 和require的区别

    相同点:include和require 都能把另外一个文件包含到当前文件中. 不同点:1.使用include时,当包含的文件不存在时,系统会报出警告级别的错误,程序会继续往下执行.   使用requi ...

  7. webpack2使用ch4-向根目录index.html文件传参并使用参数 使用线上资源 压缩html

    1 webpack.config.js const webpack = require('webpack'), htmlWebpackPlugin = require('html-webpack-pl ...

  8. 数据库中删除语句Drop、Delete、Truncate的相同点和不同点的比较

    数据库删除语句的分别介绍: Delete:用于删除表中的行(注:可以删除某一行:也可以在不删除表的情况下(即意味着表的结构.属性.索引完整)删除所有行) 语法:删除某一行:Delete From 表名 ...

  9. live555_RTSP连接建立以及请求消息处理过程

    1,RTSP连接的建立过程    RTSPServer类用于构建一个RTSP服务器,该类同时在其内部定义了一个RTSPClientSession类,用于处理单独的客户会话.    首先创建RTSP服务 ...

  10. Python实现采集wordpress整站数据的爬虫

    最近爱上了python,就非常喜欢使用python来练手,在上次的基础上完善一下代码,实现采集wordpress程序的网站的整站数据的爬虫程序,本站也是采用的wordpress,我就拿吾八哥网(htt ...