sphinx实时索引和高亮显示

时间 2014-06-25 14:50:58  linux技术分享 -欧阳博客

上次介绍了coreseek与sphinx的区别，并详细记录了安装coreseek文档说明，以及给php加上sphinx模块，详细内容请参考我写的coreseek详解这篇文档，这次主要介绍sphinx是如何做到实时索引.首先配置进入到coreseek配置文件目录，对原始配置文件进行配制，这里介略说下coreseek配制文件，主要分为主数据源，增量数据源，主索引，增量索引，索引器配制、以及还有守护进程配制。如果应用在大型系统上还会涉及到分布式索引，和增量分布式索引，由于分布式索引过于复杂，这里就不说.下面贴出我在项目中用到的sphinx配制文件

  
##主数据源

source main

{

  type					= mysql

  sql_host				= localhost

  sql_user				= root

  sql_pass				=

  sql_db					= test

  sql_port				= 3306	# optional, default is 3306

  sql_sock				= /tmp/mysql.sock

   sql_query_pre			= SET NAMES utf8

#	 sql_query_pre			= SET SESSION query_cache_type=OFF

  sql_query_pre = replace into sph_counter select 1,max(id) from post

  sql_query=select id,title,content from post where id <=(select max_doc_id from sph_counter where count_id = 1)

  sql_ranged_throttle	= 0

  sql_query_info		= SELECT * FROM post WHERE id=$id

}

#增量数据源

source delta : main

{

  sql_query_pre=set names utf8

  sql_query=select id,title,content from post where id >(select max_doc_id from sph_counter where count_id = 1)

}

#主索引

index main

{

  source			= main

  path			= /usr/local/coreseek/var/data/main

  docinfo			= extern

  mlock			= 0

  morphology		= none

  min_word_len		= 1

  charset_type		= zh_cn.utf-8

  charset_dictpath	= /usr/local/mmseg/etc/

  html_strip				= 0

}

#增量索引

index delta : main

{

  source=delta

  path			= /usr/local/coreseek/var/data/delta

#	morphology		= stem_en

}

##索引器

indexer

{

  mem_limit			= 128M

}

###守护进程设置

searchd

{

  log					= /usr/local/coreseek/var/log/searchd.log

  query_log			= /usr/local/coreseek/var/log/query.log

  read_timeout		= 5

  client_timeout		= 300

  max_children		= 30

  pid_file			= /usr/local/coreseek/var/log/searchd.pid

  max_matches			= 1000

  seamless_rotate		= 1

  preopen_indexes		= 0

  unlink_old			= 1

  mva_updates_pool	= 1M

  max_packet_size		= 8M

  max_filters			= 256

  max_filter_values	= 4096

}

上面请注意我的sql语句的写法，这里是一个核心，也是决定sphinx能否配置成功的一个关键,下面贴出sph_counter和post表结构,这里做下说明sph_count表是与sphinx实时索引相关的表

  
CREATE TABLE `post` (

  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `title` varchar(254) NOT NULL,

  `content` text,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=42 DEFAULT CHARSET=utf8;

CREATE TABLE `sph_counter` (

  `count_id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `max_doc_id` int(11) DEFAULT NULL,

  PRIMARY KEY (`count_id`)

) ENGINE=MyISAM AUTO_INCREMENT=2 DEFAULT CHARSET=utf8

下面通过一段程序介绍shpinx如何实现高显示和实时索引

  
<html>

  <head>

    <title>spinx</title>

    <meta charset="utf-8" />

  </head>

  <body>

    <form action="find.php" method="post">

      <input type="text"  name="search"/>

      <input type="submit" value="提交">

    </form>

  </body>

</html>
  
header("content-type:text/html;charset=utf-8");

  $keyword = $_POST['search'];

  $sphinx = new SphinxClient();

  $sphinx->SetServer("localhost",9312);

  $sphinx->SetMatchMode(SPH_MATCH_ANY);

  $result=$sphinx->query("$keyword","*");

  $key = array_keys($result['matches']);

  $ids = implode(',',$key);

  $conn = mysql_connect('localhost','root','')or die('mysql connect failed');

  mysql_select_db('test');

  mysql_set_charset('utf8',$conn);

  $sql = "select * from post where id in($ids)";

  $res = mysql_query($sql);

  $opt = array("before_match"=>"<font style='font-weight:bold;color:#f00'>","after_match"=>"</font>");

  while($row=mysql_fetch_assoc($res)){

    echo '<pre>';

                //这里为sphinx高亮显示

    $rows = $sphinx->buildExcerpts($row,"main",$keyword,$opt);

    print_r($rows);

  }

        $sphinx->close();

运行之后结果展示

做到这里以经完成了一大半，但还没有做到实时索引，假设数据库表里面的数据增加就没有办法搜索到新增的数据,这里写了一个shell脚本 main.sh

  
#!/bin/bash

 /usr/local/coreseek/bin/inderer main --rotate >>/usr/local/coreseek/var/log/main.log

脚本delta.sh

  
#!/bin/bash

/usr/local/coreseek/bin/inderer delta --rotate >>/usr/local/coreseek/var/log/delta.log

然后将这两个脚本放在linux定时任务器每一分钟执行一次,代码如下

  
*/5 * * * * /usr/local/coreseek/init/delta.sh

00 03 * * * /usr/local/coreseek/init/main.sh

完毕，另外在说一点，sphinx操作的表必须要有主键。

sphinx实时索引和高亮显示的更多相关文章

  1. Sphinx 实时索引

    index rt { type = rt rt_mem_limit = 512M path = /usr/local/sphinx/data/rt rt_field = title rt_field ...

  2. Sphinx实时索引

    数据库中的数据很大,然后我有些新的数据后来加入到数据库中,也希望能够检索到,全部重新建立索引很消耗资源,这样需要用到“主索引+增量索引”的思路来解决,这个模式实现的基本原理是设置两个数据源和两个索引. ...

  3. sphinx 增量索引 实现近实时更新

    一.sphinx增量索引的设置   数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万条 ...

  4. Sphinx 增量索引更新

    是基于PHP API调用,而不是基于sphinxSE.现在看来sphinxSE比API调用更简单的多,因为之前没有想过sphinxSE,现在先把API的弄明白.涉及到的:sphinx 数据源的设置,简 ...

  5. sphinx 增量索引 及时更新、sphinx indexer索引合成时去旧和过滤办法(转)

    一.sphinx增量索引的设置    数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万 ...

  6. Coreseek:部门查询和增量索引代替实时索引

    1.行业调查 索引系统需要通过主查询来获取所有的文档信息,一个简单的实现是整个表的数据到内存,但是这可能会导致整个表被锁定,并且使其它操作被阻止(例如:在MyISAM格款式上INSERT操作).同时, ...

  7. Coreseek:区段查询及增量索引取代实时索引

    1.区段查询 索引系统须要通过主查询来获取所有的文档信息,一种简单的实现是将整个表的数据读入内存,可是这可能导致整个表被锁定并使得其它操作被阻止(比如:在MyISAM格式上的INSERT操作),同一时 ...

  8. sphinx增量索引使用

    sphinx在使用过程中如果表的数据量很大,新增加的内容在sphinx索引没有重建之前都是搜索不到的. 这时可以通过建立sphinx增量索引,通过定时更新增量索引,合并主索引的方式,来实现伪实时更新. ...

  9. sphinx增量索引和主索引来实现索引的实时更新

    项目中文章的信息内容因为持续有新增,而文章总量的基数又比较大,所以做搜索的时候,用了主索引+增量索引这种方式来实现索引的实时更新. 实现原理: 1. 新建一张表,记录一下上一次已经创建好索引的最后一条 ...

随机推荐

  1. day14<常见对象+>

    常见对象(正则表达式的概述和简单使用) 常见对象(字符类演示) 常见对象(预定义字符类演示) 常见对象(数量词) 常见对象(正则表达式的分割功能) 常见对象(把给定字符串中的数字排序) 常见对象(正则 ...

  2. LINUX通过PXE自动部署系统

    原理介绍 TFTP(Trivial File Transfer Protocol,简单文件传输协议)是TCP/IP 协议族中的一个用来在客户机与服务器之间进行简单文件传输的协议,提供不复杂.开销不大的 ...

  3. MySQL高级查询(二)

    EXISTS 和NOT EXISTS子查询 EXISTS子查询 语法:   SELECT ……… FROM 表名 WHERE EXISTS (子查询); 例: SELECT `studentNo` A ...

  4. httpd三种MPM的原理剖析

    html { font-family: sans-serif } body { margin: 0 } article,aside,details,figcaption,figure,footer,h ...

  5. bzoj1087 [SCOI2005][状压DP] 互不侵犯King （状压）

    在N×N的棋盘里面放K个国王,使他们互不攻击,共有多少种摆放方案.国王能攻击到它上下左右,以及左上左下右上右下八个方向上附近的各一个格子,共8个格子. Input 只有一行,包含两个数N,K ( 1 ...

  6. S2_SQL_第五章

    UNIQUE|FULLTEXT|SPATIAL:分别表示唯一索引,全文索引和空间索引,为可选参数index_name;指定索引名称table_name;指定创建索引表名colymn_name;指定需要 ...

  7. 2008-2009 ACM-ICPC, NEERC, Southern Subregional ContestF

    Problem F. Text Editor Input file: stdin Output file: stdout Time limit: 1 second Memory limit: 64 m ...

  8. Crossin 8-3;8-4

    8-3文件打开模式:r:只读模式.默认w:只写模式.会先清空文件a:追加写入模式,在文件末尾写入,不可读r+:打开一个文件用于读写.文件指针将会放在文件的开头,原文件内容不会清空b:二进制模式,与前面 ...

  9. 【转】python os.popen 超时问题

    python 版本 2.5.4 (在高版本python中提倡使用 subprocess.Popen 取代 os.popen) os.popen 会出现过长时间等待导致阻塞问题, 解决方法如下: [py ...

  10. 发布系统Git使用指南 - the Git Way to Use Git

    发布系统Git使用指南 --the Git Way to Use Git 背景 ​ 有文章曾归纳,Git是一套内容寻址文件系统,意思是,Git的核心是存储键值对^[1]^.显然,这样的形式不利于普通人 ...