sphinx实时索引和高亮显示

时间 2014-06-25 14:50:58  linux技术分享 -欧阳博客

上次介绍了coreseek与sphinx的区别，并详细记录了安装coreseek文档说明，以及给php加上sphinx模块，详细内容请参考我写的coreseek详解这篇文档，这次主要介绍sphinx是如何做到实时索引.首先配置进入到coreseek配置文件目录，对原始配置文件进行配制，这里介略说下coreseek配制文件，主要分为主数据源，增量数据源，主索引，增量索引，索引器配制、以及还有守护进程配制。如果应用在大型系统上还会涉及到分布式索引，和增量分布式索引，由于分布式索引过于复杂，这里就不说.下面贴出我在项目中用到的sphinx配制文件

  
##主数据源

source main

{

  type					= mysql

  sql_host				= localhost

  sql_user				= root

  sql_pass				=

  sql_db					= test

  sql_port				= 3306	# optional, default is 3306

  sql_sock				= /tmp/mysql.sock

   sql_query_pre			= SET NAMES utf8

#	 sql_query_pre			= SET SESSION query_cache_type=OFF

  sql_query_pre = replace into sph_counter select 1,max(id) from post

  sql_query=select id,title,content from post where id <=(select max_doc_id from sph_counter where count_id = 1)

  sql_ranged_throttle	= 0

  sql_query_info		= SELECT * FROM post WHERE id=$id

}

#增量数据源

source delta : main

{

  sql_query_pre=set names utf8

  sql_query=select id,title,content from post where id >(select max_doc_id from sph_counter where count_id = 1)

}

#主索引

index main

{

  source			= main

  path			= /usr/local/coreseek/var/data/main

  docinfo			= extern

  mlock			= 0

  morphology		= none

  min_word_len		= 1

  charset_type		= zh_cn.utf-8

  charset_dictpath	= /usr/local/mmseg/etc/

  html_strip				= 0

}

#增量索引

index delta : main

{

  source=delta

  path			= /usr/local/coreseek/var/data/delta

#	morphology		= stem_en

}

##索引器

indexer

{

  mem_limit			= 128M

}

###守护进程设置

searchd

{

  log					= /usr/local/coreseek/var/log/searchd.log

  query_log			= /usr/local/coreseek/var/log/query.log

  read_timeout		= 5

  client_timeout		= 300

  max_children		= 30

  pid_file			= /usr/local/coreseek/var/log/searchd.pid

  max_matches			= 1000

  seamless_rotate		= 1

  preopen_indexes		= 0

  unlink_old			= 1

  mva_updates_pool	= 1M

  max_packet_size		= 8M

  max_filters			= 256

  max_filter_values	= 4096

}

上面请注意我的sql语句的写法，这里是一个核心，也是决定sphinx能否配置成功的一个关键,下面贴出sph_counter和post表结构,这里做下说明sph_count表是与sphinx实时索引相关的表

  
CREATE TABLE `post` (

  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `title` varchar(254) NOT NULL,

  `content` text,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=42 DEFAULT CHARSET=utf8;

CREATE TABLE `sph_counter` (

  `count_id` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `max_doc_id` int(11) DEFAULT NULL,

  PRIMARY KEY (`count_id`)

) ENGINE=MyISAM AUTO_INCREMENT=2 DEFAULT CHARSET=utf8

下面通过一段程序介绍shpinx如何实现高显示和实时索引

  
<html>

  <head>

    <title>spinx</title>

    <meta charset="utf-8" />

  </head>

  <body>

    <form action="find.php" method="post">

      <input type="text"  name="search"/>

      <input type="submit" value="提交">

    </form>

  </body>

</html>
  
header("content-type:text/html;charset=utf-8");

  $keyword = $_POST['search'];

  $sphinx = new SphinxClient();

  $sphinx->SetServer("localhost",9312);

  $sphinx->SetMatchMode(SPH_MATCH_ANY);

  $result=$sphinx->query("$keyword","*");

  $key = array_keys($result['matches']);

  $ids = implode(',',$key);

  $conn = mysql_connect('localhost','root','')or die('mysql connect failed');

  mysql_select_db('test');

  mysql_set_charset('utf8',$conn);

  $sql = "select * from post where id in($ids)";

  $res = mysql_query($sql);

  $opt = array("before_match"=>"<font style='font-weight:bold;color:#f00'>","after_match"=>"</font>");

  while($row=mysql_fetch_assoc($res)){

    echo '<pre>';

                //这里为sphinx高亮显示

    $rows = $sphinx->buildExcerpts($row,"main",$keyword,$opt);

    print_r($rows);

  }

        $sphinx->close();

运行之后结果展示

做到这里以经完成了一大半，但还没有做到实时索引，假设数据库表里面的数据增加就没有办法搜索到新增的数据,这里写了一个shell脚本 main.sh

  
#!/bin/bash

 /usr/local/coreseek/bin/inderer main --rotate >>/usr/local/coreseek/var/log/main.log

脚本delta.sh

  
#!/bin/bash

/usr/local/coreseek/bin/inderer delta --rotate >>/usr/local/coreseek/var/log/delta.log

然后将这两个脚本放在linux定时任务器每一分钟执行一次,代码如下

  
*/5 * * * * /usr/local/coreseek/init/delta.sh

00 03 * * * /usr/local/coreseek/init/main.sh

完毕，另外在说一点，sphinx操作的表必须要有主键。

sphinx实时索引和高亮显示的更多相关文章

  1. Sphinx 实时索引

    index rt { type = rt rt_mem_limit = 512M path = /usr/local/sphinx/data/rt rt_field = title rt_field ...

  2. Sphinx实时索引

    数据库中的数据很大,然后我有些新的数据后来加入到数据库中,也希望能够检索到,全部重新建立索引很消耗资源,这样需要用到“主索引+增量索引”的思路来解决,这个模式实现的基本原理是设置两个数据源和两个索引. ...

  3. sphinx 增量索引 实现近实时更新

    一.sphinx增量索引的设置   数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万条 ...

  4. Sphinx 增量索引更新

    是基于PHP API调用,而不是基于sphinxSE.现在看来sphinxSE比API调用更简单的多,因为之前没有想过sphinxSE,现在先把API的弄明白.涉及到的:sphinx 数据源的设置,简 ...

  5. sphinx 增量索引 及时更新、sphinx indexer索引合成时去旧和过滤办法(转)

    一.sphinx增量索引的设置    数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到.全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少.例如.原来的数据有几百万 ...

  6. Coreseek:部门查询和增量索引代替实时索引

    1.行业调查 索引系统需要通过主查询来获取所有的文档信息,一个简单的实现是整个表的数据到内存,但是这可能会导致整个表被锁定,并且使其它操作被阻止(例如:在MyISAM格款式上INSERT操作).同时, ...

  7. Coreseek:区段查询及增量索引取代实时索引

    1.区段查询 索引系统须要通过主查询来获取所有的文档信息,一种简单的实现是将整个表的数据读入内存,可是这可能导致整个表被锁定并使得其它操作被阻止(比如:在MyISAM格式上的INSERT操作),同一时 ...

  8. sphinx增量索引使用

    sphinx在使用过程中如果表的数据量很大,新增加的内容在sphinx索引没有重建之前都是搜索不到的. 这时可以通过建立sphinx增量索引,通过定时更新增量索引,合并主索引的方式,来实现伪实时更新. ...

  9. sphinx增量索引和主索引来实现索引的实时更新

    项目中文章的信息内容因为持续有新增,而文章总量的基数又比较大,所以做搜索的时候,用了主索引+增量索引这种方式来实现索引的实时更新. 实现原理: 1. 新建一张表,记录一下上一次已经创建好索引的最后一条 ...

随机推荐

  1. ajax 发送json 后台接收 遍历保存进数据库

    前台怎么拿参数的我就不管了我也不会 反正用这个ajax没错 ajax 代码   一定要写明http请求类型  { contentType:"application/x-www-form-ur ...

  2. java集合系列——Map之TreeMap介绍（九）

    一.TreeMap的简介 TreeMap是一个有序的key-value集合,基于红黑树(Red-Black tree)的 NavigableMap实现.该映射根据其键的自然顺序进行排序,或者根据创建映 ...

  3. Linux入门之常用命令（13） crontab

    为当前用户创建cron服务 1.  键入 crontab  -e 编辑crontab服务文件 例如 文件内容如下: */2 * * * * /bin/sh /home/admin/jiaoben/bu ...

  4. windows下实现linux的远程访问以及linux上文件的上传和下载

    在网络性能.安全性.可管理性上,Linux有着其他系统无法比拟的强大优势,而服务器对这些方面要求特别高,因此Linux常常被用来做服务器使用.而当我们需要维护linux服务器的时候,就需要远程访问li ...

  5. Python系列之正则表达式详解

    Python 正则表达式模块 (re) 简介 Python 的 re 模块(Regular Expression 正则表达式)提供各种正则表达式的匹配操作,和 Perl 脚本的正则表达式功能类似,使用 ...

  6. java web Servlet学习笔记-2 请求重定向和请求转发的区别

    请求转发与请求重定向的区别 请求重定向和转发 1.请求重定向:浏览器的行为(通过响应对象HttpServletResponse来执行) 特点:可以重新定向访问其他Web应用下的资源 浏览器发出了2次请 ...

  7. django使用xlwt导出excel文件

    这里只是mark一下导出的方法,并没有做什么REST处理和异常处理. 维护统一的style样式,可以使导出的数据更加美观. def export_excel(request): # 设置HttpRes ...

  8. Excel导出插件

    前言 一个游戏通常需要10多个Excel表格或者更多来配置,一般会通过导出csv格式读取配置. 本文提供导出Excel直接生成c#文件,对应数据直接生成结构体和数组,方便开发排错和简化重复写每个表格的 ...

  9. 【转载】小tips: PC端传统网页试试使用Zepto.js进行开发

    Zepto.js设计之初专为移动端,不对一些古董浏览器支持.所以,尺寸很小,压缩后20K多一点,但是,jQuery压缩后,3.*版本要80多K,1.*版本则要90多K,4倍差距. 由于每个页面都会使用 ...

  10. maven的介绍

    刚来通信行业的国企上班,面试的时候很尴尬的问道"maven是干什么的?"""maven是项目管理工具吗?是怎么管理的?(理解类似于协同等办公OA一样的软件了)& ...