最近要做一个搜索自动补全的功能(目前只要求做最前匹配),自动补全就是自动提示,类似于搜索引擎,再上面输入一个字符,下面会提示多个关键词供参考,比如你输入 nb 2字符, 会自动提示nba,nba录像,nba直播 . 能想到的一般有3种解决方案 1.利用mysql来做,只能使用 like 'nb%'这样的方式来完成,虽然最前匹配是能够利用到索引的,但是这种做法效率太低.. 2.利用搜索分词来实现,比如sphinx ,讯搜,elasticsearch , 一般都是采用此方案. 3.网上查了下,通过r

一次使用 Redis 优化查询性能的实践   应用背景 有一个应用需要上传一组ID到服务器来查询这些ID所对应的数据,数据库中存储的数据量是7千万,每次上传的ID数量一般都是几百至上千数量级别. 以前的解决方案 数据存储在Oracle中,为ID建立了索引: 查询时,先将这些上传的ID数据存储到临时表中,然后用表关联的方法来查询. 这样做的优点是减少了查询次数(不用每个ID都查询一次),减少了解析SQL的时间(只需要执行1次查询SQL,但是多了插入数据的SQL处理时间). 但是这样的设计仍然存在巨

前言:JS输入框模糊匹配插件以前在工作写过一个类似的 所以这次写轻松很多,这次写优化了几个方面: 1. 添加动态加载css文件 不需要引入css css全部在JS动态生成. 2. 不需要额外的标签 只需要一个input输入框 并且默认指定一个class类名为 "inputElem" 当然也可以自己配置参数 还需要一个当前父级容器增加一个默认类名 parentCls(也可以自己配置),因为输入框匹配值后需要一个隐藏域 所以需要隐藏域增加一个class "hiddenCls&qu

Android Tasker应用之自动查询并显示话费流量套餐信息 虽然Android平台有非常多的流量监控软件,但最准确的流量数据还是掌握在运营商手里.有些朋友可能像我一样时不时地发短信查询流量信息,这个操作在智能手机上显得太不智能了,本文将用Tasker让这个操作变得智能化. 1.功能需求 每天早上闹钟响时,Tasker自动发送短信给运营商查询套餐信息.收到短信后Tasker自动分析短信内容,并将话费余额,流量信息等显示在桌面上. 用户可以手动随时给运营商发短信查询,Tasker自动判断为套餐

因为我的个人网站 restran.net 已经启用,博客园的内容已经不再更新.请访问我的个人网站获取这篇文章的最新内容,一次使用 Redis 优化查询性能的实践 应用背景 有一个应用需要上传一组ID到服务器来查询这些ID所对应的数据,数据库中存储的数据量是7千万,每次上传的ID数量一般都是几百至上千数量级别. 以前的解决方案 数据存储在Oracle中,为ID建立了索引: 查询时,先将这些上传的ID数据存储到临时表中,然后用表关联的方法来查询. 这样做的优点是减少了查询次数(不用每个ID都查询一次

前提:本文仅作为技术训练,不可利用技术做非法的事. 某考试的成绩查询页面如下:查询成绩需要的数据有准考证号或者身份证.考生姓名.验证码.现在使用python来实现自动查询指定人员的考试成绩(不知道准考证号的前提下).主要使用的包有Tesseract-OCR.PIL.execjs.pytesseract.BeautifulSoup 查询页面: 入围名单: 包的功能介绍: execjs:由于查询成绩参数加密后发送给服务器,这里使用调用原网站的加密函数加密查询字符串. BeautifulSoup:建立

Redis 如何保证高效的查询效率 为什么 Redis 比较快 Redis 中的数据结构 1.简单动态字符串 SDS 对比 c 字符串的优势 SDS可以常数级别获取字符串的长度 杜绝缓冲区溢出 减少修改字符串时带来的内存分配次数 二进制安全 兼容部分C字符串函数 2.链表 3.字典 4.跳表 5.整数数组 6.压缩列表 为什么单线程还能很快 基于多路复用的高性能I/O模型 单线程处理IO请求性能瓶颈 总结 参考 Redis 如何保证高效的查询效率 为什么 Redis 比较快 Redis 中的查询

Redis 慢查询   许多存储系统提供慢查询日志帮助开发和运维人员定位系统的慢操作.慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阈值就将这条命令的相关信息记录下来Redis提供了相关的功能. 慢查询的两个配置参数 slowlog-log-slower-than slowlog-max-len   slowlog-log-slower-than:设置阈值,他的单位是微秒(1秒=1000毫秒=1000000微秒),默认值是10000,超过阈值的命令都将被记录到慢查询日志中.

2014-06-01 BaoXinjian

说明:针对慢查询日志,可以设置两个参数,一个是执行时长,单位为微秒,另一个是慢查询日志的长度.如果超过该长度,当一个新的命令被写入日志时,最老的一条会从命令日志队列中被移除. 编辑配置文件redis.conf: slowlog-log-slower-than 1000 ## 单位ms,表示慢于1000ms则记录日志 slowlog-max-len 128 ## 定义日志长度,表示最多存128条 查看redis慢查询操作: slowlog get ## 列出所有的慢查询日志 slowlog get

Redis主从配置及通过Keepalived实现Redis自动切换高可用 [日期:2014-07-23] 来源:Linux社区  作者:fuquanjun [字体:大 中 小]   一:环境介绍: Master: 192.168.1.4 Slave: 192.168.1.5 Virtural IP Address (VIP): 192.168.1.253 二:设计思路: 当 Master 与 Slave 均运作正常时, Master负责服务,Slave负责Standby: 当 Master 挂掉

redis 慢查询 什么是慢查询 MySQL会记录下查询超过指定时间的语句,我们将超过指定时间的SQL语句查询称为慢查询,都记在慢查询日志里. redis 的生命周期 客户端向Redis服务器发送命令 命令请求在请求队列中排队等待处理 执行命令 返回命令结果 redis 慢查询 慢查询发生在生命周期的第三阶段,是指仅仅执行命令阶段比较慢被称为慢查询. 客户端超时不一定是慢查询,但是慢查询时是客户端超时的一个可能因素. redis 慢查询相关配置 1. slowlog-max-len 它决定了慢查

redis范围查询应用. 需求 根据IP找到对应的城市 原来的解决方案 oracle表(ip_country): 查询IP对应的城市: 1.把a.b.c.d这样格式的IP转为一个数字,例如为把210.21.224.34转为3524648994 2. select city from ip_country where ipstartdigital <= 3524648994 and 3524648994 <=ipenddigital redis解决方案 我们先把上面的表简化一下: id city

前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能,从而可以方便我们在实际工作中,进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素. 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务.接下来主要分析Redis单线程命令处理机制,接着分析Redis单线程模型为什么性能如此之高. 单线程命令的处理机制 Redis客户端与服务端的模型主要是下图所示. 每次客户端调用都经历了发送命令.执行命令.返回结果三个

如果使用redis的频次较高,那么业务中经常会出现需要根据关键字进行批量查询,所以总结一下StackExchange中使用批量查询的方法(如果数据量很大,那么在redis中模糊查询很耗时,请慎用!) 初始化redis连接对象: string _connectionString = ConfigurationManager.ConnectionStrings["RedisConnectionString"].ConnectionString; ConnectionMultiplexer

一. 问题场景 Redis 作为当前最流行的内存型 NoSQL 数据库,被许多公司所使用,作为分布式缓存.我们在实际使用中一般都会为 key 带上指定的前缀或者其他定义的格式.当由于我们程序出现bug,造成 redis 里面的存储的值,与我们预期的不一致时,我们可以通过查询指定格式的 key,来定位到我们具体的出现问题的key,从而方便我们解决问题. 二. 解决办法 1.Keys 命令 Keys 命令用于查找所有符合给定模式 pattern 的 key .要求 Redis 版本大于 1.0.0.

目的: 对于查询接口所得到的数据,只需要配置注解,就自动存入redis!此后一定时间内,都从redis中获取数据,从而减轻数据库压力. 示例: package com.itliucheng.biz; import com.itliucheng.annotation.CacheKey; import com.itliucheng.annotation.Cacheable; import org.springframework.stereotype.Service; import java.util

初始化连接对象 _connectionString = ConfigurationManager.ConnectionStrings["RedisConnectionString"].ConnectionString; _connMultiplexer = ConnectionMultiplexer.Connect(_connectionString); _db = _connMultiplexer.GetDatabase(db); 通过 keys或scan查找出匹配的key,Stac

创建一条测试 数据 查询 创建:set name xiaoming 查询: get name 1.模糊搜索查询 Redis 模糊搜索 keys * 2.删除指定key : # 删除所有以user开头的key 可以这样实现: # redis-cli keys "user*" ) "user1" ) "user2" # redis-cli keys "user*" | xargs redis-cli del (integer) #

最近在学习redis,虽然现在还不是很熟练.不过可以进行简单的框架整合开发. IDE:我使用的是IDEA.springmvc+spring+mybatis的整合这个我就不多说了,下面我们先进行这块的整合,最后在加入redis.下边这块就直接上代码. 源码:https://gitee.com/smfx1314/springmvcredis.git 首先看一下我的工程结构: 第一步:在pox.xml中引入jar <?xml version="1.0" encoding="U

目的: 对于查询接口所得到的数据,只需要配置注解,就自动存入redis!此后一定时间内,都从redis中获取数据,从而减轻数据库压力. 示例: package com.itliucheng.biz; import com.itliucheng.annotation.CacheKey; import com.itliucheng.annotation.Cacheable; import org.springframework.stereotype.Service; import java.util