Hbase建模选择

日期 2017年3月17日	HBase建模记录
OLTP 应用场景：
OLAP 应用场景：
语音分析系统的应用场景
基于HBase的建模考虑
1.话单为主来考虑hbase的rowkey的生成规则：
1.1 原始语音文件的命名规则
dxaudio_$(ID)_$(CallNum)_$(CalledNum)_$(starttime)_$(stoptime)_$(Type)_$(rec).voc
表示规则：
$(ID)表示通话唯一标识；
$(CallNum)表示主叫号码
$(CalledNum)表示被叫号码
$(starttime)为通话开始时间；
型如：YYYYmmddHHMMSS，例：20100801120123表示2010年8月1日12点1分23秒创建。
$(stoptime)为通话结束时间，型同$(starttime)
$(datetime)为文件生成时间，型同$(starttime)，文件入库时间
$(Type)表示信道类型，见附录B
$(rec)为流水号，从00000至99999循环使用
相同$(datetime)的各个文件的$(rec)不相同
1.2业务上支持的字段
1.3 如何支持一条记录对不同结构的查询
1.4 倒排索引&搜索引擎
关键词查找的方法已经到了极限
互联网上的资料生成索引，总共分为三步
1）把资料编号；
2）把每篇资料内容切分成词
3）把词和资料编号的对应关系处理成 词è编号列表的形式
需考虑的问题：
1）资料（网页）收集的全、快、稳、新、
2）建立索引时要考虑质量、效率、赋权、周期、时效性、资源消耗问题
3）query的时候要考虑的问题 query分析、排序、筛选、展示、性能、、广告、推荐、个性化、
统计
4）整体上要考虑地域性、容灾、国际化、当地法律、返作弊、垂直需求、移动互联网等
1.5开源搜索引擎技术
1)Lucene,
他不是一个引擎产品而是一个类库，至今开源搜索引擎最好没有之一
使用java语音开发
基本涵盖了搜索引擎中的索引和检索两个核心部分的全部功能
抽象程度较好
2）solr
一个完整的搜索引擎产品
底层是基于Lucene
3） elasticSearch
产品级开源项目，
底层基于Lucene
提供Restful API的服务
Restful 就是直接通过HTTP协议收发请求和响应，接口比较清晰简单，是一种架构规则
结论：
搜索类应用程序的检索可以通过es来进行检索。