Solr 读数据流程: 1.用户提供搜索关键词,也就是搜索语句,需要经过分词器处理以及语言处理. 2.对处理之后的关键词,搜索索引找出对应Document 即记录. 3.用户根据需要从找到的Document中提取需要的Field字段.…

HDFS数据存储 HDFS client上传数据到HDFS时,首先,在本地缓存数据,当数据达到一个block大小时.请求NameNode分配一个block. NameNode会把block所在的DataNode的地址告诉HDFS client. HDFS client会直接和DataNode通信,把数据写到DataNode节点一个block文件里. 核心类DistributedFileSystem HDFS写数据流程 客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接…

namenode元数据管理要点 1.什么是元数据? hdfs的目录结构及每一个文件的块信息(块的id,块的副本数量,块的存放位置<datanode>) 2.元数据由谁负责管理? namenode 3.namenode把元数据记录在哪里? namenode的实时的完整的元数据存储在内存中: namenode还会在磁盘中(dfs.namenode.name.dir)存储内存元数据在某个时间点上的镜像文件: namenode会把引起元数据变化的客户端操作记录在edits日志文件中: secondar…

Solr 写数据流程: 1.源字符串首先经过分词器处理,包括:拆分词以及去除stopword. 2.然后经过语言处理,包括大小写转换以及单词转换. 3.将源数据中需要的信息加入到Document中的各个Field字段中,并把需要索引的Field字段索引起来,同时把需要存储的Field字段存储起来.然后将索引写入存储器,存储器可以是内存或者磁盘.…

solr索引创建流程: 分词组件Tokenizer 分词组件(Tokenizer)会做以下几件事情(这个过程称为:Tokenize),处理得到的结果是词汇单元(Token). 1.将文档分成一个一个单独的单词. 2.去除标点符号. 3.去除停词(stop word). 语言处理组件 语言处理组件(linguistic processor)主要是对得到的词元(Token)做一些语言相关的处理.对于英语,语言处理组件(Linguistic Processor)一般做以下几点: 1.变为小写(Lowe…

HDFS读数据流程 假设客户端请求下载文件/user/atguigu/ss.avi,HDFS读数据流程如下: 1)客户端向namenode请求下载文件,namenode通过查询元数据,找到文件所有文件块及所在的datanode地址. 2)挑选一台datanode(就近原则,然后随机)服务器,请求读取数据. 3)datanode开始传输数据给客户端(从磁盘里面读取数据放入流,以packet为单位来做校验). 4)客户端以packet为单位接收,先在本地缓存,然后合并写入目标文件.…

Solr配置 Solr的主要功能是全文检索,该功能分为两个过程:创建索引和对索引进行搜索: 在创建索引之前,需要重点关注两个配置文件:SOLR_HOME/collection1/conf/schema.xml(定义Document的结构类似定义DB的表结构) & solrconfig.xml(solr运行配置如请求如何被处理):在Solr创建索引的过程中,每条数据被抽象成一个Document(文档),每条数据的属性被抽象成Field(字段),Solr原生支持XML,JSON,CSV格式的Docu…

Solr4.8.0源码分析(7)之Solr SPI 查看Solr源码时候会发现,每一个package都会由对应的resources. 如下图所示: 一时对这玩意好奇了,看了文档以后才发现,这个services就是java SPI机制.首先介绍下java SPI机制,然后再结合Solr谈一下SPI. 1. JAVA SPI 当服务的提供者,提供了服务接口的一种实现之后,在jar包的META-INF/services/目录里同时创建一个以服务接口命名的文件.该文件里就是实现该服务接口的具体实现类.而…

Solr4.8.0源码分析(5)之查询流程分析总述 前面已经写到,solr查询是通过http发送命令,solr servlet接受并进行处理.所以solr的查询流程从SolrDispatchsFilter的dofilter开始.dofilter包含了对http的各个请求的操作.Solr的查询方式有很多,比如q,fq等,本章只关注select和q.页面下发的查询请求如下:http://localhost:8080/solr/test/select?q=code%3A%E8%BE%BD*+AND+l…

一.HBase读数据流程 1.Client访问Zookeeper,从ZK获取-ROOT-表的位置信息,通过访问-ROOT-表获取.META.表的位置,然后确定数据所在的HRegion位置: 2.Client访问HRegion所在的HRegionServer,通过HRegionServer获取需要查找的数据: 3.Client到HRegion的中去查找数据,首先到MemStore中查找,查到直接返回:查不到就去ClockCache中查找,查到直接返回:再查不到就去StoreFile中读数据,把读到…