Solr学习笔记(4) —— SolrCloud的概述和搭建

一、概述

1.1 什么是SolrCloud

　　Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库；

　　Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式。

　　SolrCloud(solr 云)是Solr提供的分布式搜索方案。当索引量很大，搜索请求并发很高，一个单一的系统无法满足磁盘需求，查询速度缓慢，此时就需要SolrCloud。在分布式索引中，原来的大索引，将会分成多个小索引，solr可以将这些小索引返回的结果合并，然后返回给客户端。

　　SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。

　　它有几个特色功能：

• 集中式的配置信息：使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper，多机器共用。这些ZK中的配置不会再拿到本地缓存，Solr直接读取ZK中的配置信息。配置文件的变动，所有机器都可以感知到。

  另外，Solr的一些任务也是通过ZK作为媒介发布的。目的是为了容错。接收到任务，但在执行任务时崩溃的机器，在重启后，或者集群选出候选者时，可以再次执行这个未完成的任务。

• 自动容错：SolrCloud对索引分片，并对每个分片创建多个Replication。每个Replication都可以对外提供服务。一个Replication挂掉不会影响索引服务。更强大的是，它还能自动的在其它机器上帮你把失败机器上的索引Replication重建并投入使用。

• 近实时搜索：立即推送式的replication（也支持慢推送）。可以在秒内检索到新加入索引。

• 查询时自动负载均衡：SolrCloud索引的多个Replication可以分布在多台机器上，均衡查询压力。如果查询压力大，可以通过扩展机器，增加Replication来减缓。

• 自动分发的索引和索引分片：发送文档到任何节点，它都会转发到正确节点。

• 事务日志：事务日志确保更新无丢失，即使文档没有索引到磁盘。

1.2 Solr集群的系统架构

　　　　

【物理结构】

　　三个Solr实例（ 每个实例包括两个Core），组成一个SolrCloud。

【逻辑结构】

　　索引集合包括两个Shard（shard1和shard2），shard1和shard2分别由三个Core组成，其中一个Leader两个Replication，Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。

　　用户发起索引请求分别从shard1和shard2上获取，解决高并发问题。

• collection：Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard（分片），它们使用相同的配置信息。比如：针对商品信息搜索可以创建一个collection。（collection=shard1+shard2+....+shardX）

• Core：每个Core是Solr中一个独立运行单位，提供索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

• Master或Slave：Master是master-slave结构中的主结点（通常说主服务器），Slave是master-slave结构中的从结点（通常说从服务器或备服务器）。同一个Shard下master和slave存储的数据是一致的，这是为了达到高可用目的。

• Shard：Collection的逻辑分片。每个Shard被化成一个或者多个replication，通过选举确定哪个是Leader。

1.3 需要实现的solr集群架构

　　Zookeeper作为集群的管理工具，它的作用有：

　　　　1、集群管理：容错、负载均衡。

　　　　2、配置文件的集中管理

　　　　3、集群的入口

　　所以zookeeper需要实现高可用，即需要搭建集群。zookeeper有一个投票选举机制（选举出哪个节点是leader，哪个节点是follower），所以建议是奇数节点。需要3个zookeeper服务器，而1个Solr节点需要1台服务器，所以总共需要7台服务器。

　　这里搭建伪分布式：在一台服务器上搭建4个tomcat，3个zookeeper

　　建议虚拟机内存1.5G以上。

二、安装步骤

2.1 Zookeeper集群搭建

　　第一步：需要安装jdk环境。

　　第二步：把zookeeper的压缩包上传到服务器。

　　第三步：解压缩。

　　第四步：把zookeeper复制三份。

　　

　　第五步：在每个zookeeper目录下创建一个data目录

　　

　　第六步：在每个data目录下创建一个myid文件，文件名就叫做“myid”。内容分别为每个实例的id。例如1、2、3

　　

　　第七步：分别把conf目录下的zoo_sample.cfg文件改名为zoo.cfg。并修改配置文件（这3个zookeeper对应的zoo.cfg中，clientPort不同，可设为2181,2182,2183；server.1、server.2和server.3这部分要一致）

　　

　　

　　第八步：创建一个批处理zkServer.sh，启动每一个zookeeper实例

　　

cd zookeeper01/bin
./zkServer.sh start
cd ../../
cd zookeeper02/bin
./zkServer.sh start
cd ../../
cd zookeeper03/bin
./zkServer.sh start
cd ../../

　　第九步：修改zkServer.sh的权限

　　

　　第十步：执行zkServer.sh批处理文件，并查看每个zookeeper的状态

　　 

2.2 Solr集群的搭建

　　第一步：创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480

　　

　　

　　

　　

　　

------  知识点小贴士  ------
8005端口是用来关闭TOMCAT服务的端口。　　
8080端口，负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时，使用的就是这个连接器。
8009端口，负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时，就需要用到这个连接器。

　　第二步：部署solr的war包。把单机版的solr工程复制到集群中的tomcat中。

　　

　　第三步：为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份。

　　

　　第四步：修改solr的web.xml文件。把solrhome关联起来。（4个tomcat都要修改）

　　 

　　第五步：配置solrCloud相关的配置。每个solrhome下都有一个solr.xml，把其中的ip及端口号配置好。

　　

　　

　　第六步：修改tomcat/bin目录下的catalina.sh 文件，关联solr和zookeeper。

　　

• • 把此配置添加到配置文件中：（tomcat01-tomcat04都要添加）

    JAVA_OPTS="-DzkHost=192.168.25.135:2181,192.168.25.135:2182,192.168.25.135:2183"

    

　　　　JAVA_OPTS ,顾名思义,是用来设置JVM相关运行参数的变量 .  此配置用于在tomcat启动时找到 zookeeper集群。

　　第七步：让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可。

• • 使用工具上传配置文件：/usr/local/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

    ./zkcli.sh -zkhost 192.168.25.135:2181,192.168.25.135:2182,192.168.25.135:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrHome01/collection1/conf -confname myconf

　　　　　　参数解释：

　　　　　　-zkhost  ：指定zookeeper地址列表

　　　　　　-cmd    ：指定命令。upconfig 为上传配置的命令

　　　　　　-confdir  : 配置文件所在目录

　　　　　　-confname : 配置名称

• • 查看zookeeper上的配置文件：

　　　　

　　　　

• • 退出：

　　　　　　

• • 连接指定的zookeeper服务：

　　　　　　　　　　

　　第八步：启动每个tomcat实例。要保证zookeeper集群是启动状态。

• • 创建一个批处理命令：vim start-all-tomcat.sh

    /usr/local/solr-cloud/tomcat01/bin/startup.sh
    /usr/local/solr-cloud/tomcat02/bin/startup.sh
    /usr/local/solr-cloud/tomcat03/bin/startup.sh
    /usr/local/solr-cloud/tomcat04/bin/startup.sh 

  • 修改start-all-tomcat.sh的权限

  • 查看每个tomcat的启动状态

　　第九步：访问集群（需要关闭防火墙）

　　　　

　　第十步：创建新的Collection进行分片处理。

http://192.168.25.135:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

　　　　

　　　　

　　　第十一步：删除不用的Collection。

http://192.168.25.135:8180/solr/admin/collections?action=DELETE&name=collection1