1 SolrCloud结构说明

  1. ZooKeeper集群:

a) ZooKeeper需要保证高可用, 需要搭建集群;

b) ZooKeeper需要进行投票和选举机制, 最少需要三个节点;

c) ZooKeeper的三个节点, 注意修改端口号不一样

  1. Solr集群:

a) 需要四个节点(Solr应用服务器);

b) 四台Tomcat部署4个 solr应用服务器;

c) 整个Collection分为两个分片: 每个分片均由两个副本组成.

2 环境的安装

2.1 环境说明

  • OS: CentOS 7.0
  • JDK: HotSpot(TM) 1.8.0_162
  • Tomcat: 8.0.53
  • ZooKeeper: 3.4.10
  • Solr: 4.10.4

2.2 部署并启动ZooKeeper集群

ZooKeeper集群的安装部署, 详细文档参见 ZooKeeper 01 - 什么是ZooKeeper + 部署ZooKeeper集群.

2.3 部署Solr单机服务

参考Solr04 - 在Jetty和Tomcat上部署Solr单机服务, 这里通过Tomcat的虚拟环境发布Solr项目.

(1) 创建SolrCloud的发布路径:

创建 /data/solr-cloud作为项目发布路径, 并赋予读写权限:

mkdir -p /data/solr-cloud && cd /data
chmod 644 solr-cloud

(2) 将apache-tomcat-8.0.53.tar.gz拷贝到/data/solr-cloud/tomcat下并解压:

mkdir -p /data/solr-cloud/tomcat && cd /data/solr-cloud/tomcat
tar -zxf apache-tomcat-8.0.53.tar.gz

(3) 解压solr.4.10.4.tgz:

solr.4.10.4.tgz拷贝到任意一台服务器的/data/solr-cloud下, 解压:

tar -zxf solr-4.10.4.tgz

(4) 找到Solr安装包example/webapps下的solr.war包, 解压缩:

cd /data/solr-cloud/solr-4.10.4/example/webapps
# 使用jar命令解压缩
jar -xvf solr.war solr
# 解压缩之后, 删除solr.war包, 防止Tomcat自动解压缩此包, 导致配置被覆盖
rm -rf solr.war

(5) 部署Solr项目: 创建存放Solr应用的目录, 并将解压后的solr.war拷贝至此目录下:

cd /data/solr-cloud
mkdir -p tomcat/display/solr
# 将所有文件拷贝至solr目录下
cp -r solr-4.10.4/example/webapps tomcat/display/solr

(6) 使用Tomcat的虚拟目录安装: 这里没有将Solr服务添加到Tomcat的webapps目录下, 所以需要修改Tomcat的 $TOMCAT_HOME/conf/server.xml文件, 添加Solr的服务路径:

说明: 这里将Solr服务部署在 /data/solr-cloud/tomcat/display/solr路径下.

<Host name="localhost" appBase="webapps"
unpackWARs="true" autoDeploy="true">
<!-- 配置访问路径, 效果为: http://ip:port/solr -->
<Context path="/solr" privileged="true"
docBase="/data/solr-cloud/tomcat/display/solr">
<Environment name="solr/home" type="java.lang.String" override="true"
value="/data/solr-cloud/tomcat/solrhome"/>
</Context>
<!-- ... ... -->
</Host>

参数说明:

path: 指定访问该Web应用的名称, 即 http://ip:8080/solr 中端口号之后的部分;

docBase: 指定Web应用的文件路径, 如果是war包, 必须加上后缀;

<Environment>节点就是设置solr/home的目录, 用来存放各个Collection的索引文件.

(7) 配置其他文件:

a. 拷贝Solr解压包下的log4j.properties文件至Solr服务的WEB-INF/classes下:

cd /data/solr-cloud
mkdir -p tomcat/display/solr/WEB-INF/classes
cp solr-4.10.4/example/resources/log4j.properties tomcat/display/solr/WEB-INF/classes

b. 拷贝Solr解压包下example/lib/ext中的所有jar包拷贝到Solr服务的WEB-INF/lib下:

cd /data/solr-cloud
cp -r solr-4.10.4/example/lib/ext/* tomcat/display/solr/WEB-INF/lib

c. 拷贝Solr解压包下example/solr下的solr.xml至solrhome下(必须存在, 否则Solr服务将不能正常启动):

cd /data/solr-cloud && mkdir -p tomcat/solrhome
cp -r solr-4.10.4/example/solr/solr.xml tomcat/solrhome

d. 拷贝Solr解压包下的example/solr/collection1至tomcat目录下的solrhome中, 用作SolrCore的配置文件:

cd /data/solr-cloud
cp -r solr-4.10.4/examplesolr/collection1 tomcat/solrhome

启动Tomcat后, 访问 http://ip:port/solr, 如果出现Solr Web管理页面, 说明单机版Solr部署完成.

2.4 添加Solr的索引库

(1) 在Solr的管理界面点击[Core Admin], 再点击[Add Core]这项, 系统提示instanceDir和dataDir必须存在, 否则将抛出如下错误:

new_core: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Could not load conf for core new_core: Error loading solr config from /data/solr-cloud/tomcat/solrhome/new_core/conf/solrconfig.xml

(2) 映射solrhome的位置:

vim /data/solr-cloud/tomcat/display/solr/WEB-INF/web.xml
# 删除40行和46行的注释, 如下:
<env-entry>
<env-entry-name>solr/home</env-entry-name>
<env-entry-value>/data/solr-cloud/tomcat/solrhome</env-entry-value>
<env-entry-type>java.lang.String</env-entry-type>
</env-entry>

(3) 重新启动Tomcat, 发现名为collection1的SolrCore已经加载上了:

其他注意事项:

a) 如果删除rm –rf /data/solr-cloud/tomcat/solrhome/collection1/core.properties文件, 集群启动后就没有collection;

b) 以后再次创建SolrCore时, 可以直接复制collection1目录, 修改core.properties文件中的name即可.

3 部署Solr集群服务(SolrCloud)

3.1 启动ZooKeeper

SolrCloud的部署需要依赖ZooKeeper, 需要先启动所有ZooKeeper服务器.

3.2 ZooKeeper管理配置文件

在分布式服务中, 多采用ZooKeeper统一管理配置文件, 这里Solr使用到的配置文件主要有schema.xmlsolrconfig.xml等, SolrCloud各个节点使用ZooKeeper统一管理的文件即可.

(1) 将Solr单机服务的配置文件交由ZooKeeper管理:

执行下述命令将Solr单机conf下的配置文件上传到ZooKeeper(此命令为一条命令):

cd /data/solr-cloud/solr-4.10.4/example/scripts/cloud-scripts

# 注意: 下面一长串只是一条命令, 不要太早回车哦~
sh zkcli.sh -zkhost 10.0.20.50:2181,10.0.20.51:2181,10.0.20.52:2181 -cmd upconfig -confdir /data/solr-cloud/tomcat/solrhome/collection1/conf -confname myconf

命令说明:

zkhost: 指定ZooKeeper集群的ip及端口号, 多个之间以半角逗号隔开;

cmd: 表示使用某个内部命令, 这里使用upconfig, 即更新配置信息;

confdir: 需要上传的配置文件所在的位置;

confname: 自定义上传后ZooKeeper管理的配置文件的名称.

(2) 使用ZooKeeper的服务器查询配置文件:

cd /data/zookeeper/zookeeper-3.4.10/bin/
sh zkCli.sh # 信息如下:
......
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[configs, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /configs
[myconf]
[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf
[currency.xml, mapping-FoldToASCII.txt, protwords.txt, scripts.conf, synonyms.txt, stopwords.txt, _schema_analysis_synonyms_english.json, velocity, admin-extra.html, update-script.js, _schema_analysis_stopwords_english.json, solrconfig.xml, admin-extra.menu-top.html, elevate.xml, schema.xml, clustering, mapping-ISOLatin1Accent.txt, _rest_managed.json, xslt, spellings.txt, lang, admin-extra.menu-bottom.html]
[zk: localhost:2181(CONNECTED) 3] quit
Quitting...
2018-10-25 21:27:08,122 [myid:] - INFO [main:ZooKeeper@684] - Session: 0x166a788acfd0001 closed
2018-10-25 21:27:08,126 [myid:] - INFO [main-EventThread:ClientCnxn$EventThread@519] - EventThread shut down for session: 0x166a788acfd0001

3.3 修改SolrCloud监听端口

修改每个Solr服务的/usr/local/solr-cloud/solr.xml文件中的hostPort(此端口默认为Jetty容器的访问端口8983). 如果在catalina.sh中指定, 此处的设置将被覆盖.

<solrcloud>
<str name="host">${host:}</str>
<int name="hostPort">${jetty.port:8080}</int>
<str name="hostContext">${hostContext:solr}</str>
<int name="zkClientTimeout">${zkClientTimeout:30000}</int>
<bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>

3.4 关联Solr与ZooKeeper

即关联Tomcat与ZooKeeper, 修改每一台Solr服务所属的tomcat/bin/catalina.sh, 指定ZooKeeper服务的地址:

vim /data/solr-cloud/tomcat/apache-tomcat-8.0.53/bin/catalina.sh
# 在cygwin=false(大约109行)之前, 通过-DzkHost参数指定ZooKeeper的IP和端口号:
JAVA_OPTS="$JAVA_OPTS -DzkHost=zoo1:2181,zoo2:2181,zoo3:2181"

可以使用vim的查找功能查找JAVA_OPTS的定义的位置: 按[Esc], 在命令模式下输入:/cygwin, 然后回车, 按字母[n]查找下一个.

3.5 分发SolrCloud服务

cd /data
scp -r solr-cloud/ 10.0.20.51:/data
scp –r solr-cloud/ 10.0.21.52:/data

3.6 启动所有Solr服务

在启动ZooKeeper集群后, 依次启动所有Solr服务 --- 即Tomcat.

3.7 访问SolrCloud

访问任意一台Solr, 左侧菜单将出现[Cloud]功能按钮, 点击查看, 出现下图中的信息, 说明SolrCloud部署成功.

参考资料

solr7.3.1在CentOS7上的安装

solrCloud+tomcat+zookeeper集群配置

版权声明

作者: 马瘦风

出处: 博客园 马瘦风的博客

您的支持是对博主的极大鼓励, 感谢您的阅读.

本文版权归博主所有, 欢迎转载, 但请保留此段声明, 并在文章页面明显位置给出原文链接, 否则博主保留追究相关人员法律责任的权利.

Solr 11 - Solr集群模式的部署(基于Solr 4.10.4搭建SolrCloud)的更多相关文章

  1. K8S从入门到放弃系列-(11)kubernetes集群网络Calico部署

    摘要: 前面几个篇幅,已经介绍master与node节点集群组件部署,由于K8S本身不支持网络,当 node 全部启动后,由于网络组件(CNI)未安装会显示为 NotReady 状态,需要借助第三方网 ...

  2. 10. ZooKeeper之搭建伪集群模式。

    转自:https://blog.csdn.net/en_joker/article/details/78673456 在集群和单机两种模式下,我们基本完成了分别针对生产环境和开发环境ZooKeeper ...

  3. Solr系列二:solr-部署详解(solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解)

    一.solr两种部署模式介绍 Standalone Server 独立服务器模式:适用于数据规模不大的场景 SolrCloud  分布式集群模式:适用于数据规模大,高可靠.高可用.高并发的场景 二.独 ...

  4. 来了,老弟!__二进制部署kubernetes1.11.7集群

    Kubernetes容器集群管理 Kubernetes介绍 Kubernetes是Google在2014年6月开源的一个容器集群管理系统,使用Go语言开发,Kubernetes也叫K8S.K8S是Go ...

  5. Redis集群模式部署

    以下以Linux(CentOS)系统为例 1.1 下载和编译 $ wget http://download.redis.io/releases/redis-4.0.7.tar.gz $ tar xzf ...

  6. redis解决方案之三种集群模式的概念与部署

    上篇文章为大家总结了redis命令并讲述了持久化,今天我们来看一下redis的三种集群模式:主从复制,哨兵集群,Cluster集群 本篇文章先介绍redis-cluster集群模式,然后再依次介绍它的 ...

  7. Docker 部署 RocketMQ Dledger 集群模式( 版本v4.7.0)

    文章转载自:http://www.mydlq.club/article/97/ 系统环境: 系统版本:CentOS 7.8 RocketMQ 版本:4.7.0 Docker 版本:19.03.13 一 ...

  8. 【待补充】Spark 集群模式 && Spark Job 部署模式

    0. 说明 Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 [ Local ] 使用一个 JVM 模拟 Spark 集群 [ Standalone ...

  9. Spark Tachyon编译部署(含单机和集群模式安装)

    Tachyon编译部署 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1.Tachyon编译部署 Tachyon目前的最新发布版为0.7.1,其官方网址为http://tac ...

随机推荐

  1. iOS 轻击、触摸和手势的检测

    一.检测捏合手势( UIPinchGestureRecognizer):  //设定一个实例变量存储手指之间的其起始距离 @property (assign, nonatomic) CGFloat i ...

  2. 关于LP Wizard生成Allegro封装无焊盘的解决方案

    最近在学Allegro,安装了软件后看网上说LP Wizard可以一键生成Allegro封装,就想去尝尝鲜.毕竟一直都是手动做封装,没怎么用过向导.但是按照网上教程用LP生成了一个封装,发现打开时没有 ...

  3. 利用JavaFx开发RIA桌面应用-在线资料

    转载请注明来源-作者@loongshawn:http://blog.csdn.net/loongshawn/article/details/52805751 1.前言 虽说java已经不是主流的桌面应 ...

  4. jQuery各类选择器

  5. Oracle在.sql文件中创建存储过程

    创建存储过程的语法网上到处都有. 可我执行了半天都创建不成功. 最后,发现! 在最后加个 / 就可以了!!! 真坑啊 今天连续被Oracle坑了两次了. 最后,感谢这个人https://blog.cs ...

  6. Blocks [POJ3734] [矩阵快速幂]

    题意: 有长度为n的一排格子,每个格子里面可以任意填入1,2,3,4四个数字,问1,2都为偶数个的方案 T组数据,每组数据一个n(<=1e9) 样例输入 2 1 2 样例输出 2 6 分析 设d ...

  7. MD5加密过时方法替换

    使用System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile进行MD5加密时,会出现已过时 /// < ...

  8. 浅谈MVC模式与MVVM模式的区别

    MVC模式: M:Model(数据模型),用于存放数据 V:View(视图),也就是用户界面 C:Controller是Model和View的协调者,Controller把Model中的数据拿过来给V ...

  9. 使用Apache服务部署静态网站

    1970年,作为互联网前身的ARPANET(阿帕网)已初具雏形,并开始向非军用部门开放,许多大学和商业部门开始接入.虽然彼时阿帕网的规模(只有4台主机联网运行)还不如现在的局域网成熟,但是它依然为网络 ...

  10. SQA计划和验收测试规程设计

    一.SQA(软件质量保证)的定义 软件质量保证(SQA-Software Quality Assurance)是建立一套有计划,有系统的方法,来向管理层保证拟定出的标准.步骤.实践和方法能够正确地被所 ...