Cloudera Search配置
一、集群机器配置信息
Cloudera集群机器:
10.2.45.104 GBD000.localdomain GBD000
10.2.45.105 GBD101.localdomain GBD101
10.2.45.106 GBD102.localdomain GBD102
10.2.45.107 GBD311.localdomain GBD311
10.2.45.108 GBD312.localdomain GBD312
10.2.45.109 GBD313.localdomain GBD313
10.2.45.125 GBD314.localdomain GBD314
10.2.45.126 GBD315.localdomain GBD315
其中10.2.45.105 GBD101.localdomain GBD101是namenode
Zookeeper集群机器:
10.2.45.105 GBD101.localdomain GBD101
10.2.45.106 GBD102.localdomain GBD102
10.2.45.107 GBD311.localdomain GBD311
Solr Server安装机器:
10.2.45.125 GBD314.localdomain GBD314
10.2.45.126 GBD315.localdomain GBD315
二、Solr安装配置
1、使用Cloudera Mamager,在以下机器上安装Solr Server。
10.2.45.125 GBD314.localdomain GBD314
10.2.45.126 GBD315.localdomain GBD315
在 HDFS 中创建 /solr 目录:(一般CM安装好Solr之后,在HDFS中已经创建了此目录)
$ sudo -u hdfs hadoop fs -mkdir /solr
$ sudo -u hdfs hadoop fs -chown solr /solr
2、编辑Solr配置文件
使用Parcels安装,Solr的配置文件位置为:
/opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/etc/default/solr
修改Zookeeper的连接地址:
SOLR_ZK_ENSEMBLE=<GBD101>:,<GBD102>:,<GBD311>:/solr
修改HDFS的连接地址:
SOLR_HDFS_HOME=hdfs://GBD101.localdomain:8020/solr
设置 HDFS 配置文件目录:
SOLR_HDFS_CONFIG=/etc/hadoop/conf
3、创建Solr运行时配置
在任意一个节点上生成配置文件:
#solrctl instancedir --generate #HOME/solr_configs
solrctl instancedir --generate /usr/local/solr/collection1
/usr/local/solr是已经创建好的自定义目录,collection1为是配置文件生成目录,不需要提前创建,名称可以自定义。
创建collection1实例并将配置文件上传到Zookeeper:
#solrctl instancedir --create collection1 #HOME/solr_configs
solrctl instancedir --create collection1 /usr/local/solr/collection1
通过以下命令查看上传的Instance:
solrctl instancedir --list
配置文件上传到Zookeeper之后,其他节点就可以从上面下载配置文件。接下来创建collection:
solrctl collection --create collection1 -s -r
其中-s表示设置Shard数为2,-r表示设置的replica数为1
以上步骤之后,Solr的实例就算创建完毕,可以通过可以通过http://10.2.45.126:8983/solr/#/~cloud查看创建的Collection。
参考文档:
中文版本Cloudera Solr Cloud 配置: http://ae.yyuap.com/pages/viewpage.action?pageId=919744
Cloudera官网配置文档
http://www.cloudera.com/documentation/enterprise/latest/topics/search_deploy_search_solrcloud.html#csig_topic_4_5
Cloudera Search配置的更多相关文章
- 基于Cloudera Manager5配置HIVE压缩
[Author]: kwu 基于Cloudera Manager5配置HIVE压缩,配置HIVE的压缩.实际就是配置MapReduce的压缩,包含执行结果及中间结果的压缩. 1.基于HIVE命令行的配 ...
- 基于Cloudera Search设计数据灾备方案
当实际项目上线到生产环境中,难以避免一些意外情况,如数据丢失.服务器停机等.对于系统的搜索服务来说,当遇到停机的情况意味着在停机这段时间内,用户都不能通过搜索的相关功能进行访问数据,停机意味着将这一段 ...
- How-to: Do Real-Time Log Analytics with Apache Kafka, Cloudera Search, and Hue
Cloudera recently announced formal support for Apache Kafka. This simple use case illustrates how to ...
- 2.1、CDH 搭建Hadoop在安装(为Cloudera Manager配置存储库)
步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu. ...
- 1.3.5、CDH 搭建Hadoop在安装之前(端口---Cloudera Search使用的端口)
Cloudera Search使用的端口 在下表中,每个端口的“ 访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示端口仅用于组件之间的通信; “外部”表示该端口可用于内部或外部通信. ...
- SharePoint 2013 Search 配置总结
前言:SharePoint 2013集成了Fast搜索以后,搜索的配置有了些许改变,自己在配置过程中,也记录下了一些入门的东西,希望能够对大家有所帮助. 1.配置搜索服务,首先需要启用搜索功能,基本思 ...
- xcodeheader search 配置
一般我们在xcode里面配置包含工程目录下头文件的时候,都要关联着相对路径和绝对路径,如果只是自己用这个项目,用绝对路径的问题不大,但是如果你把工程发给别人,别人就要在改这个绝对路径,这时候绝对路径的 ...
- cloudera search环境搭建搭建-solrcloud
转载:http://blog.csdn.net/xiao_jun_0820/article/details/40539291 本文基于Cloudera Manager5.0.0,所有服务基于CDH5. ...
- cloudera manager配置
cloudera manager的数据库配置文件位置: /etc/cloudera-scm-server/db.properties
随机推荐
- 【转】(DT系列四)驱动加载中, 如何取得device tree中的属性
原文网址:http://www.cnblogs.com/biglucky/p/4057488.html 本文以At91rm9200平台为例,从源码实现的角度来分析驱动加载时,Device tree的属 ...
- Flask+Mysql搭建网站之安装Mysql
安装Mysql # sudo apt-get install mysql-server 安装过程需要输入root密码,这个密码是mysql 的root密码,之后连接mysql会用到,这个要记住. 安装 ...
- (Relax 水题1.2)POJ 1032 Parliament(将n分解成若干个互不相等的整数的和,并且是这些整数的乘积最大)
题意:给出一个数n,将其拆分为若干个互不相等的数字的和,要求这些数字的乘积最大. 分析:我们可以发现任何一个数字,只要能拆分成两个大于1的数字之和,那么这两个数字的乘积一定大于等于原数.也就是说,对于 ...
- ViewPager 详解(一)---基本入门
前言:这两天研究研究ViewPager滚动功能,现在很多的app都有用到这个功能,我们的大虾米也有这个模块.要研究就彻底的研究研究,我从不满足于一个功能只是简单的应用,要学就学的彻底,所以我打算将Vi ...
- Android 自定义View (一)
转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/24252901 很多的Android入门程序猿来说对于Android自定义View ...
- Android中如何像 360 一样优雅的杀死后台服务而不启动
Android中,虽然有很多方法(API或者shell命令)杀死后台`service`,但是仍然有很多程序几秒内再次启动,导致无法真正的杀死.这里主要着重介绍如何像 360 一样杀死Android后台 ...
- [转] Python 模块学习:os模块
一.os模块概述 Python os模块包含普遍的操作系统功能.如果你希望你的程序能够与平台无关的话,这个模块是尤为重要的.(一语中的) 二.常用方法 1.os.name 输出字符串指示正在使用的平台 ...
- jdbc连接数据库和jdbc-odbc桥接方式连接数据库
//这种方式为jdbc直接连接,需要添加jar文件 1 package com.howe2; import java.sql.*; public class test2 { public static ...
- 属性动画详解 Interpolator TypeEvaluator
概述 产生原因 3.0以前,android支持两种动画模式,tween animation,frame animation,在android3.0中又引入了一个新的动画系统:prope ...
- PHP输出中文乱码的问题(转)
用echo输出的中文显示成乱码, 其实应该是各种服务器脚本都会遇到这个问题, 根本还是编码问题, 一般来说出于编码兼容考虑大多的页面都将页面字符集定义为utf-8 <meta http-equi ...