ElasticSearch实践系列(一)：安装

Elasticsearch简介

Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作底层引擎/技术，为具有复杂搜索功能和要求的应用程序提供支持。

Elasticsearch可用于以下场景：

• 您运行在线网上商店，允许您的客户搜索您销售的产品。在这种情况下，您可以使用Elasticsearch存储整个产品目录和库存，并为它们提供搜索和自动填充建议。
• 您希望收集日志或交易数据，并且希望分析和挖掘此数据以查找趋势，统计信息，摘要或异常。在这种情况下，您可以使用Logstash（Elasticsearch / Logstash / Kibana堆栈的一部分）来收集，聚合和解析数据，然后让Logstash将此数据提供给Elasticsearch。一旦数据在Elasticsearch中，您就可以运行搜索和聚合来挖掘您感兴趣的任何信息。
• 您运行价格警报平台，允许精通价格的客户指定一条规则，例如“我有兴趣购买特定的电子产品，如果小工具的价格在下个月内从任何供应商降至X美元以下，我希望收到通知” 。在这种情况下，您可以刮取供应商价格，将其推入Elasticsearch并使用其反向搜索（Percolator）功能来匹配价格变动与客户查询，并最终在发现匹配后将警报推送给客户。

基本概念

近乎实时（Near Realtime）

Elasticsearch是一个近乎实时的搜索平台。这意味着从索引文档到可搜索文档的时间有一点延迟（通常是一秒）。

集群(Cluster)

集群是一个或多个节点（服务器）的集合，它们共同保存您的整个数据，并提供跨所有节点的联合索引和搜索功能。集群有唯一名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设置为按名称加入群集，则该节点只能是集群的一部分。

确保不要在不同的环境中重用相同的集群集名称，否则最终会导致节点加入错误的集群。

节点（Node）

节点是作为集群一部分的单个服务器，存储数据并参与群集的索引和搜索功能。就像集群一样，节点由名称标识，默认情况下，该名称是在启动时分配给节点的随机通用唯一标识符（UUID）。如果不需要默认值，可以定义所需的任何节点名称。此名称对于管理目的非常重要，您可以在其中识别网络中哪些服务器与Elasticsearch集群中的哪些节点相对应。

索引（Index）

索引是具有某些类似特征的文档集合。例如，您可以拥有客户数据的索引，产品目录的另一个索引以及订单数据的另一个索引。索引由名称标识（必须全部小写），此名称用于在对其中的文档执行索引，搜索，更新和删除操作时引用索引。

在单个群集中，您可以根据需要定义任意数量的索引。

文档（Document）

文档是可以编制索引的基本信息单元。例如，您可以为单个客户提供文档，为单个产品提供另一个文档，为单个订单提供另一个文档。该文档以JSON（JavaScript Object Notation）表示，JSON是一种普遍存在的互联网数据交换格式。

在索引/类型中，您可以根据需要存储任意数量的文档。请注意，尽管文档实际上驻留在索引中，但实际上必须将文档编入索引/分配给索引中的类型。

分片和副本（Shards & Replicas）

索引可能存储大量可能超过单个节点的硬件限制的数据。例如，占用1TB磁盘空间的十亿个文档的单个索引可能不适合单个节点的磁盘，或者可能太慢而无法单独从单个节点提供搜索请求。

为了解决这个问题，Elasticsearch提供了将索引细分为多个称为分片的功能。创建索引时，只需定义所需的分片数即可。每个分片本身都是一个功能齐全且独立的“索引”，可以托管在集群中的任何节点上。

分片很重要，主要有两个原因：

• 它允许您水平拆分/缩放内容量
• 它允许您跨分片（可能在多个节点上）分布和并行化操作，从而提高性能/吞吐量
  分片的分布方式以及如何将其文档聚合回搜索请求的机制完全由Elasticsearch管理，对用户而言是透明的。

在可以随时发生故障的网络/云环境中，强烈建议使用故障转移机制，以防分片/节点以某种方式脱机或因任何原因消失。为此，Elasticsearch允许您将索引的分片的一个或多个副本制作成所谓的副本分片或简称副本。

副本集很重要，主要有两个原因：

• 它在分片/节点发生故障时提供高可用性。因此，请务必注意，副本分片永远不会在与从中复制的原始/主分片相同的节点上分配。
• 它允许您扩展搜索量/吞吐量，因为可以在所有副本上并行执行搜索。

总而言之，每个索引可以拆分为多个分片。索引也可以复制为零（表示没有副本）或更多次。复制后，每个索引都将具有主分片（从中复制的原始分片）和副本分片（主分片的副本）。

默认情况下，Elasticsearch中的每个索引都分配了5个主分片和1个副本，这意味着如果群集中至少有两个节点，则索引将包含5个主分片和另外5个副本分片（1个完整副本），总计为每个索引10个分片。

每个Elasticsearch分片都是Lucene索引。单个Lucene索引中可以包含最大数量的文档。截止LUCENE-5843，限制是2,147,483,519（= Integer.MAX_VALUE - 128）文档。您可以使用_cat/shardsAPI 监控分片大小。

安装（Installation）

Elasticsearch至少需要Java 8，Java安装教程请参考JavaPlatform, Standard Edition安装指导。
在安装Elasticsearch之前，请先检查Java版本：

java -version

echo $JAVA_HOME

[root@XXXX cusD]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)
[root@XXXX cusD]# echo $JAVA_HOME
/usr/lib/jdk1.8.0_181

一旦我们设置了Java，我们就可以下载并运行Elasticsearch。二进制文件可以www.elastic.co/downloads与过去发布的所有版本一起提供。对于每个版本，您可以选择zip或tar存档，包DEB或RPM包，或Windows MSI安装包。

RPM安装参考https://www.jianshu.com/p/da3c3612686a

Tar 安装示例

为简单起见，让我们使用tar文件。

我们按如下方式下载Elasticsearch 6.4.1 tar：

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz

然后提取如下：

tar -xvf elasticsearch-6.4.1.tar.gz

然后它会在当前目录中创建一堆文件和文件夹。然后我们进入bin目录，如下所示：

cd elasticsearch-6.4.1/bin

现在我们准备启动我们的节点和单个集群：

./elasticsearch

结果报错！

ES安装问题

1.用户授权问题

[root@izwz9fwifc2eniq3lbdzmgz bin]#  ./elasticsearch
[2018-09-27T16:45:56,071][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:140) ~[elasticsearch-6.4.1.jar:6.4.1]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) ~[elasticsearch-6.4.1.jar:6.4.1]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.4.1.jar:6.4.1]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.4.1.jar:6.4.1]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.4.1.jar:6.4.1]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[elasticsearch-6.4.1.jar:6.4.1]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) ~[elasticsearch-6.4.1.jar:6.4.1]
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:104) ~[elasticsearch-6.4.1.jar:6.4.1]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:171) ~[elasticsearch-6.4.1.jar:6.4.1]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:326) ~[elasticsearch-6.4.1.jar:6.4.1]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[elasticsearch-6.4.1.jar:6.4.1]
    ... 6 more

因为安全问题elasticsearch 不让用root用户直接运行.

解决办法：

新增用户

useradd -m 用户名

passwd 用户名

输入密码

授权

chown -R 用户名 es的安装目录

切换用户

su 用户名

切换到es安装目录下

./elasticsearch

2.file descriptors too low

max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]

解决办法：切换root账户

vi /etc/security/limits.conf

# End of file
* soft nofile 65536
* hard nofile 65536

3.max virtual memory too low

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决办法：切换root账户 vim /etc/sysctl.conf

增加一行 vm.max_map_count=505300

接着执行 sysctl -p

4.其他机器访问失败

Es安装目录/config/elasticsearch.yml文件

vi /config/elasticsearch.yml

# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
#network.host: 192.168.0.1
#
# Set a custom port for HTTP:
#
#http.port: 9200
#
# For more information, consult the network module documentation.
#

去掉network.host注释，ip地址改为 0.0.0.0。

network.host: 0.0.0.0

检测是否安装成功

切换Es账户，切换到es安装目录下

./elasticsearch

[root@XXX bin]# useradd -m fan113
[root@XXX bin]# passwd fan113
Changing password for user fan113.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
[root@XXXX bin]# chrow -R fan113 /cusD/elasticsearch-6.4.1
bash: chrow: command not found
[root@XXXX bin]# chown -R fan113 /cusD/elasticsearch-6.4.1
[root@XXXX bin]# su fan113
//中间忽略
[fan113@izwz9fwifc2eniq3lbdzmgz bin]$ ./elasticsearch
//结果已成功，显示信息忽略。

本地访问

默认 http://localhost:9200/?pretty

[root@XXXX ~]# curl http://localhost:9200/?pretty
{
  "name" : "f1mValJ",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "ugL60wjJQPaIZw3NRE9aKg",
  "version" : {
    "number" : "6.4.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "e36acdb",
    "build_date" : "2018-09-13T22:18:07.696808Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

返回上述结果，即为成功。

外网访问

先开启阿里云9200端口映射。

[root@XXXX ~]# curl www.XXXX.cn:9200
{
  "name" : "f1mValJ",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "ugL60wjJQPaIZw3NRE9aKg",
  "version" : {
    "number" : "6.4.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "e36acdb",
    "build_date" : "2018-09-13T22:18:07.696808Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

返回上述结果，即为成功。

参考资料

Linux命令大全

http://man.linuxde.net/

http://man.linuxde.net/userdel

http://man.linuxde.net/useradd

http://man.linuxde.net/chown

https://www.cnblogs.com/mingc/p/7591287.html

https://blog.csdn.net/m290345792/article/details/55002695

https://www.linuxidc.com/Linux/2013-07/87371.htm

Elasticsearch教程

https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html

https://blog.csdn.net/tototuzuoquan/article/details/75579476

http://www.cnblogs.com/duanxuan/p/6473005.html

https://blog.csdn.net/qq_21387171/article/details/53577115

https://help.aliyun.com/knowledge_detail/41334.html

https://www.cnblogs.com/zhi-leaf/p/8484337.html

本篇到此结束，感谢观看