公司es扩容kibana添加密码访问
准备工作
基础优化[部署好的es无需操作，新server操作]
setenforce 0
getenforce
sed -i 's#^SELINUX=.*$#SELINUX=disabled#g' /etc/selinux/config
systemctl stop NetworkManager.service
systemctl disable NetworkManager.service
systemctl stop firewalld
systemctl disable firewalld
安装时间同步[全部执行]：
yum install -y ntp
systemctl start ntpd
systemctl enable ntpd
timedatectl set-timezone Asia/Shanghai #时区设置为上海
# 时间服务器配置[ 为了方便全部使用阿里云时间服务器 每台都配置，如果内网就做内网时间授权]：
sed -i "s/^server 0.*/server ntp1.aliyun.com/g" /etc/ntp.conf
sed -i "s/^server 1/#&/g" /etc/ntp.conf
sed -i "s/^server 2/#&/g" /etc/ntp.conf
sed -i "s/^server 3/#&/g" /etc/ntp.conf
#重启ntp：
systemctl restart ntpd
ntpq -pn
#添加到计划任务
sudo echo '*/5 * * * * /usr/sbin/ntpd -pn' >>/var/spool/cron/root
sudo systemctl restart crond.service
crontab -l
优化线程数和性能[每个节点都要配置]:
sudo su - root
cat >/etc/security/limits.conf <<'EOF'
styd soft nofile 655350
styd hard nofile 655350
styd soft nproc 40960
styd hard nproc 40960
* soft nofile 655360
* hard nofile 655360
EOF
sudo echo 'vm.max_map_count = 262144' >>/etc/sysctl.conf
echo 'vm.swappiness = 1' >>/etc/sysctl.conf
sysctl -p
#主机名规划:
192.168.10.31 node01 es-node01
192.168.10.32 node02 es-node02
192.168.10.33 node03 es-node03
192.168.10.34 node04 es-node04
hostnamectl set-hostname es-node0x
创建elastic用户与授权目录并授权
# 2.1 创建elastic用户 [styd] 与授权目录并授权[所有机器]：
groupadd -r -g 1001 develop && \
useradd -r -m -s /bin/bash -u 1001 -g develop styd && \
echo '123456'|passwd --stdin styd
# 2.2 sudo配置[所有机器]:
echo 'styd ALL=(root) NOPASSWD:ALL' |sudo tee /etc/sudoers.d/styd
chown -R styd.develop /opt
su - styd
#2.3 创建es部署目录
mkdir -p /opt
cd /root [上传部署包到这里]
#有包的服务器操作：
scp -r elasticsearch-6.7.1.tar.gz jdk-8u111-linux-x64.rpm kibana-6.7.1-linux-x86_64.tar.gz styd@192.168.10.33:/home/styd
#回到新机器继续操作
[styd@localhost ~]$ ll
total 489280
-rw-r--r-- 1 styd develop 148542786 Mar 24 22:48 elasticsearch-6.7.1.tar.gz
-rw-r--r-- 1 styd develop 166040563 Mar 24 22:48 jdk-8u111-linux-x64.rpm
-rw-r--r-- 1 styd develop 186430753 Mar 24 22:48 kibana-6.7.1-linux-x86_64.tar.gz
#修改hosts：
[root@node04 ~]# cat /etc/hosts
192.168.10.31 node01 es-m
192.168.10.32 node02 es-s1
192.168.10.33 node03 es-s2
192.168.10.34 node04 es-s3 #新机器
#修改主机名
[root@node04 ~]# hostnamectl set-hostname node04
部署es6.7.1
官方地址: https://www.elastic.co/guide/en/elastic-stack/7.15/installing-elastic-stack.html
修改配置文件 elasticsearch.yml :
注意参数: discovery.seed_hosts: ["host1", "host2"] #主机之间有逗号和空格
#一定要注意： 这个配置文件在修改的时候需要保证空格正确，一旦错误，这个文件只能删除不能改回
#修改时务必备份一次，以免改错无法恢复
cp /opt/elasticsearch-6.7.1/config/elasticsearch.yml{,.bak}
vim /opt/elasticsearch-6.7.1/config/elasticsearch.yml
默认配置都被注释了，直接文件末尾添加配置如下:
下列根据生产环境配置 名称有所不同
node04[es-s3]:
这里 discovery.zen.minimum_master_nodes：2
这里需要改为偶数，防止脑裂
并且node.master: false 需要改为 true 允许参与竞选master
~/.bashrc 文件添加环境变量[每个节点都要配置]:
#vim ~/.bashrc : 尾部添加以下配置:
export ES_HOME=/opt/elasticsearch-6.7.1
export PATH=$ES_HOME/bin:$PATH
#添加软连接
ln -s /opt/elasticsearch-6.7.1 /opt/elasticsearch
#修改完毕后：
source ~/.bashrc
安装java
sudo rpm -ivh jdk-8u111-linux-x64.rpm
配置主机解析
[每台都加]
[node01@node01 elasticsearch-6.7.1]$ cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.31 node01 es-m
192.168.10.32 node02 es-s1
192.168.10.33 node03 es-s2
192.168.10.34 node04 es-s3 #新机器
扩容前各个节点状况检查
node01:
node02:
node03:
检查各个节点：
status: red 表示集群有问题，status: green 表示集群正常
索引curl 命令
创建明明全部小写，不能使用 _ 开头
创建index
curl -XPUT http://192.168.10.31:9200/xxx?pretty
获取索引
curl -XGET http://192.168.10.31:9200/xxx?pretty
如:
[styd@node01 ~]$ curl -XGET http://192.168.10.31:9200/_cat/nodes
192.168.10.31 24 35 3 0.11 0.12 0.07 mi * es-m
192.168.10.33 24 35 3 0.14 0.08 0.07 di - es-s2
192.168.10.32 25 35 2 0.17 0.12 0.08 di - es-s1
删除索引:
curl -XDELETE http://192.168.10.31:9200/xxx?pretty
es扩容与回退
0. 创建相关es用户
1. 拷贝原部署包到本机
2. 部署java环境添加环境变量
3. 解压并修改配置
4. 部署es组件
5. 检查数据是否正常
6. 失败回退操作
1. 扩容时会在集群配置文件中添加该主机的主机名与IP
2. 扩容失败时还原原配置文件
3. 启动集群 检查原集群数据
扩容节点：
#准备新的服务器环境 es-03
#修改所有host文件添加新集群
192.168.10.31 node01 es-m
192.168.10.32 node02 es-s1
192.168.10.33 node03 es-s2
192.168.10.34 node04 es-s3 #新增服务器，将配置文件同步到集群相关服务器
#准备相关用户:
groupadd -r -g 1001 develop && \
useradd -r -m -s /bin/bash -u 1001 -g develop styd && \
echo '123456'|passwd --stdin styd
#拷贝相关包到该服务器
elasticsearch-6.7.1.tar.gz
jdk-8u111-linux-x64.rpm
kibana-6.7.1-linux-x86_64.tar.gz
scp -r elasticsearch-6.7.1.tar.gz jdk-8u111-linux-x64.rpm kibana-6.7.1-linux-x86_64.tar.gz styd@192.168.10.34:/home/styd/
#切换用户运行
su - styd
#部署java环境
[styd@node04 ~]$ ll
total 489280
-rw-r--r-- 1 styd develop 148542786 Mar 24 22:48 elasticsearch-6.7.1.tar.gz
-rw-r--r-- 1 styd develop 166040563 Mar 24 22:48 jdk-8u111-linux-x64.rpm
-rw-r--r-- 1 styd develop 186430753 Mar 24 22:48 kibana-6.7.1-linux-x86_64.tar.gz
[styd@node04 ~]$ sudo rpm -ivh jdk-8u111-linux-x64.rpm
Preparing... ################################# [100%]
Updating / installing...
1:jdk1.8.0_111-2000:1.8.0_111-fcs ################################# [100%]
Unpacking JAR files...
tools.jar...
plugin.jar...
javaws.jar...
deploy.jar...
rt.jar...
jsse.jar...
charsets.jar...
localedata.jar...
[styd@node04 ~]$ java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)
#部署es
[styd@node04 ~]$ ll
total 489280
-rw-r--r-- 1 styd develop 148542786 Mar 24 22:48 elasticsearch-6.7.1.tar.gz
-rw-r--r-- 1 styd develop 166040563 Mar 24 22:48 jdk-8u111-linux-x64.rpm
-rw-r--r-- 1 styd develop 186430753 Mar 24 22:48 kibana-6.7.1-linux-x86_64.tar.gz
#目录授权
~]$ sudo mkdir /application
~]$ sudo chown -R styd.develop /application
~]$ tar xf elasticsearch-6.7.1.tar.gz -C /application
~]$ ln -s /application/elasticsearch-6.7.1 /application/elasticsearch
~]$ sudo chown -R styd.develop /application/elasticsearch-6.7.1
~]$ cp /opt/elasticsearch-6.7.1/config/elasticsearch.yml{,.bak}
#配置文件修改为如下:
cat config/elasticsearch.yml: [每台机器配置文件都需要添加这个hosts主机名]
cluster.name: ES
node.name: es-s3
path.data: /application/elasticsearch/data
path.logs: /application/elasticsearch/logs
network.host: 192.168.10.34
http.port: 9200
node.master: true
node.data: true
discovery.zen.ping.unicast.hosts: ["es-m","es-s1","es-s2","es-s3"] #新节点信息
discovery.zen.minimum_master_nodes: 1
indices.query.bool.max_clause_count: 3072
http.cors.enabled: true
http.cors.allow-origin: "*"
启动相关节点：
#检查目前节点情况:
[styd@node01 ~]$ curl -XGET http://127.0.0.1:9200/_cat/nodes
192.168.10.31 34 40 0 0.00 0.01 0.05 mi * es-m
192.168.10.33 24 35 0 0.00 0.01 0.05 di - es-s2
192.168.10.32 39 35 0 0.00 0.01 0.05 di - es-s1
#检查每台hosts配置保持一致
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.31 node01 es-m
192.168.10.32 node02 es-s1
192.168.10.33 node03 es-s2
192.168.10.34 node04 es-s3 #新节点
#修改配置文件完成后重启节点：
node01
/application/elasticsearch/bin/elasticsearch -d
node02
/application/elasticsearch/bin/elasticsearch -d
node03
/application/elasticsearch/bin/elasticsearch -d
node04
/application/elasticsearch/bin/elasticsearch -d
#检查节点信息:
[styd@node01 ~]$ curl -XGET http://127.0.0.1:9200/_cat/nodes
192.168.10.31 28 40 0 0.05 0.03 0.05 mi * es-m
192.168.10.32 29 35 0 0.28 0.10 0.07 di - es-s1
192.168.10.33 30 35 1 0.00 0.01 0.05 di - es-s2
192.168.10.34 29 38 0 0.35 0.11 0.08 di - es-s3 #新节点启动完成
检查节点信息:
回滚节点
回退节点只需要修改配置文件剔除 es-s3 节点信息即可：
1. 修改集群中每个hosts
[styd@node01 ~]$ cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.31 node01 es-m
192.168.10.32 node02 es-s1
192.168.10.33 node03 es-s2
#192.168.10.34 node04 es-s3 #删除该行
2. 修改集群每个节点的discovery.zen.ping.unicast.hosts信息：
cluster.name: ES
node.name: es-m
path.data: /application/elasticsearch/data
path.logs: /application/elasticsearch/logs
network.host: 0.0.0.0
http.port: 9200
node.master: true
node.data: false
discovery.zen.ping.unicast.hosts: ["es-m","es-s1","es-s2","es-s3"]
discovery.zen.minimum_master_nodes: 1
indices.query.bool.max_clause_count: 3072
http.cors.enabled: true
http.cors.allow-origin: "*"
#去除 ,"es-s3" 节点
discovery.zen.ping.unicast.hosts: ["es-m","es-s1","es-s2","es-s3"]
改为：
discovery.zen.ping.unicast.hosts: ["es-m","es-s1","es-s2"]
修改完成后保存配置文件，注意每个节点都需要剔除 es-s3 节点
完成后重启3个节点，启动后显示如下:
检查节点信息:
curl -s 'http://localhost:9200/_cat/nodes?v&h=name,ip,jdk,cpu,disk*,heap*,ram*,load_*&s=name'
配置开机启动
配置开机自启
cat /etc/init.d/elasticsearch
#!/bin/bash
#chkconfig: 345 63 37
#description: elasticsearch
#processname: elasticsearch-6.7.1
export ES_HOME=/application/elasticsearch-6.7.1
case $1 in
start)
su esuser<<!
cd $ES_HOME
./bin/elasticsearch -d -p pid
exit
!
echo "elasticsearch is started"
;;
stop)
pid=`cat $ES_HOME/pid`
kill -9 $pid
echo "elasticsearch is stopped"
;;
restart)
pid=`cat $ES_HOME/pid`
kill -9 $pid
echo "elasticsearch is stopped"
sleep 1
su esuser<<!
cd $ES_HOME
./bin/elasticsearch -d -p pid
exit
!
echo "elasticsearch is started"
;;
*)
echo "start|stop|restart"
;;
esac
exit 0
安装head插件[可选]
官方地址:
https://github.com/mobz/elasticsearch-head
https://github.com/mobz/elasticsearch-head/releases
sz[或浏览器输入]： https://codeload.github.com/mobz/elasticsearch-head/zip/refs/heads/master
上传到 /application/elasticsearch-head
或者:
git clone git://github.com/mobz/elasticsearch-head.git
cd /application/elasticsearch
bin/plugin -install mobz/elasticsearch-head
#配置跨域
vim config/elasticsearch.yml
添加如下参数:
http.cors.enabled: true
http.cors.allow-origin: "*"
安装node [可选]
#官方文档：
https://github.com/mobz/elasticsearch-head
#添加参数:
vim /etc/profile
export PATH=/usr/local/node/bin:$PATH
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start
[styd@node01 ~]$ curl -XGET http://192.168.10.31:9200/_cat/nodes
192.168.10.31 23 40 0 0.00 0.01 0.05 mi * es-m
192.168.10.33 33 35 0 0.00 0.01 0.05 di - es-s2
192.168.10.32 31 35 0 0.00 0.01 0.05 di - es-s1
部署kibana
tar xf kibana-6.7.1-linux-x86_64.tar.gz -C /opt/
ln -s /opt/kibana-6.7.1-linux-x86_64 /opt/kibana
[styd@node01 kibana]$ vim config/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.10.11:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "123456"
i18n.locale: "zh-CN"
#启动kibana
[styd@node01 kibana]$ ./bin/kibana &
#停止kibana
[styd@node01 kibana]$ ps -ef | grep node
styd 69857 68707 5 23:04 pts/2 00:00:11 ./bin/../node/bin/node --no-warnings --max-http-header-size=65536 ./bin/../src/cli
styd 70094 68707 0 23:07 pts/2 00:00:00 grep --color=auto node
[styd@node01 kibana]$ kill -9 69857
配置密码访问:
在6.7版本中内置的账号密码访问功能X-PACK 需要付费使用
可以选择apache-tools提供的访问功能
#部署httpd-tools工具
su - styd
yum install httpd-tools
htpasswd -c /opt/kibana/admin/.htpasswd admin
[root@node01 nginx]# htpasswd -c /opt/kibana/admin/.htpasswd admin
New password: admin
Re-type new password: admin
cat /etc/nginx/conf.d/kibana.conf
server {
listen 80;
server_name 192.168.10.11;
location / {
auth_basic "Authorized users only";
auth_basic_user_file /opt/kibana/admin/.htpasswd; # 密码文件
proxy_pass http://127.0.0.1:5601/;
proxy_set_header Host $host:$server_port;
proxy_set_header X-Real_IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Scheme $scheme;
proxy_connect_timeout 3;
proxy_read_timeout 3;
proxy_send_timeout 3;
access_log off;
break;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
公司es扩容kibana添加密码访问的更多相关文章
- kibana添加ES索引403错误解决
kibana添加ES索引时发现kibana添加索引不生效,没有创建成功只是一闪而过 查看控制台发现报错403 解决办法: curl -XPUT -H "Content-Type: appli ...
- Elasticsearch-6.7.0系列（六）ES设置集群密码
感谢此老兄:<手把手教你搭建一个 Elasticsearch 集群> 前提准备 安装kibana-6.7.0: <Elasticsearch-6.7.0系列(三)5601端口 kib ...
- es+logstash+kibana搭建
1.简介 ELK(elasticsearch+logstash+kibana)是目前比较常用的日志分析系统,包括日志收集(logstash),日志存储搜索(elasticsearch),展示查询(ki ...
- asp.net core系列 57 IS4 使用混合流(OIDC+OAuth2.0)添加API访问
一.概述 在上篇中,探讨了交互式用户身份验证,使用的是OIDC协议. 在之前篇中对API访问使用的是OAuth2.0协议.这篇把这两个部分放在一起,OpenID Connect和OAuth 2.0组合 ...
- 【原创】大叔经验分享（45）kibana添加index pattern卡住 返回403 Forbidden
kibana添加index pattern卡住,通过浏览器查看请求返回状态为403 Forbidden,返回消息为: {"message":"blocked by: [F ...
- IdentityServer4 中文文档 -13- （快速入门）切换到混合流并添加 API 访问
IdentityServer4 中文文档 -13- (快速入门)切换到混合流并添加 API 访问 原文:http://docs.identityserver.io/en/release/quickst ...
- 【精】搭建redis cluster集群，JedisCluster带密码访问【解决当中各种坑】！
转: [精]搭建redis cluster集群,JedisCluster带密码访问[解决当中各种坑]! 2017年05月09日 00:13:18 冉椿林博客 阅读数:18208 版权声明:本文为博主 ...
- Win10共享打印机所需要的设置（无需密码访问实现打印机共享,共享不要密码）
原文:https://m.baidu.com/from=1086k/bd_page_type=1/ssid=0/uid=0/pu=usm@0,sz@1320_1002,ta@iphone_2_5.1_ ...
- win7不需要密码访问网络共享文件（转载）
大家是不是觉得,共享一个文件夹后,每次输入密码都很麻烦呢?有没有不需要输入密码就可以访问共享文件的方法呢? 答案是肯定的,当然有,下面介绍下win7不需要密码访问网络共享文件 工具/原料 两台电脑在局 ...
- 五、通过密码访问API
通过密码访问API 一.客户端 图: 客户端请求代码: static void Main(string[] args) { Console.WriteLine("确定三个项目都已经启动&qu ...
随机推荐
- css padding-right没有用?
前言 问题: 比如说我设置了width为100%了,这个时候我需要padding,但是padding-right似乎没有生效. 正文 原因 实际width=100%容器宽度+padding>容器 ...
- 【高级RAG技巧】在大模型知识库问答中增强文档分割与表格提取
前言 文档分割是一项具有挑战性的任务,它是任何知识库问答系统的基础.高质量的文档分割结果对于显著提升问答效果至关重要,但是目前大多数开源库的处理能力有限. 这些开源的库或者方法缺点大致可以罗列如下: ...
- 如何基于Django中的WebSockets和异步视图来实现实时通信功能
本文分享自华为云社区<结合Django中的WebSockets和异步视图实现实时通信功能的完整指南>,作者: 柠檬味拥抱. 在现代Web应用程序中,实时通信已经成为了必不可少的功能之一.无 ...
- 力扣628(java)-三个数的最大乘积（简单）
题目: 给你一个整型数组 nums ,在数组中找出由三个数组成的最大乘积,并输出这个乘积. 示例 1: 输入:nums = [1,2,3]输出:6示例 2: 输入:nums = [1,2,3,4]输出 ...
- 力扣521(java&python)-最长特殊序列Ⅰ（简单）
题目: 给你两个字符串 a 和 b,请返回 这两个字符串中 最长的特殊序列 的长度.如果不存在,则返回 -1 . 「最长特殊序列」 定义如下:该序列为 某字符串独有的最长子序列(即不能是其他字符串的 ...
- SkiaSharp 渲染输出 SVG 文件
谷歌的 Skia 的一个卖点就是提供了完美的 SVG 的支持,包括输入和输出.输入指的是给一张 SVG 图片,将这个 SVG 渲染出来.输出就是将输出画面保存为 SVG 格式的图片.自然 SkiaSh ...
- 设计模式之装饰器-AOP
HelloWorld简单例子如下:此例子好好体会下继承 is a和组合 has a的异同. using System; using System.Runtime.InteropServices; na ...
- 从零开始：Django项目的创建与配置指南
title: 从零开始:Django项目的创建与配置指南 date: 2024/5/2 18:29:33 updated: 2024/5/2 18:29:33 categories: 后端开发 tag ...
- Golang csv操作
目录 csv读写 追加写入 追加写入封装 csv读写 封装成工具包 package utils import ( "encoding/csv" "fmt" &q ...
- nginx中目录浏览配置
root方式配置:(会自动加目录名) #开放本地目录-root server { listen 81; server_name localhost 127.0.0.1 0.0.0.0; charset ...