利用shell脚本[带注释的]部署单节点多实例es集群（docker版）

文章目录目录结构 install_docker_es.sh elasticsearch.yml.template 没事写写shell[我自己都不信,如果不是因为工作需要,我才不要写shell],努力让自己的脚本更健壮[就像我自己一样臃肿] 目录结构创建两个目录,准备两个文件即可 ./bin # 脚本存放路径 └── install_docker_es.sh # 脚本名称随意 ./conf # 配置文件模板存放路径 └── elasticsearch.yml.template # 配置文件模板…

windows单节点下安装es集群

linux下的es的tar包,拖到windows下,配置后,启动bin目录下的bat文件,也是可以正常运行的. 从linux下拷的tar包,需要修改虚拟机的内存elasticsearch.in.bat,否则会内存不够无法正常启动. 同时还需要修改数据和日志的存储路径. 最好还是在windows下安装对应的es的zip包,虽然使用tar包一直没发现什么问题.es2.1的zip包在bulk更新时有bug,linux版的则是好的. windows单节点下安装es集群,基于es2.1版本,需要有以下的注…

redhat6.5 redis单节点多实例3A集群搭建

在进行搭建redis3M 集群之前,首先要明白如何在单节点上完成redis的搭建. 单节点单实例搭建可以参看这个网:https://www.cnblogs.com/butterflies/p/9628207.html 完成单节点的redis搭建之后,修改配置文件,开启集群模式,修改配置文件生成的目录,修改位对应的端口,即可完成单节点多实例的redis集群搭建. 一:多实例配置文件生成和修改 1 配置文件拷贝 cp /usr/local/redis/etc/redis.conf /usr/loca…

Kafka 单节点多Kafka Broker集群

Kafka 单节点多Kafka Broker集群接前一篇文章,今天搭建一下单节点多Kafka Broker集群环境. 配置与启动服务由于是在一个节点上启动多个 Kafka Broker实例,所以我们需要使用不同的端口来实现. $ cp config/server.properties config/server-1.properties $ cp config/server.properties config/server-2.properties 修改 config/server-1.pr…

基于 kubeadm 部署单控制平面的 k8s 集群

单控制平面不符合 HA 要求,但用于开发/测试环境不会有任何问题,如果资源足够的话(10台以上服务器,3台用于APIserver.3台用于 etcd 存储.至少3台用于工作节点.1台作为负载均衡),可以部署多控制平面的高可用集群环境.下面是高可用集群拓补结构,供参考: 安装步骤其实大同小异,高可用多了几个步骤,安装时可参看官网文档,也比较好操作.本文着重记录单控制平面K8S集群安装步骤. 一.准备工作硬件资源要求,4核心以上CPU,8GB以上内存,所有服务器间网络正常通信,Ubuntu 16.…

Hadoop单节点启动分布式伪集群

emm~ 写这篇博客只是手痒,因为开发环境用单节点就够了,生产环境肯定是真实集群,所以这个伪分布式纯属娱乐而已. 配置HDFS1. 安装好一台hadoop,可以参考这篇博客.2. 在hadoop目录下编辑文件指定java环境变量 vim ./etc/hadoop/hadoop-env.sh 3.指定hdfs存储位置和地址 vim etc/hadoop/core-site.xml <configuration>  <prop…

[图文][提供可行性脚本] CentOS 7 Fencing+Pacemaker三节点搭建高可用集群

实验说明: 实验环境: 宿主机系统 :Fedora 28 WorkStation 虚拟机管理器 :Virt-Manager 1.5.1 虚拟机配置 :ha1 CentOS 7.2 1511 (minimal) virbr0: 192.168.122.57 ha2 CentOS 7.2 1511 (minimal) virbr0: 192.168.122.58 ha3 CentOS 7.2 1511 (minimal) …

Docker安装部署es集群

Docker安装部署es集群:环境准备:已安装docker的centos服务器一台1．拉取es版本docker pull elasticsearch:5.6.82．新建文件夹数据挂载目录和配置文件目录[root@localhost es]# mkdir data1[root@localhost es]# mkdir data2[root@localhost es]# mkdir data3[root@localhost es]# cd config/[root@localhost co…

利用shell脚本实现计划任务功能 V1.2

2013.05.10 mytask 1.2 主程序休眠时间分成若干小的时间片断分段休眠,避免长时间的休眠不能及时响应系统信号. 2013.05.07 mytask 1.1 昨天发布了mytask1.0 版后(利用shell脚本实现计划任务功能),一直在想着如何解决那个最后的遗留问题"每个任务脚本中声明的函数名必须唯一不能重复,否则会导致任务函数覆盖.",无意间自问了一句为什么不能像crontab那样直接调用脚本和命令呢?这一问才让自己回忆起来,之所以用function封装任务是因为早…

shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中

shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中利用shell脚本将文本数据导入到mysql中需求1:处理文本中的数据,将文本中的数据插入到mysql中 jerry -- male mike -- female tracy -- male kobe -- male allen -- female curry -- male tom -- female # 创建表结构和student一样结构的student1表 MariaDB [school]…

通过shell脚本实现代码自动化部署

通过shell脚本实现代码自动化部署一.传统部署方式及优缺点 1.传统部署方式 (1)纯手工scp (2)纯手工登录git pull.svn update (3)纯手工xftp往上拉 (4)开发给打一个压缩包,rz上去:解压 2.缺点 (1)全程运维参与,占用大量时间 (2)上线速度慢 (3)人为失误多,管理混乱 (4)回滚慢,不及时二.环境规划 1.开发环境--开发者本地有自己的环境. 运维需要设置的开发环境,大家共用的服务. 2.测试环境:功能测试环境和性能测试环境. 3.预生产环境:生…

利用shell脚本或者php移动某个文件夹下的文件到各自的日期组成的目录下

背景是这样的:网站一开始访问量比较小,大家就把所有的图片文件上传到一个目录下(比如是/data/images/).后来访问量大了,图片也多了,这样就影响读取效率.所以有个这样的需求,把这些个图片文件移动到多个目录下,这个目录是图片的上传日期(就是文件属性中的修改日期filemtime)组成的.比如2012-12-20的修改日期,那么现在就该放在/data/images/2012/12/20的目录下. php有很容易的操作文件的函数,可以方便完成.当然也可以利用shell脚本完成. 程序思路:遍历…

利用shell脚本去备份幸运28源码搭建下载所指定的数据库

#! /bin/bash幸运28源码搭建下载Q[115288oo99]logintool=/home/yx/server/mysql/mysql/bin/mysqldumptool=/home/yx/server/mysql/mysql/bin/mysqldumpusername=rootpasswd=`cat /home/yx/stt/shellmysql/dumpsql/.passwd`socketfile=/var/run/mysqld/mysqld.sockstorepath=/home…

利用shell脚本个性化运行jar任务

利用shell脚本可以个性化运行jar任务,废话不多说,直接上代码: #!/bin/bash APP_PATH=/root/bigdata/jars/data_migration_from_sqlserver APP_NAME=data_migration_from_sqlserver.jar usage() { echo "case: sh run.sh [start|stop|restart|status]" exit 1 } # 判断当前服务是否已经启动的函数 is_exist(…

利用shell脚本将Oracle服务器中数据定时增量刷新到ftp服务器中

现有需求:将oracle数据库中的数据准实时同步至某ftp服务器中,以便前端应用能定时从ftp服务器目录中取增量数据方法:将加工脚本写为存储过程,然后利用shell脚本执行该存储过程并将增量数据导出为txt文件并传送到ftp服务器,利用crontab定时每5分钟执行一次shell脚本,从而实现oracle库中数据持续增量刷新到ftp服务器其中crontab以及ftp和存储过程的编写并没有难度,shell脚本的功能稍稍复杂,现在将脚本记录下以备后查…

linux系统配置文件或shell脚本批量注释

1. 配置文件批量注释 1.1 批量注释 ① 进入命令行模式,按ctrl + v进入 visual block模式,键盘上下箭头选中多行,把需要注释的行标记起来 ② 按大写字母I,再输入注释符:# ③ 双击esc键,实现标记行的全部注释 1.2 取消批量注释 ① 进入命令行模式,按ctrl + v进入 visual block模式,键盘上下箭头选中多行,把需要取消注释的行标记起来 ② 单击d键,实现标记行的取消注释 2. shell脚本批量注释 2.1 方法一:采用 :<<! #!/bin/b…

007 Ceph手动部署单节点

前面已经介绍了Ceph的自动部署,本次介绍一下关于手动部署Ceph节点操作一.环境准备一台虚拟机部署单节点Ceph集群 IP:172.25.250.14 内核: Red Hat Enterprise Linux Server release 7.4 (Maipo) 磁盘:/dev/vab,/dev/vac,/dev/vad 二.部署mon 2.1 安装Ceph软件包 [root@cepe5 ~]# yum install -y ceph-common ceph-mon ceph-mgr c…

Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）

Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本) Hive 安装依赖 Hadoop 的集群,它是运行在 Hadoop 的基础上. 所以在安装 Hive 之前,保证 Hadoop 集群能够成功运行. 同时,比如我这里的master.slave1和slave2组成的hadoop集群.hive的安装可以安装在任一一个节点上,当然,也可以安装在集群之外,取名为client.只需要ssh免密码通信即可. 1. 下载Hive 这里很简单,不多赘述. http:/…

K8s二进制部署单节点 master组件 node组件 ——头悬梁

K8s二进制部署单节点 master组件 node组件 --头悬梁 1.master组件部署 2.node 组件部署 k8s集群搭建: etcd集群 flannel网络插件搭建master组件搭建node组件 1.master组件部署: 创建工作目录生成证书准备k8s软件包生成bootstrap token 认证文件启动 apiserver启动controller-manager.scheduler验证master组件状态 1 ##### 在 master01 节点上操作 ###…

K8s二进制部署单节点 etcd集群，flannel网络配置 ——锥刺股

K8s 二进制部署单节点 master --锥刺股 k8s集群搭建: etcd集群 flannel网络插件搭建master组件搭建node组件 1.部署etcd集群 2.Flannel 网络配置 etcd作为服务发现系统,有以下的特点: 简单安装配置简单,而且提供了HTTP API进行交互,使用也很简单安全: 支持SSL证书验证快速: 单实例支持每秒2k+读操作可靠: 采用raft算法实现分布式系统数据的可用性和一致性 etcd 默认使用2379 端口对外为客户端提供通讯,使用…

【原】docker部署单节点consul

docker下部署单节点的consul,最重要的是在run consul时,配置-bootstrap-expect=1 docker run --name consul1 -d -p : -p : -p : -p : -p : /daily_docker/consul: agent -server -bootstrap-expect= -ui -bind=0.0.0.0 -client=0.0.0.0 consul agent 命令的常用选项,如下: -data-dir 作用:指定agent储存…