(1)logstash介绍 `Logstash是一个开源的数据收集引擎,可以水平伸缩,而且logstash是整个ELK当中拥有最多插件的一个组件,其可以接收来自不同源的数据并统一输入到指定的且可以是不同目的地. logstash收集日志基本流程: input-->codec-->filter-->codec-->output input:从哪里收集日志. filter:发出去前进行过滤 output:输出至Elasticsearch或Redis消息队列 codec:输出至前台,方便…

centos7中配置java + mysql +jdk  +使用jar部署项目 思维导图 1. 配置JDK環境 1.1下载jdk安装包 Java Downloads | Oracle 1.2 将下载jdk安装包放置centos7上指定位置 1.3.将安装包进行解压 : 解压z包 tar -zxvf jdk-8u341-linux-x64.tar.gz 1.4 #配置环境变量,打开/etc/profile文件 打开/etc/profile文件:vim /etc/profileexport JAVA…

为了保证应用日志数据的传输安全,我们可以使用SSL相互身份验证来保护Filebeat和Logstash之间的连接. 这可以确保Filebeat仅将加密数据发送到受信任的Logstash服务器,并确保Logstash服务器仅从受信任的Filebeat客户端接收数据. 下面就讲述一下配置Filebeat与Logstash之间进行加密通信的方法.全文是在CentOS7上基于Elastic 7.5.0技术栈所验证的. 需要一个自签的CA证书,以及使用该CA证书签署的两份数据证书.一份是给Logstash…

centos7 下zookeeper 部署 本文参考https://www.linuxidc.com/Linux/2016-09/135052.htm 1.创建/usr/local/zookeeper文件夹 mkdir /usr/local/zookeeper 2.进入/usr/local/zookeeper文件夹 cd /usr/local/zookeeper 3.下载zookeeper wget https://mirrors.tuna.tsinghua.edu.cn/apache/zook…

centos7 下 安装部署nginx 1.nginx安装依赖于三个包,注意安装顺序 a.SSL功能需要openssl库,直接通过yum安装: #yum install openssl b.gzip模块需要zlib库,直接通过yum安装: #yum install zlib c.rewrite模块需要pcre库,直接通过yum安装: #yum install pcre 2.安装Nginx依赖项和Nginx a.使用yum安装nginx需要包括Nginx的库,安装Nginx的库 #rpm -Uvh…

CentOS7.4下部署hadoop3.1.1 契机 由于工作原因要部署hadoop的集群,习惯使用最新的稳定版本2018年的时候由于时间紧破部署了2.7.2版本,最新由于又要部署有研究了一下3.x的部署.这次 研究通了,在这里记录一下,防止以往. 本次部署的是一个可用的集群,不是高可用的,因为高可用的hadoop还要部署zookeeper和ha,搞可用的hadoop以后有需要再研究. 准备工作 规划 软件 软件 版本 位数 说明 Jdk Jdk1.8 64位 稳定版本 Centos Cento…

Hadoop生态圈-CentOs7.5单机部署ClickHouse 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 到了新的公司,认识了新的同事,生产环境也得你去适应新的集群环境,我新入职的公司的大数据开发同时并不看好hbase,而是对clickhouse青睐有加,听他们口头把ClickHouse吹的那么的出神入化,听的我是有种迫不及待想要对它一探究竟. 最新的一手资料请参考官网:https://clickhouse.yandex/ 一.ClickHouse的独特功能 1>.真…

继上一篇博客CentOS7.4安装部署openstack [Liberty版] (一),本篇继续讲述后续部分的内容 一.添加块设备存储服务 1.服务简述: OpenStack块存储服务为实例提供块存储.存储的分配和消耗是由块存储驱动器,或者多后端配置的驱动器决定的.还有很多驱动程序可用:NAS/SAN,NFS,ISCSI,Ceph等等.块存储API和调度程序服务通常运行在控制节点上.取决于所使用的驱动程序,卷服务可以运行在控制,计算节点或者独立的存储节点上. OpenStack块存储服务(cin…

一.OpenStack简介 OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目. OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作.OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单.可大规模扩展.丰富.标准统一的云计算管理平台.OpenStack通过各种互补的服务提供了基础设施即服务(IaaS)的解决方案,每个服务提供API以进行集成. OpenS…

阿里云的Linux系统包括CentOS7.3配置了密钥对 怎样将自己ECS实例绑定密钥对,并启用秘钥: https://help.aliyun.com/document_detail/51798.html 配置前准备将8080端口开放: http://blog.csdn.net/karan_01/article/details/73798678 如果最后CentOS7.3上JDK和Tomcat配置成功,并且防火墙开放8080端口,但是外部还是访问不了Tomcat默认管理界面, 还有非常重要的一点…