由于打算给同事分享elk相关的东西,搭建配置elk环境太麻烦了,于是想到了docker.docker官方提供了docker-compose编排工具,elk集群一键就可以搞定,真是兴奋.好了下面咱们开始吧. 一. https://github.com/deviantony/docker-elk $ cd     /006_xxxallproject/005_docker/001_elk/docker-elk $ git clone https://github.com/deviantony/doc…

es数据手动导入 周末停电了两天,发现两天的日志没导入: 原因: 1. elk开启没设启动 2.日志入库时间是当前时间,不是日志本身的time字段 - 导入步骤 1. 先把日志拖下来 2. 事先需要干掉残缺的那个索引 curl http://192.168.x.x:9200/_cat/indices?v curl -XDELETE 'http://192.168.x.x:9200/app-2017.12.24' 3. 使用logstash导入离线日志 索引名字按当天日期 input { beat…

前言 本文作为学习记录,供大家参考:一次使用阿里云(Aliyun)1核2G centos7.5 云主机搭建Docker下的ELK环境,并导入MS SQL Server的商品数据以供Kibana展示的配置过程. 关于Docker配置,本文直接使用开源项目 docker-elk(该项目维护了一个 Docker Compose 版的 Elastic Stack), 在其上做简单修改. 参考文章: SQL Server数据同步到ELK 使用 Docker 搭建 ELK 环境 1. 环境准备 1.1 Do…

Dockerfile 构建nginx并结合php 1.构建基础镜像 先构建一个基础镜像,添加repo的环境和编译的环境,而centos镜像就是初始的官方镜像,后面构建php.nginx.mysql都使用该镜像为base image: [root@server myCentos]# cat Dockerfile #查看Dockerfile文件 # base image FROM centos # MAINTAINER MAINTAINER @qq.com # add epel and yum RU…

ELK环境配置+log4j日志记录 1. 背景介绍 在大数据时代,日志记录和管理变得尤为重要. 以往的文件记录日志的形式,既查询起来又不方便,又造成日志在服务器上分散存储,管理起来相当麻烦, 想根据一个关键字查询日志中某个关键信息相当困难. 这个时候,ELK诞生了. 什么是ELK? 简单来说:它是一套完整的日志记录和分析的解决方案平台. 2. 技术栈介绍 ELK = Elasticsearch + Logstash + Kibana 2-1) Elasticsearch: ( Elasticse…

一.安装前准备 1.节点 192.168.30.41 192.168.30.42 192.168.30.43 2.操作系统: Centos7.5 3.安装包 a.java8: jdk-8u181-linux-x64.tar.gz b.elasticsearch kafka_2.11-0.11.0.2.tgz c.zookeeper zookeeper-3.4.5-cdh5.4.5.tar.gz 4.备注: 相应版本安装包可直接在本人网盘下载,链接:https://pan.baidu.com/s/…

一.Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的.多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件或者中间件. 二.搭建 1.因为要涉及到收集系统日志,所以建议直接使用root账户 2.需要安装java环境,安装详见ELK 环境搭建1-elasticsearch 3.Logstash搭建很简单,只需要解压即可使用,当前使用的版本为logstash-6.5.1.tar.gz,在老版本不需要设置内存分配,在当前版本需分配内存 mkdir -…

一.安装前准备 1.节点 192.168.30.41 2.操作系统: Centos7.5 3.安装包 a.java8: jdk-8u181-linux-x64.tar.gz b.Kibana kibana-6.4.3-linux-x86_64.tar.gz 4.备注: 相应版本安装包可直接在本人网盘下载,链接:https://pan.baidu.com/s/1cs4IidkSVoMDAdQW93VDYQ 二.kibana介绍 1.Kibana 是一个开源的分析和可视化平台,旨在与 Elastic…

ELK环境搭建完整说明 ELK:ElasticSerach.Logstash.Kibana三款产品名称的首字母集合,用于日志的搜集和搜索.简单地理解为我们可以把服务端的日志(nginx.tomcat等)直接web化展示查看,十分方便. 本机环境说明: 系统:centos7.5 ElasticSerach:6.4.2 Logstash:6.4.2 Kibana:6.4.2 Filebeat:6.4.2 部署情况简介 说明:图是直接搜索的网上的,其中nginx.elk这里都采用单机直接部署,所以ip…

利用Docker构建开发环境 Posted by  makewonder on 2014 年 4 月 2 日   最近接触PAAS相关的知识,在研发过程中开始使用Docker搭建了自己完整的开发环境,感觉生活在PAAS时代的程序员真是幸福,本文会简要介绍下Docker是什么,如何利用Docker来搭建自己的开发环境(本文主要是面向Mac OS X),以及期间所遇到的一些坑和解决方案.(本文会要求你对PAAS.LXC.CGroup.AUFS有一定的了解基础,请自行Google ) 大背景–虚拟化技…