今天来了解一下关于ELK的“L”-Logstash,没错,就是这个神奇小组件,我们都知道,它是ELK不可缺少的组件,完成了输入(input),过滤(fileter),output(输出)工作量,也是我们作为运维人员需要掌握的难点,说到这里 ,又爱又恨:“爱之好,恨之难”:这个Logstash拥有这强大的插件功能,除了帮我们过滤,高效的输出日志,还能帮我们与Zabbix监控相结合? 因为我们的Logstash支持多种输出类型,能够收集web服务日志,系统日志,内核日志:但是:竟然是有日志输出,肯定

问题描述: 同事使用mysqlbinlog工具的--read-from-remote-server --raw选项,从远程实例实时拉取二进制日志时,发现得到的二进制日志文件大小与远程实例上的源文件大小不相同,并且使用mysqlbinlog解析时会报错. 测试环境版本信息如下: MySQL版本:5.7.17 log MySQL Community Server (GPL)  通用tar包安装 Mysqlbinlog版本:5.7.17 自带版本,mysqlbinlog Ver 3.4 for lin

↑开局一张图,故事全靠编↑ 前言 打开搜索引擎输入『Copy攻城狮』,发现最新的一条记录已经是去年的4月,意味着我又有一年时间没有再总结成长了.习惯了“温水煮青蛙”的日子,无论是经验水平还是薪资收入,已经被同期的小伙伴远远地甩在了后头.开年至今,一直在家“云办公”的我,被各种打包发布需求困扰.由于种种原因,小作坊模式的开发团队代码托管依旧用的svn,无力改变也无力吐槽,我们项目是完完全全的前后分离,前端用的人人都会的Vue,之前都是美丽善良的测试妹妹用公司测试打包专用电脑自己纯手工打包.纯手工发

1:idea从git上拉取项目 (1)FILE --> New --> Project from Version Control --> Git (2):输入项目的Https SSH 的URL,并点击右侧的Test进行测试,测试成功后点击clone (3)clone成功后项目目录如下 2:提交更改或新增的文件至本地仓库 (1)我们在项目中更改或增加一个文件,此文件应该是红色的(意为可add). (2)将更改的文件add到内存区(红色的文件),add成功后文件应该变为绿色. (3)comm

rsync格式: # 拷贝本地文件.当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式.如:rsync -a /data /backup rsync [OPTION]... SRC DEST # 使用一个远程shell程序(如rsh.ssh)来实现将本地机器的内容拷贝到远程机器.当DST路径地址包含单个冒号":"分隔符时启动该模式.如:rsync -avz *.c foo:src rsync [OPTION]... SRC [USER@]HO

最近遇到一例,HBase 指定大量列集合的场景下,并发拉取数据,应用卡住不响应的情形.记录一下. 问题背景 退款导出中,为了获取商品规格编码,需要从 HBase 表 T 里拉取对应的数据. T 对商品数据的存储采用了 表名:字段名:id 的列存储方式.由于这个表很大,且为详情公用,因此不方便使用 scanByPrefixFilter 的方式,担心引起这个表访问的不稳定,进而影响详情和导出的整体稳定性. 要用 multiGet 的方式来获取多个订单的指定列字段的数据,需要动态生成相应的列名集合,然

一.Docker是什么? 产生背景: 开发和运维之间因为环境不同和导致的矛盾(不同的操作系统.软件环境.应用配置等)DevOps 代码.系统.环境.配置等封装成镜像Image--->运维: 集群的环境下每台服务器都要配置相同的环境: 解决“在我的机器是哪个可以正常工作”的问题: Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 阿里云.百度云等都支持Docker技术 二.Docker的作

1.本地发布脚本 publish.sh #!/bin/sh currentDay=`date +%Y%m%d` currentTime=`date +%Y%m%d%H%M%S` tomcat1=/data/app/tomcat-contract confDir=/root/sh/config svnDir=/data/app/git/contract #echo ">>>>>>>>>>>>>>>>&g

SVN合并(Merge)与拉取分支(Branch/tag)操作简介 合并(Merge) 例子:把对feature_branch\project_name_v3.3.7_branch的修改合并到develop 步骤1: 如图,右键目标文件夹,即需要“合并到”的文件目录,选择TortoiseSVN->Merge… 弹出如下窗口 步骤1: 如上图,默认选择“Merge a range of revisions”,点击Next,打开如下窗口 如上, “URL to merge from”:点击输入框右侧

学习一下sourcetree使用git 目录 一 克隆Clone 二 提交Commit和推送Push 三 拉取pull和获取fetch 四 版本回退reset 五 检出checkout 六 标签Tag 一 从远程库克隆Clone Clone就是将远程库的代码拷贝到本地. 填写远程和本地项目路径,点击“克隆“.这样就会将服务器上项目代码克隆到本地了. git -c diff.mnemonicprefix=false -c core.quotepath=false clone --recursive

因为之前写的博客有错误需要修改,但是在Windows Live Writer中找了半天也没找到怎么拉取之前的博客,在[打开本地草稿]或者[打开最近使用过的日志]中,由于存储的项数有限,所以就找不到那篇博客了,在网上百度了,也没找到解决方案,最后还是拉取到了之前写的博客了,很简单的步骤. 选中打开,然后点击其图标,接下来就是下面这个图了,就完成了.简单吧.

一.配置ssh key 1. 进入当前用户目录cd ~2. 生成ssh keyssh-keygen -t rsa -C "ABC@qq.com"ABC@qq.com账号必须是你登录github的账户名 中间如果提示文件已经存在可以选择覆盖,提示输入密码,可以直接按Enter跳过. $ ssh-keygen -t rsa -C "ABC@qq.com" Generating public/private rsa key pair. Enter file in whic

环境 docker-ce-19.03.1-3.el7.x86_64 CentOS 7 一.查找.拉取镜像.启动容器1.查找镜像-docker search默认查找Docker Hub上的镜像,举例:Docker安装nginx [root@node105 ~]# docker search nginx NAME DESCRIPTION STARS OFFICIAL AUTOMATED [OK] jwilder/nginx-proxy Automated Nginx reverse proxy [O

前言 上篇文章写了关于定时构建,以及构建后发送邮件的内容,但是构建时运行的代码是我们手动添加到Jenkins工作空间的.这篇文章我们说一说自动从GitHub远程库拉取代码,执行构建,废话不多说,开始!(开始之前,我们需要安装GitHub插件:GitHub plugin 如何安装自行百度吧) 新建项目 仍然和上一篇文章一样,我们新建一个自由风格的项目(我这里就不新建了 我直接在原有的项目基础上配置) 获取GitHub地址 我们项目所在路径的地址 项目配置 General 输入项目描述, 勾选Git

很多公司前端项目都是部署在GitLab上的,今天我要分享的就是如何从GitLab上创建新的分支并在本地拉取和提交项目 一.在GitLab上面创建自己新的分支 首先你得注册一个账号,登陆之后进入项目Project,然后点击进入自己的项目 进入分支管理branches 进入之后就可以查看所有的分支,包括dev和master,点击右上角的新建分支按钮(绿色的那个)进入创建新的分支页面 进入分支创建页面如下,上面的输入框输入你想创建分支的名字,下面输入框输入你想从哪个分支下创建分支,比如master主分

背景 很多时候我们在将开发环境的代码推送到GitLab上面以后,我们在测试的时候发现了问题后无法通过现有的日志输出级别来定位问题,比如我们需要看EFCore生成的SQL语句,在生产环境我们是不可能输出这些语句的,这个时候我们就需要将远程部署的Docker镜像拉取到本地然后进行调试,然后再看具体的日志以便排查疑难问题. 比如我们在使用Serilog进行日志记录的时候,我们会在appsettings.Development.json和appsettings.Production.json中配置不同的

登陆harbor [root@k8s-master ~]# docker login 192.168.180.105:1180 Username: admin Password: WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.co

前言:博主最近在学习git命令,因为git是一个非常好用的分布式版本管理工具,功能比svn强大,与SVN不同点是Git去中心化,每一个分支都是一个中心,并且支持本地仓库存储,像如今很多大公司都用git做版本控制.话不多说,具体命令整理如下:(文档较长,请大家耐心阅读,很有帮助) git拉取远程代码 git clone https://xxx.git git拉取远程指定分支下代码(-b  分支名称) git clone -b v2.8.1 https://xxx.git 初始化一个本地仓库,在同级

目录 1.KafkaConsumer poll 详解 2.Fetcher 类详解 本节重点讨论 Kafka 的消息拉起流程. @(本节目录) 1.KafkaConsumer poll 详解 消息拉起主要入口为:KafkaConsumer#poll方法,其声明如下: ~java public ConsumerRecords<K, V> poll(final Duration timeout) { // @1 return poll(time.timer(timeout), true); // @

Kafka消费程序间歇性报同一个错: 上网没查到相关资料,只好自己分析.通过进一步分析日志发现,只有在拉取某一个特定的topic的数据时报错,如果拉取其他topic的数据则不会报错.而从这个异常信息来看是拉取数据时进行类似CRC校验时,校验结果不正确.所以,感觉可能是数据损坏.于是联系了OP(我们单位开发人员不去现场操作),把疑似出错的那个topic.partition和offset信息发给他,他检查了一下Kafka,果然是数据损坏了(处于保护机密考虑,把分区名字那里模糊处理一下): 由于Kaf

目录 1 背景说明 2 现象 pod无法启动,一直显示ContainerCreating 3 问题分析 kubelet的启动参数如下 4 尝试的解决方法 4.1 本地docker login登录镜像仓库,通过docker pull拉取该pause镜像,可以解决该问题(需要所有的node都将pause缓存到本地) 4.2 配置docker-registry secret,在pod的yaml文件中,配置imagePullSecrets来使用该secret,创建pod,仍然报这个错误 4.3 修改ha