日志框架介绍 在开发过程中,我们经常使用到日志来进行排查问题,我们使用的日志框架都是由2部分组成(日志API + 日志实现) 日志API(及日志抽象层)有:SLF4j(Simple Logging Facade for Java).JCL(Jakarta Commons Logging) .jboss-logging 日志实现有:Log4j JUL(java.util.logging) Log4j2 Logback 其中slf4j 和 log4j 与 logback 是由同一个人开发.logba

一. 计算机的小数计算一定范围内精确,超过范围只能取近似值: 计算机存储的浮点数受存储bit位数影响,只能保证一定范围内精准,超过bit范围的只能取近似值. java中各类型的精度范围参见:http://blog.csdn.net/longshenlmj/article/details/47616481 编程时注意: doulbe类型的数,不能用等号判定是否相等(或者是一定范围内可以).因为两次同样的计算(除法)结果可能出现小数部分不同.甚至极端的时候,初始化两个小数时,都可能不相等(用数值和字

理论上,应该在配置文件/etc/my.cnf中加上binlog过期时间的配置项,expire_logs_days = 10 但是如果没有加这一项,随着产生越来越多的binlog,磁盘被吃掉了不少.可以直接删除binlog文件,但是可以通过mysql提供的工具来删除更安全.因为purge会更新mysql-bin.index中的条目,而直接删除的话,mysql-bin.index文件不会更新.mysql-bin.index的作用是加快查找binlog文件的速度. 先help一下吧: mysql> h

一. LogBack配置 配置pom.xml <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.13</version> </dependency> <dependency> <groupId>ch.qos.logback</groupId> &l

[转载]mysql的binlog安全删除  理论上,应该在配置文件/etc/my.cnf中加上binlog过期时间的配置项,expire_logs_days = 10 但是如果没有加这一项,随着产生越来越多的binlog,磁盘被吃掉了不少.可以直接删除binlog文件,但是可以通过mysql提供的工具来删除更安全.因为purge会更新mysql-bin.index中的条目,而直接删除的话,mysql-bin.index文件不会更新.mysql-bin.index的作用是加快查找binlog文件的

web服务器日志轮循比较好的方式有三种:第一种方法是利用Linux系统自身的日志文件轮循机制:logrotate:第二种方法是利用apache自带的日志轮循程序rotatelogs:第三种是使用在apache的FAQ中推荐发展已经比较成熟的一个日志轮循工具cronolog. 这里我给大家带来的是用apache自带的日志轮循程序rotatelogs,并用shell脚本定期删除日志文件,只保留近3天的文件,以免日志文件占满磁盘空间.修改主配置文件httpd.conf找到以下内容,并修改成:Error

下载mongodb https://www.cnblogs.com/tartis/p/5291580.html mongodb定时备份文档 虚拟机报错要改BIOS 虚拟技术开启 进入root账户  su root 回车输入密码 一.创建MongoDB备份目录 mkdir -p /data1/mongodb_bak/mongodb_bak_now mkdir -p /data1/mongodb_bak/mongodb_bak_list 二.新建MongoDB数据库备份脚本(/data1/mongo

cron服务是Linux的内置服务,但它不会开机自动启动.可以用以下命令启动和停止服务: service cron start service cron stop service cron restart service cron reload service cron status 如果未能正常使用以以下命令启用服务 sudo systemctl enable cron.service; sudo systemctl start cron.service 相关使用指令参数 查看当前用户的cro

Mongodb: 启动: /usr/bin/mongod --config /data/mydata/mongodb/mongodb.conf 停止Mongodb: 方法一:$ mongod --shutdown --dbpath 数据路径 方法二:查看进程,使用kill命令:不能使用kill -9,可用kill -2 或kill-15 方法三:在客户端进去,使用shutdown命令 > use admin; switched to db admin > db.shutdownServer()

一.日志文件样式 二.目标 1.备份压缩.log结尾&&时间样式为“date +%Y%m%d”的日志文件(如:20170912.20160311等) 2.可指定压缩范围(N天前至当天):如:今天.昨天(date -d "-1 day" +%Y%m%d)至今天.前天至今天 压缩命名格式为:日期.tar.gz(或:日期.tar.bz2),压缩N天范围内文件后将会生成N个压缩包 3.可指定压缩模式(二选一):tar czf  或  tar cjf 4.可指定删除范围:删除N天

出现的背景: 公司做了一个redis相关的项目,其中mysql存储了很多统计数据.比如客户端上报的数据,redis实例的数据,应用的数据,机器的数据等.每天都在上报,采集,由于没有定期删除,数据大量累积.大概有一年左右的数据,一个表的数据已经达到亿级别的.这样算下来,一个表的数据至少是几十GB了.因此需要删除过期的数据,暂时保留近三个月的统计数据. 解决方案: 基本每个表都有个字段叫create_time或者collect_time的字段,只要删除这个字段三个月之前的数据就ok了 delete

前言 本文将会谈一谈在数据仓库中拉链表相关的内容,包括它的原理.设计.以及在我们大数据场景下的实现方式. 全文由下面几个部分组成:先分享一下拉链表的用途.什么是拉链表.通过一些小的使用场景来对拉链表做近一步的阐释,以及拉链表和常用的切片表的区别.举一个具体的应用场景,来设计并实现一份拉链表,最后并通过一些例子说明如何使用我们设计的这张表(因为现在Hive的大规模使用,我们会以hive场景下的设计为例).分析一下拉链表的优缺点,并对前面的提到的一些内容进行补充说明,比如说拉链表和流水表的区别. 1

转载自:http://blog.csdn.net/shawnhu007/article/details/50971084 最近在一hadoop测试集群运行一个spark streaming程序,然后使用nohup ./execute.sh & 执行让程序后台运行,才几天日志就上G了,如果有问题想要查看日志,显然打开文件是一件很麻烦的事,于是我想办法通过减小文件大小: 1.nohup命令解释: a.语法:nohup [command] [args] [&] b.说明:nohup 命令运行由

Logback 是 Log4j 的改进版本,而且原生支持 SLF4J,Logback 的初始化步骤如下: 在类路径中查找 logback-test.xml 配置文件 在类路径中查找 logback.groovy 配置文件 在类路径中查找 logback.xml 配置文件 如果都没有找到,那边就是用默认配置,将日志输出到控制台 maven 依赖 在使用 logback 之前,需要增加相关依赖,slf4j-api 是 slf4j 的核心,定义了简单统一的接口,logback-classic 则是具体

本文将会谈一谈在数据仓库中拉链表相关的内容,包括它的原理.设计.以及在我们大数据场景下的实现方式. 全文由下面几个部分组成: 先分享一下拉链表的用途.什么是拉链表. 通过一些小的使用场景来对拉链表做近一步的阐释,以及拉链表和常用的切片表的区别. 举一个具体的应用场景,来设计并实现一份拉链表,最后并通过一些例子说明如何使用我们设计的这张表(因为现在Hive的大规模使用,我们会以Hive场景下的设计为例). 分析一下拉链表的优缺点,并对前面的提到的一些内容进行补充说明,比如说拉链表和流水表的区别.

PowerBI 将要解锁增量刷新(Incremental refresh)功能,这是一个令人期待的更新,使得PowerBI可以加载大数据集,并能减少数据的刷新时间和资源消耗,该功能目前处于预览状态,只对 Power BI Premium 版本开放预览. 增量刷新只是加快了数据集刷新的速度,对于具有潜在数十亿行的大型数据集,可能还是不适合Power BI Desktop,因为它通常受用户桌面PC上可用资源的限制,以及系统的限制. 因此,这些数据集通常在导入时被过滤,以适应Power BI Desk

一 : 为什么要进行数据库的备份? 最主要的原因:尽可能地减少损失,包括时间上.精神上和金钱上的损失.很多人都不注意备份数据,以致在发生问题后丢失大量的重要数据.要知道,在地球上网是很危险的,即使做好安全预防措施,也难免会发生不可预想的问题.因此,数据备份是日常必不可少的操作.数据库的备份用mysqldump 二 : 定时自动备份数据库 由于数据库如此重要,以至于我们要经常备份数据库,但是,由于白天的时候,数据库处于活跃的状态,这时候备份数据库可能会漏存数据,更有可能会导致出错,因此一般会选择在

前言:前篇介绍了mysql的备份方法,但备份不是越多越好,如果磁盘空间不够用,我需要保留近一个周的备份就可以了,那就需要删除备份脚本了,特别注意删除操作比较危险,变量传参要进行二次确认. 下面给出删除备份参考脚本: #!/bin/bash #delte mysql back of 7 days ago #Author:jzd #Version:1.0 #mysql back directory back_dir="/back" #expire days expire_day=7 if

近发现elasticsearch近期索引文件大的吓人,清理了下之前的索引文件,发现服务器性能大大的减轻了一半,想一直保留近一个月的索引文件,但是又不想每个月手动清楚,在此写了一个小脚本 查询索引: curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' 一. 手动删除 rm -rf *--* 二.api删除 curl -XDELETE 'http://127.0.0.1:9200/logstash-2016-07-*' 清理掉了所有 3月份的索引文件

本文链接:http://www.cnblogs.com/zhenghongxin/p/9050219.html 使用两种备份方案 备份方案选择RDB和AOF同时进行备份,必须打开AOF的持久化机制,除非能接受在故障环境下丢失几分钟的数据. 在redis重启的时候,是优先通过AOF进行数据恢复的,因为AOF数据比较完整. RDB的生成策略 要修改的是该条命令: save 该条命令是60秒内,如果有1万条命令执行,那么就进行快照备份.这个值略大,可以根据自己的业务量而定,可以调小至1000.但也同时

写了小shell bash, 用于给mongodb数据进行备份 #!/bin/bash #backup MongoDB #文件目录 #backup MongoDB #!/bin/bash #backup MongoDB #文件目录 MONGO_HOME=/usr/work/mongoDB #mongodump命令路径 DUMP=$MONGO_HOME/mongo/bin/mongodump #临时备份目录 if [ ! -d "$MONGO_HOME/mongodb_bak_now"