最近在帮一个研究生弄一个虚拟化环境下的基于Innodb的日志文件的读写优化的实验,实验的具体详细内容就不说了,其中有一个步骤需要将MySQL的日志文件放置在一块单独的硬盘里面,这块硬盘要么是ext2,要么是ext4,ext4的性能据说比前面的ext系列的要高,所以选择了ext4.但是ext4具备有日志的功能,如果开启了这个日志功能的话,到时又会有多个虚拟机同时跑,那么这个ext4的日志功能会对我们的实验数据产生一定的影响,并且我们在实验中并不需要到这个日志功能,所以需要将这个日志功能关闭.具体如…

1.故障发生背景 Ext4文件系统没有umount下来,之后做了fsck操作检查一致性,结果导致Ext4文件mount不上(有时也会表现为导致目录变成了文件). 报错提示信息:mount: wrong fs type, bad option, bad superblock 2.故障原理分析 某故障时,日志和数据不一致造成的正常文件系统数据被覆盖的现象.这种故障在Ext3.Ext4文件系统常有发生,好在.journal日志文件留有缓冲,恢复时可以从.journal日志文件里找到相应信息,并粘贴回相…

Linux kernel 自 2.6.28 開始正式支持新的文件系统 Ext4. Ext4 是 Ext3 的改进版,改动了 Ext3 中部分重要的数据结构,而不只像 Ext3 对 Ext2 那样,不过添加了一个日志功能而已.Ext4 能够提供更佳的性能和可靠性,还有更为丰富的功能: /. 与 Ext3 兼容. 运行若干条命令,就能从 Ext3 在线迁移到 Ext4.而无须又一次格式化磁盘或又一次安装系统. 原有 Ext3 数据结构照样保留.Ext4 作用于新数据,当然.整个文件系统因此也就获得了…

本文描述Ext4文件系统磁盘布局和元数据的一些分析,同样适用于Ext3和Ext2文件系统,除了它们不支持的Ext4的特性外.整个分析分两篇博文,分别概述布局和详细介绍各个布局的数据结构及组织寻址方式等.感兴趣的看官敬请留意和指导! 1. Ext4文件系统布局综述 一个Ext4文件系统被分成一系列块组.为减少磁盘碎片产生的性能瓶颈,块分配器尽量保持每个文件的数据块都在同一个块组中,从而减少寻道时间.以4KB的数据块为例,一个块组可以包含32768个数据块,也就是128MB. 1.1 磁盘布局 Ex…

最近我们的服务进程遇到kill -15后处于Z的状态,变为了僵尸进程,经过/proc/{thread_id}/stack查看其上线程的栈,发现是卡在了fwrite的过程中,而我们的系统中所有文件系统挂载参数都使用了delalloc参数,怀疑是这个原因:ext4挂载的时候打开了delalloc选项,然后系统在没有分配磁盘块的情况下写写写,到page cache被回写到磁盘时,发现磁盘已经满了,没办法分配新的磁盘块了,就Hang住了. 这篇文章是淘宝内核组的刘峥同学在内部技术论坛上发表的一篇文章,但…

ioctl源码分析之交换两个文件的物理extents 1. 交换两个文件的extents Ext4 的EXT4_IOC_MOVE_EXT命令用于交换两个文件的extents,实际上是交换两个文件的对应逻辑长度的数据的物理存储空间(见下图),也是EXT4文件系统碎片整理的基础. 用户可以通过ioctl函数使用Ext4文件系统的Ioctl命令EXT4_IOC_MOVE_EXT将用户指定交换的两个文件及交换的范围的相关信息struct move_extent的地址传给ioctl的第三个参数unsign…

转载http://www.cnblogs.com/cobbliu/p/5603472.html 最近我们的服务进程遇到kill -15后处于Z的状态,变为了僵尸进程,经过/proc/{thread_id}/stack查看其上线程的栈,发现是卡在了fwrite的过程中,而我们的系统中所有文件系统挂载参数都使用了delalloc参数,怀疑是这个原因:ext4挂载的时候打开了delalloc选项,然后系统在没有分配磁盘块的情况下写写写,到page cache被回写到磁盘时,发现磁盘已经满了,没办法分配…

Linux文件系统与日志分析一.inode与block概述① 文件数据包括元信息(类似文件属性)与实际数据② 文件存储在硬盘上,硬盘最小存储单位是"扇区"(sector),每个扇区存储512字节③ block(块)④ inode(索引节点)二.inode的内容① inode包含文件的元信息② 查看某个文件的inode信息③ Linux系统文件三个主要的时间属性④ 目录文件的结构⑤ 每个inode都有一个号码,操作系统用inode号码来识别不同的文件⑥ Linux系统内部不使用文件名,而…

目录 一.inode和block 1.1.inode和block概述 1.2.inode的内容 inode包含文件的元信息: 查看inode号两种方式 目录文件的结构 1.3.inode的号码 用户通过文件名打开文件时,系统内部的过程 1.4.inode的大小 1.5.inode的特殊作用 通过inode号删除文件 inode节点故障模拟 二.链接文件 2.1.链接文件分类 三.EXT类型文件恢复 3.1.实验步骤 四.xfs类型文件备份和恢复 4.1.实验步骤 五.日志文件 5.1.日志的功能…

Linux文件系统与日志分析 1.inode和block概述 2.模拟inode耗尽实验 3.ext类型文件恢复 4.xfs类型文件恢复 5.日志文件 6.日志分析 1.文件:文件是存储在硬盘上的,硬盘的最小存储单位叫做"扇区"(sector),每个扇区存储512字节.一个文件必须占用一个inode, 并且至少占用一个块(block). 块: 一般连续八个扇区组成一个"块"(block),一个块是4K大小,是文件存取的最小单位,文件数据存储在"块"…

昨天追踪EXT4文件系统的过程中出了点问题,就是找不到文件,于是试了一下追踪FAT32文件系统的,成功之后有了点信心,今天继续嗑EXT4文件系统,终于找到啦,记录一下. 操作系统:linux(centos 6.5) 文件系统:EXT4 工具:hexdump,windows自带计算器 参考资源:<数据重现-文件系统原理精解与数据恢复最佳实践>(马林 著) <基于EXT4文件系统的数据恢复方法研究>(徐国天) 题为<Ext4文件系统架构分析>的系列博客 题为< 深入理…

1.修改/etc/fstab文件,使ext4文件系统支持磁盘配额. UUID="9e6dc1e8-4fc1-4984-be38-524573572d41" /mnt/ext ext4 defaults,usrquota 0 0 2.重新加载fstab文件 mount -o remount /dev/sdb1 3.查看mount挂载详细 mount ,可以看到其中有一条 /dev/sdb1 on /mnt/ext type ext4 (rw,relatime,seclabel,quota…

转自https://blog.csdn.net/louwzh/article/details/51274955 环境:Linux redhat6.3 下安装的oracle11g oracle 11g推出了审计功能,但这个功能会针对很多操作都产生审计文件.aud,日积月累下来这些文件也很多,默认情况下,系统为了节省资源,减少I/0操作,其审计功能是关闭的 一.审计功能关闭 1.查看审计功能是否开启?su – oraclesqlplus “/as sysdba”SQL> show parameter…

MySQL日志功能详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询日志 它是用来保存所有跟查询相关的日志,这种日志类型默认是关闭状态的,因为MySQL的用户有很多,如果将每个用户的查询操作都记录下来的话,对服务器的资源开销也是一件令人烦恼的事情.查询日志常见的几个参数: mysql> show global variables like 'log'; #查看是否记录所有语句的日志信息于一般查询日志文件(general_log),默认是关闭状态. +--------…

首先说明: [root@CentOS6 ~]# rm -rf / //这条命令不可以执行 [root@CentOS6 ~]# rm -rf /* //这条命令可以执行,别去试 ext4文件系统上误删除文件,可以用extundelete恢复.ext3恢复使用ext3grep.Windows恢复使用final data v2.0汉化版和easyrecovery等. 误删除文件后,第一件事是避免误删除的文件内容被覆盖,这时可以卸载需要恢复文件的分区或以只读的方式挂载. (1).下载extundelet…

关闭nginx访问favico.ico功能 nginx日志最近发生大量访问favicon.ico无法找到的错误日志,很影响服务器性能,对于一个高并发的服务器每一个错误都会影响性能 关闭访问favicon.ico的功能 # 把以下配置放到 server {} 块. #关闭favicon.ico不存在时记录日志location = /favicon.ico {log_not_found off;access_log off;} 本博客地址: wukong1688 本文原文地址:https://www…

nginx 日志功能 在 nginx 中有两种日志: access_log:访问日志,通过访问日志可以获取用户的IP.请求处理的时间.浏览器信息等 error_log:错误日志,记录了访问出错的信息,可以用于定位错误的原因 设置 access_log 访问日志主要用于记录客户端的请求.客户端向 nginx 服务器发起的每一次请求都会被记录到 access_log 中. 包含请求 IP.时间.访问 url 等等,当然访问日志中具体记录哪些日志信息我们可以通过 log_format 设置. acce…

linux操作系统故障处理-ext4文件系统超级块损坏修复   背景 前天外面出差大数据测试环境平台有7台服务器挂了,同事重启好了五台服务器,但是还有两台服务器启动不起来,第二天回来后我和同事再次去机房检查,发现两台服务器都显示superblock的报错,经过一番处理后两台服务器都正常进系统了,现决定重现superblock故障并将此类问题故障处理思路写下来方便后面新同事参考. 硬盘的结构 硬盘的物理结构侧视图和俯视图,这两张图传递出来的比较重要的信息如下: 磁盘划分为磁头(Head),柱面(C…

一.简介 最近在做一个项目的时候,需要该项目自动启动.自动运行,不需要认为干预.不用说,大家都知道用什么技术,那就是 Windows服务.在以前的Net Framework 平台下,Windows 服务是一个不错的选择.如果现在在Net Core版本,或者Net5.0以及以上版本,我们会有另外一个选择,这就是 Worker Service,中文叫:辅助角色服务.它使用起来,维护起来更方便.话好像有点跑题了.我们言归正传,当我们做了一个Windows服务的进程来承载程序,还有另外一个工作需要做.那…

在将我们的ASP.NET 5示例站点(about.cnblogs.com)升级至ASP.NET 5 RC1的时候,我们增加了控制台日志功能. 在ASP.NET 5添加日志功能很简单,只需在project.json中添加Microsoft.Extensions.Logging.Console的引用: "dependencies":{ "Microsoft.Extensions.Logging.Console": "1.0.0-*" } 并且在 St…

用cowboy这个库,没有日志功能,所以研究了otp提供的日志功能. 1.启动SASL的方式 erl –boot start_sasl 默认配置文件下启动SASL, {env, [{sasl_error_logger, tty},{errlog_type, all}]},,见源码 sasl.app文件. erl -boot start_sasl -config xxxx.config  启动指定配置文件例如 elog1.config ,elog2.config ...配置文件默认目录是ebin,…

1.什么是Spring : v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VML);} .shape {behavior:url(#default#VML);} Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE MicrosoftInternetExplorer4 /* Style De…

什么是AOP?AOP使用场景?AOP相关概念?Spring AOP组件?如何使用Spring AOP?等等这些问题请参考博文:Spring AOP 实现原理 下面重点介绍如何写事件日志功能,把日志保存到数据库中. 事件日志是与主业务功能无关的逻辑,用AOP实现是再好不过了,其中因为有些数据库日志表中的字段参数需要传递,所以会用到自定义注解,将这些参数用自定义注解传递过来. 1.自定义注解Operation package com.jykj.demo.filter; import java.lan…

恢复ext4文件系统superblock 1. Create ext4 文件系统. [root@localhost ~]# mkfs.ext4 /dev/vdb1 [root@localhost ~]# partprobe /dev/vdb 2. 挂载文件系统 [root@localhost ~]# grep vdb2 /etc/fstab /dev/vdb1    /ext4    ext4    defaults    0 0 [root@localhost ~]# mount -a [ro…

网络上虽然很多文章分别讲到jboss7的访问日志如何配置,goaccess工具怎么分析nginx/tomcat等日志.但将两者放在一起即“通过goaccess分析jboss访问日志”的倒是没搜索到.      本文通过三节来介绍:      1. jboss开启访问日志功能.      2. goacess介绍及原理(个人理解的原理)      3. 如何使用goaccess解析分析jboss的access.log参考:     http://chandank.com/application-s…

Sails 关闭自动路由 Automatic Routes 功能. Sails 中的路由两种:Custom Routes 和 Automatic Routes,自定义路由和自动路由.详见文档: Sails Routes 自定义路由就是我们在 routes.js 中为指定的 url 分配处理的 Action 如: 'post /purchase/pay':{ controller:'PurchaseController', action: 'pay' } 自动路由则是,我们在 sails 中添加了…

转载请注明来自souldak,微博:@evagle 一.基本日志功能 详细的介绍查看官网的document:http://www.yiiframework.com/doc/guide/1.1/en/topics.logging 也可以看 Yii 1.1 Application Development Cookbook  这本书很好 默认的日志是输出到protected/runtime/application.log  如果需要修改那么需要在main.php里面的 components下面增加lo…

mongoDB的Journaling日志功能与常见的log日志是不一样的,mongoDB也有log日志,它只是简单记录了数据库在服务器上的启动信息.慢查询记录.数据库异常信息.客户端与数据库服务器连接.断开等信息.Journaling日志功能则是mongoDB里面非常重要的一个功能,它保证了数据库服务器在意外断电.自然灾害等情况发生下数据的完整性.尽管mongoDB还提供了其它的复制集等备份措施(后面会分析),但Journaling的功能在生产环境中是不可缺少的,它依靠了较小的CPU和内存消耗,…

原文:SSIS从理论到实战,再到应用(6)----SSIS的自带日志功能 上期回顾: SSIS从理论到实战,再到应用(5)----流程控制之Foreach循环 博主最近新负责了一个ssis大项目的架构,压力山大,所以都没有怎么正儿八经的更文章了,给园友们说声抱歉,接下来的一些文章可能都比较偏重于实用技巧方面^_^. 我们都知道,不论在任何一个项目,日志系统的重要意义都是不言而喻的. 如果你的SSIS项目管理到了以百为级别,那很有必要去为它专门构建一个日志管理平台,这个时候你可以参考@BIWork…

题记:Nginx之旅系列是用来记录Nginx从使用到源码学习的点点滴滴,分享学习Nginx的快乐 Nginx 首页: http://nginx.org/ Nginx日志功能 PK Linux内核printk 本来只想分析一下Nginx中日志的实现,但是突发奇想,想把Nginx中的日志功能与Linux kernel中的printk进行一下横向对比,即学习了Nginx的日志功能,又总结了Linux的printk的实现,于是乎这么一篇博文就出现了.本文将从日志级别相关函数实现和日志函数使用的角度来梳理…