Linux文件系统与日志文件
一、inode和block
1.1、inode和block概述
inode(索引节点)
- 中文译名为“索引节点”,也叫i节点
 - 用于储存文件元信息
 
文件是存储在硬盘上的,硬盘的最小存储单位叫做*扇区"(sector),每个扇区存储512字节。
一般连续八个扇区组成一个“块(block)”,一个块是4K大小,是文件存取的最小单位。操作系统读取硬盘的时候,是一次性连续读取多个扇区,即一个块一个块的读取的。
文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在"块"中,存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。因此,一个文件必须占用一个 inode,并且至少占用一个 block。
inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件,因此目录也是一种文件。
每个inode都有一一个号码,操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称,文件名和inode号码是一一对应关系,每个inode号码对应一个文件名。
所以,当用户在Linux系统中试图访问一个文件时,系统会先根据文件名去查找它对应的inode号码;通过inode号码,获取inode信息;根据inode信息,看该用户是否具有访问这个文件的权限;如果有,就指向相对应的数据block,并读取数据。
硬盘分区后的结构

1.2、inode的内容
inode包含文件的元信息:
- 文件的字节数
 - 文件拥有者的User ID(不包含文件名)
 - 文件的Group ID
 - 文件的读、写、执行权限
 - 文件的时间戳
 
查看inode号两种方式
| ls -i 文件名 | 

| stat 文件名 | 

atime(最后一次访问文件和或目录的时间): 当使用这个文件的时候就会更新这个时间
mtime(最后一次修改文件或目录的时间): 当修改文件的内容数据的时候,就会更新这个时间,而更改权限或者属性,mtime不会改变,这就是和ctime的区别
ctime(最后一次改变文件或目录的时间): 当修改文件的权限或者属性的时候,就会更新这个时间,但是更改内容的话是不会更新这个时间
目录文件的结构
目录也是一种文件

每一行称为一个目录项
每个inode都有一个号码,操作系统用inode号码来识别不同的文件
Linux系统内部不使用文件名,而使用inode号码来识别文件
对于用户,文件名只是inode号码便于识别的名称
1.3、inode的号码
用户通过文件名打开文件时,系统内部的过程
- 系统找到这个文件名对应的inode号码
 - 通过inode号码,获取inode信息
 - 根据inode信息,找到文件数据所在的block,读出数据

 
1.4、inode的大小
inode也会消耗硬盘空间,所以格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区,存放inode所包含的信息。每个inode的大小,一般是128字节或256字节。
通常情况下不需要关注单个inode的大小,而是需要重点关注inode总数。inode的总数在格式化时就给定了,执行“df -i”命令即可查看每个硬盘分区对应的inode总数和已经使用的inode数量。

1.5、inode的特殊作用
由于inode号码与文件名分离,导致Linux系统具备以下几种特有的现象:
- 文件名包含特殊字符,可能无法正常删除,这是直接删除inode,能够起到删除文件的作用;
 - 移动文件或重命名文件,只是改变文件名,不影响inode号码,复制文件会改变inode号;
 - 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名;
 - 文件数据被修改保存后,会生成一个新的inode号码。
 
通过inode号删除文件

inode节点故障模拟
| 创建新分区大小挂载使用 | 
新建一块硬盘,创建分区大小10M即可,挂载并使用

| 创建文件充满inode号 | 

二、链接文件
在Linux下面的链接文件有两种:
1.软链接:一种类似于Windows的快捷方式功能的文件,可以快速连接到目标文件或目录
ln -s 源文件 目标位置
2.硬链接:另一种则是通过文件系统的inode链接文件来产生新的文件名,而不是产生新文件
ln 源文件 目标位置
2.1、链接文件分类

三、EXT类型文件恢复
extundelete时候一个开源的Linux数据恢复工具,支持ext3、ext4文件系统。(ext4只能在centos6版本恢复)
3.1、实验步骤
| ①建立磁盘分区并挂在使用 | 

| ②编译安装extundelete工具 | 



| ③创建文件并查看inode | 


| ④删除文件模拟故障 | 


| ⑤恢复文件 | 


四、xfs类型文件备份和恢复
CentOS 7 系统默认采用xfs类型的文件,xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复。
xfsdump的备份级别有两种:0表示完全备份;1-9表示增量备份。xfsdump的备份级别默认为0.
xfsdump的命令格式为
| xfsdump -f 备份存放位置 要备份的路径或设备文件 | 
xfsdump命令常用的选项 :

xfsdump使用限制 :
- 只能备份已挂载的文件系统
 - 必须使用root的权限才能操作
 - 只能备份xfs文件系统
 - 备份后的数据只能让xfsrestore解析
 - 不能备份两个具有相同UUID的文件系统(可用blkid命令常看)
 
4.1、实验步骤
| ①创建新磁盘并挂载使用 | 


| ②安装xfsdump工具 | 

| ③备份文件 | 

| ④模拟故障并恢复 | 


五、日志文件
5.1、日志的功能
用于记录系统、程序运行中发生的各种时间
通过阅读日志,有助于诊断和解决系统故障
5.2、日志保存位置
默认位于:/var/log目录下
5.3、日志文件的分类
内核及系统日志: 由系统服务rsyslog统一进行管理,日志格式基本相似,主配置文件/etc/rsyslog.conf。
用户日志 : 记录系统用户登录及退出系统的相关信息。
程序日志 : 由各种应用程序独立管理的日志文件,记录格式不同一。
常见的一些日志文件
| 内核及公共消息日志 | 
/var/log/messages: 记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息。
| 计划任务日志 | 
/var/log/cron: 记录crond计划任务产生的事件信息
| 系统引导日志 | 
/var/log/dmesg: 记录Linux系统在引导过程中的各种事件信息
| 邮件系统日志 | 
/var/log/maillog:记录进入或发出系统的电子邮件活动
| 用户登录日志 | 
/var/log/secure: 记录用户认证相关的安全时间信息
/var/log/lastlog: 记录每个用户最近的登录时间。二进制格式
/var/log/wtmp: 记录每个用户登录、注销及系统启动和停机事件。二进制格式
/var/run/btmp: 记录失败的、错误的登录尝试及验证时间。二进制格式
5.4、日志消息的级别
Linux系统内核日志消息的优先级别(数字等级越小,优先级越高,消息越重要)


*info: 表示info等级及以上的所有等级的信息都写到对应的日志文件里
mail.none: 表示某事件的信息不写到日志文件里(这里比如是邮件)
5.5、日志记录的一般格式

5.6、用户日志分析
保存了用户登录、退出系统等相关信息
/var/log/secure: 与用户验证相关的安全性事件
/var/log/lastlog: 最近的用户登录事件
/var/log/wtmp: 用户登录、注销及系统开、关机事件
/var/run/utmp: 当前登录的每个用户的详细信息
分析工具
- users、who、w、last、lastb
 - last命令用于查询成功登录到系统的用户记录
 - lastb命令用于查询登录失败的用户记录
 
5.7、程序日志分析
由相应的应用程序独立进行管理
- Web服务:/var/log/httpd/
 
access_log //记录客户访问事件
error_log //记录错误事件
- 代理服务:/var/log/squid/
 
access.log、cache.log
- 分析工具
 - 文本查看、grep过滤检索、Webmin管理套件中查看
 - awk、sed等文本过滤、格式化编辑工具
 - Webalizer、Awstats等专用日志分析工具
 
5.8、日志管理策略
及时做好备份和归档
延长日志保存期限
控制日志访问权限
- 日志中可能会包含各类敏感信息,如账户、口令等
 
集中管理日志
- 将服务器的日志文件发到同一的日志文件服务器
 - 便于日志信息的同一收集、整理和分析
 - 杜绝日志信息的意外丢失、恶意篡改或删除
 
Linux文件系统与日志文件的更多相关文章
- 深入理解Linux文件系统与日志文件
		
目录: 一.inode与block 二.inode内容 三.inode的号码 四.inode的大小 五.链接文件 六.inode节点耗尽故障处理 七.恢复EXT类型的文件编译安装extundelete ...
 - Linux文件系统与日志分析
		
Linux文件系统与日志分析一.inode与block概述① 文件数据包括元信息(类似文件属性)与实际数据② 文件存储在硬盘上,硬盘最小存储单位是"扇区"(sector),每个扇区 ...
 - Linux文件系统与日志分析的了解
		
Linux文件系统与日志分析 1.inode和block概述 2.模拟inode耗尽实验 3.ext类型文件恢复 4.xfs类型文件恢复 5.日志文件 6.日志分析 1.文件:文件是存储在硬盘上的,硬 ...
 - Linux下重要日志文件及查看方式
		
http://os.51cto.com/art/201108/282184_all.htm 1.Linux下重要日志文件介绍 /var/log/boot.log 该文件记录了系统在引导过程中发生的 ...
 - 【Linux学习】Linux文件系统5—查看文件内容命令
		
Linux文件系统5-查看文件内容命令 cat: 由第一行开始显示文件内容 more: 一页一页地显示文件内容,空格键可以继续翻页显示下一页内容 less:与more类似,但是可以往前翻页 head: ...
 - Linux文件系统与日志!
		
1.inode 和 block 概述 文件储存在硬盘上,硬盘的最小储存单位叫“扇区”(sector),每个扇区储存 512 字节. 操作系统读取硬盘的时候,不会一个个扇区的读取,这样效率太低,而是一次 ...
 - linux文件系统和日志分析
		
一.Linux文件系统 1.inode与block 1.概述: (1)文件数据包括元信息与实际信息 (2)文件存储在硬盘上,硬盘最小存储单位是"扇区",每个扇区存储512字节 (3 ...
 - 深入理解Linux文件系统与日志分析
		
一.inode和bolck概述 二.链接文件 三.inode节点耗尽故障处理 四.EXT类型文件恢复 五.xfs文件备份和恢复 六.日志文件 一.inode和bolck概述 1.定义 文件数据 文件数 ...
 - 【linux日志】【日志分析】linux系统各日志文件的含义
		
前段时间太忙,没有来得及管博客,最近时间充裕了,开始更新博客. 因为最近在看linux日志相关内容,把心得分享给大家 linux系统日志文件默认存放路径/var/log/ ls查看此路径下有哪些日志文 ...
 
随机推荐
- Docker:docker国内镜像加速
			
创建或修改 /etc/docker/daemon.json 文件,修改为如下形式 { "registry-mirrors": [ "https://registry.do ...
 - php 基于redis使用令牌桶算法 计数器 漏桶算法 实现流量控制
			
通常在高并发和大流量的情况下,一般限流是必须的.为了保证服务器正常的压力.那我们就聊一下几种限流的算法. 计数器计数器是一种最常用的一种方法,在一段时间间隔内,处理请求的数量固定的,超的就不做处理. ...
 - Android Binder 进程间通讯机制梳理
			
什么是 Binder ? Binder是Android系统中进程间通讯(IPC)的一种方式,也是Android系统中最重要的特性之一.Binder的设计采用了面向对象的思想,在Binder通信模型的四 ...
 - 第六章 time库的使用
			
time库概述 time库是python中处理时间的标准库 1.用于计算机时间的表达 2.提供获取系统时间并格式化输出功能 3.提供系统级精确计时功能,用于程序性能分析 1 import time 2 ...
 - Shell 脚本之 MySQL 一键安装及基本配置(几分钟搞定)
			
准备工作 MySQL 该版本下载地址: https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.30-linux-glibc2.12- ...
 - DNS部署与安全
			
1.DNS Domain Name Service 域名服务 作用: 为客户机提供域名解析服务器 2.域名组成 2.1 域名组成概述 如"www.baidu.com"是一个域名,从 ...
 - HCNA Routing&Switching之动态路由协议OSPF建立邻居的条件
			
前文我们了解了OSPF的router id.数据包结构.类型.不同类型的数据包作用以及OSPF状态机制,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/15027 ...
 - yoyogo v1.7.6 增强程序优雅退出和K8s Readiness检查
			
YoyoGo (Go语言框架)一个简单.轻量.快速.基于依赖注入的微服务框架( web .grpc ),支持Nacos/Consoul/Etcd/Eureka/k8s /Apollo等 . 本次更新增 ...
 - Java基础00-抽象类20
			
1. 抽象类 1.1 抽象类概述 代码示例:没有{}大括号的方法就是一个没有方法体的方法,要把它定义成抽象方法,就要给它加一个abstract关键字,而类中有抽象方法,该类也必须是一个抽象类,所以给类 ...
 - 牛客OI测试赛2
			
题目链接:https://www.nowcoder.com/acm/contest/185#question A.无序组数 暴力求出A和B的因子,注意二元组是无序的,因此还要考虑有些因子在A和B中都存 ...