linux文件系统和日志分析
一、Linux文件系统
1.inode与block
1.概述：
（1）文件数据包括元信息与实际信息
（2）文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个扇区存储512字节
（3）block:块
*.连续的八个扇区组成一个block（4k)
*.是文件存取的最小单位
（4）inode:(索引节点）
*.中文译名为索引节点，也叫 i 节点
*.用于存储文件元信息
2.inode和biock的关系
元信息 → inode
数据 → block
*.文件数据包括实际数据与元信息（类似文件的属性）文件数据存储在 块 中，存储文件源信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域就叫做inode、因此目标也是一种文件，结构乳下图所示：
| 文件名1 | inode号码1 |
| 文件名2 | inode号码2 |
| 文件名3 | inode号码3 |
| ........ | ......... |
*.每个inode都有一个号码，操作系统用inode号码来识别不同的文件，Linux系统内部不使用文件名，而使用inode号码来识别文件，对于系统来说，文件名是inode号码便于识别的别称，文件名和inode号码是 一 一 对应关系，每个inode号码对应一个文件名
查看文件名对应inode号码有两种方式
| 1 | 查看文件名对应的inode号码 |
| ls -i | |
| 2 | 查看文件inode信息中的inode号码 |
| stat 文件名 |
3.inode包含文件的元信息
* 文件的字节数
* 文件拥有者的User ID
* 文件的Group ID
* 文件的读、写、执行权限
* 文件的时间戳等
4.Linux系统文件三个主要的时间属性
* ctime(change time) 最后一次改变文件或目录属性的时间
* atime (access time) 最后一次访问文件或目录的时间
* mtime (modify time) 最后一次修改文件或目录内容的时间
5.用户通过文件名打开文件时，系统内部的过程
* 系统找到这个文件名对应的inode号码
* 通过inode号码，获取inode信息
* 根据inode信息，找到文件数据所在的block,读出数据
6.硬盘分区后的结构
文件名 → 目录项 目录块
元信息 → inode inode 表区块
数据 → block biock 数据区
7.访问文件的简单流程
是 → 指定对应的数据biock
用户访问文件----------通过文件名→系统查找文件对应的inode→判断用户是否具备访问权限------|
否 → 返回permission
denied
8.inode的大小
* inode也会消耗硬盘空间：每个inode号的大小一般是128字节或256字节
* 格式化文件系统时确定inode的总数
* 使用df -i命令可以常看每个硬盘分区的inode总数和已经使用的数量
9.inode特点
由于inode 号码与文件名分离，导致Linux系统具备一下几种特有的现象
* 文件名包含特殊字符，可能无法正常删除，直接删除inode，能够起到删除文件的作用
| 1 | 删除inode号的方法 |
| 2 | 【root@cocalhost~]#find ./ -inum 68201002 -exec rm -i {}\; |
| 3 | 【root@cocalhost~】#find./ inum 68201002 -delete |
* 移动文件或重命名文件，只是改变文件名，不影响inode号（这里指的是非挂载磁盘）
* 打开一个文件以后，系统就以inode号码来识别这个文件，不在考虑文件名
* 文件数据被修改保存后，会生成一个新的inode号码
10.硬连接和软件
* 为文件或目录建立链接文件
* 链接文件的分类和对比
| 操作和范围 | 软链接 | 硬链接 |
| 删除原始文件后 | 失效 | 仍然可用 |
| 使用范围 | 适用于文件或目录 | 只可用于文件 |
| 保存位置 | 与原始文件可以位于不同文件系统中 | 必须与原始文件在同一个文件系统（如一个Linux分区）内 |
* 软链接的格式
| 1 | 硬链接 |
| ln 源文件 目标位置 | |
| 2 | 软链接 |
| ls [-s] 源文件或者目录... 链接文件或者目标位置 |
11.恢复误删的文件（EXT类型）
*1 大概步骤
（1）编译安装extundelete软件包
（2）安装依赖包
* e2fsprogs-libs-1.41.12- 18. el6.x86_ 64.rpm
* e2fsprogs-devel-1 41.12-18.el6.x86_ 64.rpm
(3)配置、编译及安装、模拟删除并执行恢复操作
* extundelete-0.2.4.tar.bz2
*2 详细步骤如下添加新磁盘，具体步骤可以参考本文第三段：磁盘管理的检测并确认新硬盘
缺新磁盘添加成功
对磁盘进行分区，更改类型
对新建的分区进行格式化，类型为ext3
挂载并查看
安装e2fsprogs-devel 和e2fsprogs-libs程序
从网上下载安装e2fsprogs-devel 和e2fsprogs-libs程序
将extundelete-0.2.4.tar拖入Linux中
使用tar命令进行解压
编译并安装
将安装程序的bin目录软连接到环境变量的目录下
创建文件并删除进行测试
12.xfs类型文件备份和恢复
1.Centos 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复。
xfsdump的备份级别有两种: 0表示完全备份; 1-9表示增量备份。xfsdump的备份级别默认为0。
2..xfsdump的命令格式
xfsdump -f 备份存放位置 要备份的路径或设备文件
3.xfsdump命令常用的选项
| -f | 指定备份文件目录 |
| -L | 指定标签session label |
| -M | 指定设备标签media label |
| -S | 备份单个文件，-s后面不能直接跟路径 |
4.xfsdump使用限制
| 只能备份已挂载的文件系统 |
| 必须使用root的权限才能操作 |
| 只能备份XFS文件系统 |
| 备份后的数据只能让xfsrestore解析 |
| 不能备份两个具有相同UUID的文件系统(可用blkid命令查看) |
5.演示备份和恢复的具体步骤
将前面使用的分区sdb1进行解挂并格式化为xfs格式后重新挂载，也可以重新创建然后类型修改为xfs类型，具体步骤参考上一个实验。
在挂载目录创建文件用于后面测试用
查看程序是否安装，指定备份目录和需要备份的磁盘
创建文件并且删除进行测试
二、日志文件
日志保存位置默认位于：/var/log目录下
1.日志的功能
| 用于记录系统、程序运行中发生的各种事件 |
| 通过阅读日志，有助于诊断和解决系统故障 |
2.日志文件的分类
1.内核及系统日志
| 由系统服务rsyslog统一进行管理，日志格式基本相似 |
主配置文件/etc/rsyslog.conf |
2.用户日志
| 记录系统用户登录及退出系统的相关信息 |
3..程序日志
| 由各种应用程序独立管理的日志文件，记录格式不统一 |
3.主要日志文件分类
1.内核及公共消息日志:
| /var/log/messages: 记录Linux内核消息及各种应用程序的公共日志信息，包括启动、I0错误、网络错误、程序故障等。 |
| 对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。 |
2..计划任务日志
| /var/log/ cron: 记录crond计划任务产生的事件信息。 |
3..系统引导日志
| /var/ log/ dmesg: 记录Linux系统在引导过程中的各种事件信息。 |
4.邮件系统日志:
| /var/log/maillog:记录进入或发出系统的电子邮件活动。 |
5..用户登录日志
| /var/log/secure: 记录用户认证相关的安全事件信息。 |
| /var/log/lastlog: 记录每个用户最近的登录事件。二进制格式 |
| /var/log/wtmp: 记录每个用户登录、注销及系统启动和停机事件。二进制格式 |
| /var/ run/btmp: 记录失败的、错误的登录尝试及验证事件。二进制格式 |
6.日志配置文件和日志消息等级
| vim /etc/rsyslog.conf | #查看rsyslog.conf配置文件 |
| * . info;mail.none;authpriv.none;cron.none /var/log/messages | |
| *.info | #表示info等级及以上的所有等级的信息都写到对应的日志文件里 |
| mail.none | #表示某事件的信息不写到日志文件里(这里比如是邮件) |
Linux系统内核日志消息的优先级别(数字等级越小，优先级越高，消息越重要):
| 级别 | 消息 | 级别 | 具体描述 |
| 0 | EMERG | 紧急 | 会导致主机系统不可用的情况 |
| 1 | ALERT | 警告 | 必须马上采取措施解决的问题 |
| 2 | CRIT | 严重 | 比较严重的情况 |
| 3 | ERR | 错误 | 运行出现错误 |
| 4 | WARNING | 提醒 | 可能影响系统功能，需要提醒用户的重要事件 |
| 5 | NOTICE | 注意 | 不会影响正常功能，但是需要注意的事件 |
| 6 | INFO | 信息 | 一般信息 |
| 7 | DEBUG | 调试 | 程序或系统调试信息等 |
7..日志记录的一般格式
8.分析工具
| users、who、 W、last、 lastb |
| last命令用于查询成功登录到系统的用户记录 |
lastb命令用于查询登录失败的用户记录
9..程序日志分析：由相应的应用程序独立进行管理
| access_log ——记录客户访问事件 |
| error_log ——记录错误事件 |
10.代理服务：/var/log/squid/
| access.log、cache.log |
| 分析工具 |
| 文本查看、grep过来检索、Webmin管理套件中查看 |
| awk、sed等文本过滤、格式化编辑工具 |
| Webalizer、Awstats等专用日志分析工具 |
11.日志管理策略
| 及时做好备份和归档 |
| 延长日志保存期限 |
| 控制日志访问权限 |
| 日志中可能会包含各类敏感信息，如账户和口令等 |
| *1.集中管理日志 |
| 将服务器的日志文件发到统一-的日志文件服务器 |
| 便于日志信息的统- -收集、 整理和分析 |
| 杜绝日志信息的意外丢失、恶意篡改或删除 |
linux文件系统和日志分析的更多相关文章
- Linux文件系统与日志分析
Linux文件系统与日志分析一.inode与block概述① 文件数据包括元信息(类似文件属性)与实际数据② 文件存储在硬盘上,硬盘最小存储单位是"扇区"(sector),每个扇区 ...
- Linux文件系统与日志分析的了解
Linux文件系统与日志分析 1.inode和block概述 2.模拟inode耗尽实验 3.ext类型文件恢复 4.xfs类型文件恢复 5.日志文件 6.日志分析 1.文件:文件是存储在硬盘上的,硬 ...
- 深入理解Linux文件系统与日志分析
一.inode和bolck概述 二.链接文件 三.inode节点耗尽故障处理 四.EXT类型文件恢复 五.xfs文件备份和恢复 六.日志文件 一.inode和bolck概述 1.定义 文件数据 文件数 ...
- Linux系统日志及日志分析
Linux系统日志及日志分析 Linux系统拥有非常灵活和强大的日志功能,可以保存几乎所有的操作记录,并可以从中检索出我们需要的信息. 大部分Linux发行版默认的日志守护进程为 syslog,位 ...
- linux常用的日志分析脚本
linux实用的日志分析脚本 日志分析 随意的tail一个access_log文件,下面是一条经典的访问记录 /Dec/::: +] “GET /query/trendxml/district/tod ...
- linux系统web日志分析脚本
linux系统web日志分析这方面工具比较多,比如logwatch或awstats等使用perl语言开发,功能都非常强大.但这些软件都需要进行一些配置,很多朋友往往在技术方面没有投入太多力量,即便参照 ...
- Linux服务器access_log日志分析及配置详解（二）
默认nginx / Linux日志在哪个文件夹? 一般在 xxx.xxx.xxxx.com/home/admin 路径下面的error.log文件和access.log文件error_log logs ...
- Linux文件系统与日志文件
目录 一.inode和block 1.1.inode和block概述 1.2.inode的内容 inode包含文件的元信息: 查看inode号两种方式 目录文件的结构 1.3.inode的号码 用户通 ...
- 深入理解Linux文件系统与日志文件
目录: 一.inode与block 二.inode内容 三.inode的号码 四.inode的大小 五.链接文件 六.inode节点耗尽故障处理 七.恢复EXT类型的文件编译安装extundelete ...
随机推荐
- OOP第二章博客
OO第二次博客作业 (1)作业分析 三次作业在处理多线程的协同配合时都是使用将同步放在自己写的"线程安全类"(经测试有些许漏洞_,但是不影响结果就是了): 我个人倾向于把wait( ...
- mysql枚举和集合
create table consumer( id int, name char(16), sex enum('male','female','other'), level enum('vip1',' ...
- [刷题] 1022 D进制的A+B (20分)
思路 设t = A + B,将每一次t % d的结果保存在int类型的数组s中 然后将t / d,直到 t 等于 0为止 此时s中保存的就是 t 在 D 进制下每一位的结果的倒序 最后倒序输出s数组 ...
- [Java] GUI编程基础 绘图
库 swing awt 过程 创建窗口JFrame JFrame-->MenuBar-->Container 屏幕坐标系:左上角为原点 Graphics2D Main.java 1 imp ...
- [Qt] 事件机制（一）
事件主要分为两种: 在与用户交互时发生.比如按下鼠标(mousePressEvent),敲击键盘(keyPressEvent)等 系统自动发生,比如计时器事件(timerEvent)等 每种事件对应一 ...
- Linux用户登录查看命令总结 - w,who,last,lastlog
Linux用户登录查看命令总结 - w,who,last,lastlog linux shell 747 次阅读 · 读完需要 15 分钟 0 1. 查看登录用户信息 who -H 命令输出 NA ...
- 国外DIY网站
https://site.douban.com/109950/widget/notes/250072/note/248811721/
- python set去重简析
python 中的集合可以去重是实现了__hash__与__eq__ 当class没有定义__eq__()方法时,那么它也不应该定义__hash__()方法.如果它定义了__eq__()方法,却没有定 ...
- protege 构建本体
这里我们使用的是Protégé-OWL规范. 推理机后的内容主要是实操内容,根据推理机来对protege本体模型的一个操作过程,以加深本体模型的一个规范认识. 一.什么是本体(Ontologie) 本 ...
- 查看mysql的数据库物理存放位置
1.查看mysql的数据库物理存放位置: show global variables like "%datadir%";