从 $PGDATA 到文件组:深入解析 PostgreSQL 与 SQL Server 的存储策略

在数据库领域,数据存储和管理的效率与可靠性是决定系统性能、可扩展性和易于管理的关键因素。PostgreSQL 和  SQL Server 在数据存储方面采取了略有不同的方式。
PostgreSQL 中一个数据库管理员经常遇到的关键概念是 $PGDATA 文件夹。在这里,我们将探讨 $PGDATA 文件夹是什么,它的重要性,以及 PostgreSQL 的数据存储架构与  SQL Server 的比较。

什么是 $PGDATA?

$PGDATA 在 PostgreSQL 中指的是包含数据库集群所有配置和数据文件的目录。这是 PostgreSQL 数据存储架构的核心。简单来说,它是 PostgreSQL 存储所有文件的目录,这些文件包括实际数据、配置文件、事务日志以及其他重要信息,确保数据库集群能够正常运行。

$PGDATA 文件夹的关键组成部分

在 $PGDATA 文件夹中,你会发现许多子目录和文件,它们存储数据库的不同方面。

其中一些关键组成部分包括:

  • base 目录:存储集群中每个数据库的实际数据。每个数据库在 base 文件夹中都有一个单独的子目录。

  • PG_VERSION:这是一个小文件,用于存储该集群使用的 PostgreSQL 版本信息,这在升级或迁移时确保兼容性。

  • pg_wal(预写日志):该文件夹包含预写日志(WAL),对于事务的持久性和恢复至关重要。WAL 文件记录了对数据所做的每一次更改,确保在崩溃的情况下数据库可以恢复到一致的状态。

  • pg_hba.conf:负责基于主机的身份验证配置文件,在此文件中,你可以定义允许哪些用户从哪些位置(主机)连接到哪些数据库。

  • postgresql.conf:主要的配置文件,包含 PostgreSQL 实例的所有操作设置,包括内存设置、日志参数和其他与性能相关的设置。

$PGDATA 的重要性

$PGDATA 文件夹至关重要,因为它本质上是 PostgreSQL 的支柱。如果该目录损坏或丢失,集群中的所有数据都会无法恢复。因此,定期保护和备份 $PGDATA 目录是每个数据库管理员的一项基本任务。

PostgreSQL 使用基于文件的存储系统,默认情况下将数据写入 8KB 的页面。页面大小可以在编译 C 源代码时更改。这些页面随后被分组为段并存储在 $PGDATA 目录中。

配置 $PGDATA

在 PostgreSQL 初始化(通常使用 initdb)期间,你可以指定 $PGDATA 目录的位置。你可以通过向 initdb 命令传递 -D 选项或设置 $PGDATA 环境变量来设置位置。例如:

initdb -D /var/lib/postgresql/data

初始化后,PostgreSQL 期望环境变量 $PGDATA 始终指向此位置,无论服务器是启动还是停止。

SQL Server 中的数据存储

虽然 PostgreSQL 依赖于 $PGDATA 文件夹进行核心操作,SQL Server 在数据存储和管理方面采取了略有不同的方式。Microsoft SQL Server 将其数据组织为数据库,每个数据库都有自己的一组数据文件、事务日志文件和备份选项。

在  SQL Server 中,数据库存储在不同类型的文件中:

  • 主数据文件(.mdf):这是存放所有数据库对象(如表、索引、存储过程)的主要数据文件。每个数据库至少有一个 MDF 文件,mdf文件可以理解为数据库的共享表空间,默认所有表都存储在这个mdf文件里。
  • 次要数据文件(.ndf):这些文件是可选的,用于将数据分布到多个磁盘上,从而提高大型系统的性能和可扩展性,ndf文件可以理解为独立表空间,当你把一个文件组附加在ndf文件上,然后指定数据表建立在这个文件组上,相当于把表建立在独立表空间上。
  • 事务日志文件(.ldf):类似于 PostgreSQL 的 WAL,LDF 文件存储数据库中每个事务的日志记录。这对于确保在发生故障时可以回滚事务至关重要,也用于恢复过程。

与 PostgreSQL 不同,PostgreSQL将数据存储在 $PGDATA 文件夹中的子目录下,SQL Server 将数据库存储在这些 .mdf、.ndf 和 .ldf 文件中,通常位于管理员在安装或创建数据库时设置的特定目录或磁盘上。

PostgreSQL 与 SQL Server 存储的关键区别

现在我们已经了解了 PostgreSQL 和 SQL Server 如何处理数据存储,以下是它们之间的关键差异:

  • 存储位置

PostgreSQL 将所有数据存储在 $PGDATA 目录中,该目录包含每个数据库的子目录以及 WAL 日志和配置文件。SQL Server 使用单独的文件(.mdf、.ndf、.ldf)来存储每个数据库。管理员可以将这些文件放置在任何磁盘或目录中。

  • 事务日志

PostgreSQL 使用 pg_wal 目录来存储预写日志。SQL Server 使用 .ldf 文件进行事务日志记录,与 PostgreSQL 的 WAL 类似,但每个数据库都有自己的 .ldf 文件。

  • 文件组抽象

SQL Server 提供文件组,这是一层抽象,允许管理员将数据分布在多个存储设备上以提高性能和管理。PostgreSQL 没有类似的抽象层,文件管理完全依赖于操作系统,管理员只能将不同的表空间放置在不同的磁盘上。

  • 配置文件

PostgreSQL 的配置文件紧密集成在 $PGDATA 目录中(如 postgresql.conf、pg_hba.conf),而 SQL Server 的配置文件通常与数据库文件分开存储。

  • 临时数据存储

SQL Server 使用一个专门的系统数据库 TempDB 进行临时数据存储,而 PostgreSQL 则在现有的$PGDATA 目录中使用临时表空间,与SQL Server类似,也是整个实例(集群)共享临时表空间。

总结

虽然 PostgreSQL 和 Microsoft SQL Server 都提供了强大的数据存储机制,但它们的方法却有着根本的不同。PostgreSQL 的 $PGDATA 文件夹是与数据库集群相关的所有内容的中央枢纽,

而 SQL Server 则依赖于更为精细化的 .mdf、.ndf 和 .ldf 文件系统来进行数据存储。每个系统都有其自身的优势,最佳选择通常取决于具体的使用场景、性能需求和系统架构偏好。

理解每个系统存储架构的细微差别对于数据库管理员来说至关重要,因为这将影响到备份策略、性能调优和灾难恢复计划的决策。

参考文章
https://www.javelin-tech.com/blog/2020/06/sizing-the-microsoft-sql-mdf-and-ldf/
https://docs.oracle.com/cd/E19787-01/820-3361/ciadcigh/index.html
https://docs.microfocus.com/UCMDB/11.0/ucmdb-docs/docs/eng/doc_lib/Content/database/PostgresConfig_c_logs.htm
https://www.postgresql.org/docs/current/storage-file-layout.html
https://www.quora.com/What-are-MDF-and-NDF-files-in-an-SQL-server

本文版权归作者所有,未经作者同意不得转载。

从 $PGDATA 到文件组:深入解析 PostgreSQL 与 SQL Server 的存储策略的更多相关文章

  1. SQL SERVER大话存储结构(6)_数据库数据文件

            数据库文件有两大类:数据文件跟日志文件,每一个数据库至少各有一个数据文件或者日志文件,数据文件用来存储数据,日志文件用来存储数据库的事务修改情况,可用于恢复数据库使用.     这里分 ...

  2. SQL SERVER大话存储结构(5)_SQL SERVER 事务日志解析

          本系列上一篇博文链接:SQL SERVER大话存储结构(4)_复合索引与包含索引    1 基本介绍 每个数据库都具有事务日志,用于记录所有事物以及每个事物对数据库所作的操作. 日志的记录 ...

  3. [转] C#实现在Sql Server中存储和读取Word文件 (Not Correct Modified)

    出处 C#实现在Sql Server中存储和读取Word文件 要实现在Sql Server中实现将文件读写Word文件,需要在要存取的表中添加Image类型的列,示例表结构为: CREATE TABL ...

  4. AlwaysOn可用性组功能测试(二)--SQL Server群集故障转移对AlwaysOn可用性组的影响

    三. SQL Server群集故障转移对AlwaysOn可用性组的影响 1. 主副本在SQL Server群集CLUSTEST03/CLUSTEST03上 1.1将节点转移Server02.以下是故障 ...

  5. PostgreSQL、SQL Server数据库中的数据类型的映射关系

    PostgreSQL 8.1 轰动发布,我也打算将原来使用 SQL Server 的一些应用迁移到 PostgreSQL 上,首先需要迁移的是表,那么这就必须要先搞清楚这两个数据库中的数据类型的映射关 ...

  6. 如何将SQL Server 2000备份的数据库文件还原(升级)为SQL Server 2005或更高版本的数据库?

    其实很简单,有两种方法. 方法一:将SQL Sever 2000数据库备份的数据库文件名后面加上“.bak”,然后直接在SQL Sever 2005或者高版本软件里面直接还原即可: 方法二:在SQL ...

  7. 将CSV文件中的数据导入到SQL Server 数据库中

    导入数据时,需要注意 CSV 文件中的数据是否包含逗号以及双引号,存在时,导入会失败 选择数据库 -> 右键 -> 任务 -> 导入数据 ,然后根据弹出的导入导出向导(如下图)中的提 ...

  8. 解决vs2010“创建或打开C++浏览数据库文件 发生错误”的问题 Microsoft SQL Server Compact 3.5

    有网友说打开vs2010安装光盘,搜索 SSCERuntime_x86-chs.msi,重新安装之.于是果断搜索,发现SSCERuntime_x86-chs.msi,另外发现一个SSCEVSTools ...

  9. Design5:Sql server 文件组和文件

    1,文件组和文件的作用 Sql Server的数据存储在文件中,文件是实际存储数据的物理实体,文件组是逻辑对象,Sql server通过文件组来管理文件. 一个DataBase有一个或多个FileGr ...

  10. SQL Server 文件和文件组

    文件和文件组简介 在SQL Server中,数据库在硬盘上的存储方式和普通文件在Windows中的存储方式没有什么不同,仅仅是几个文件而已.SQL Server通过管理逻辑上的文件组的方式来管理文件. ...

随机推荐

  1. jQuery的$(document).ready(function(){}) 和 原生 js 的load 等待加载事件有什么不同

    jQuery 的 $(function (){})  函数入口需要等待 DOM 结构绘制完成才会执行 , 不用等待外部资源加载完毕  和原生js 的 DOMContentLoaded 类似 , 2 者 ...

  2. 再见,Centos!

    近日,CentOS官方宣布CentOS系列稳定版Linux系统将停止维护,取而代之的是测试版的CentOS Stream,这也意味着CentOS将会退出历史舞台,因此引发了CentOS用户的强烈不满. ...

  3. mysql的执行流程

    本篇章为构建mysql在执行过程中简单的业务流程,为后续的代码优化和面试构建基础. 1.首先一条sql在执行时sql会通过网络传送给mysql 2.在Mysql收到sql语句后会先在分析器中先判断一下 ...

  4. NES 名词解释

    本文介绍了 NES(FC.红白机.小霸王)中一些名词或者术语,主要与 PPU 有关. Tile 8x8 像素图像.每像素 2 比特, 共 16 字节大小.每个像素可以使用 4 种颜色. Sprite ...

  5. Java常见面试真题之中级进阶

    前言 本来想着给自己放松一下,刷刷博客,突然被几道面试题难倒!java反射的作用于原理?说说List,Set,Map三者的区别?Object 有哪些常用方法?大致说一下每个方法的含义?Java 创建对 ...

  6. TypeError: add_triangle_mesh(): incompatible function arguments. The following argument types are supported: 问题终于解决了!!!!

    1 2024.10.12 14:52 Traceback (most recent call last): File "terrain_creation.py", line 119 ...

  7. Redis常见面试题:ZSet底层数据结构,SDS、压缩列表ZipList、跳表SkipList

    文章目录 一.Redis数据结构概述 1.1 Redis有哪些数据类型 1.2 Redis本质是哈希表 1.3 Redis的哈希冲突与渐进式rehash 1.4 数据结构底层 1.4.1 简单动态字符 ...

  8. C++ 函数模板与类模板

    目录 16.1.1 函数模板 16.1.2 类模板 定义类模板 实例化模板 在类外定义成员函数 类模板成员函数的实例化 类模板和友元 模板类型别名 类模板参数的static成员 16.1.3 模板参数 ...

  9. Python启动一个本地服务器文件下载

    日常工作中需要给同事分享下载链接,快速启动一个WebServer即可满足日常需求~ #安装软件 yum install screen -y #启动服务 python -m SimpleHTTPServ ...

  10. 摒弃传统setInterval, 自己封装一个

    传统的setInterval在某种情况下会导致内存泄漏,每次调用都会占用一部分内存空间,既然threejs的更新都是基于# requestAnimationFrame的循环调用,那么我们就可以利用这个 ...