分布式存储系统的难点 在存储系统中,为了获得巨大的性能加成,一个很自然的想法就是采用分片(sharding),将数据分割存储到多台服务器上,这样获得了更大的存储容量,而且可以并行地从多台服务器读取数据. 我们在成百上千台服务器上进行分片,大量基数的情况下,出现错误的频率也大大提升,我们需要一个自动化的从错误中恢复的方法,这就引入了容错(fault tolerance). 实现容错的最有用的方法就是复制(replication),使用副本存储相同的数据. 有了副本,就需要考虑副本之间的不一致性(i

HDFS重启集群导致数据损坏,使用fsck命令修复过程 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我们先看一组输出 [root@flume112 ~]# hdfs fsck /user/kuaikan/report_new//// Connecting to namenode via http://calculation111.aggrx:50070 FSCK started by root (auth:SIMPLE) from //// at Sat May :: CS

https://zhuanlan.zhihu.com/p/64418072 源数据常常包含各种差错值,为了进行下一步的分析,我们必须先找出并更正这些差错,做这些工作几乎不会有什么快乐感可言,但却往往需要耗费很多精力.如果利用数据准备工具就能够发现这些数据质量问题,我们就可以节省大量时间. PowerQuery恰好有个功能就是做这个的:列分析,下面就来看看这个功能如何帮助我们进行数据清洗的. 首先更新到最新版的 PowerBI Desktop,在预览功能中启用列分析. 然后在 Power Quer

MySQL删除操作其实是假删除 因为近期在重构优化一个业务的时候 发现有一张表(send_log)数据量将近1700W 左右  占用数据大小17G,索引18G左右  而我们的核心应用在使用的时候 会去临时查询这张表 获取一些数据 先不管设计的合不合理吧,因为是维护  不出问题为第一要务 所以想到要物理删除一下表数据  计划把18年1000W左右数据给腾出空间  但运维执行删除操作后  发现情况没有那么理想  行数是少了  但表空间 大小 没降下去 在 InnoDB 中,你的 delete 操作,

1.myisamchk使用 myisamchk 必须暂时停止 MySQL 服务器.例如,我们要检修 discuz 数据库.执行以下操作:# service mysql stop (停止 MySQL ):# myisamchk -r /数据库文件的绝对路径/*MYI# service mysql startmyisamchk 会自动检查并修复数据表中的索引错误.2.mysqlcheck使用 mysqlcheck 无需停止 MySQL ,可以进行热修复.操作步骤如下:# mysqlcheck -r

作者简介 王睿操,平安好医数据库架构岗,多年postgresql数据库运维开发工作.曾就职于中国民航信息,迪卡侬.对其他数据库产品也有一定的涉猎. 背景 笔者最近发现很多朋友经常遇到PostgreSQL坏块或者数据混乱的情况,网上中文资料比较少,于是整理了一下笔者遇到各种各样的报错以及解决方案 案例一:物理坏块 逻辑备份时报错 pg_dump: Dumping the contents of table "xxxx" failed: PQgetResult() failed. pg_d

GFS 论文总结 说明:本文为论文 <The Google File System> 的个人总结,难免有理解不到位之处,欢迎交流与指正 . 论文地址:GFS Paper 阅读此论文的过程中,感觉内容繁多且分散,一个概念的相关内容在不同部分相交地出现 .所以本文尽量将同一概念的相关内容串联并总结在一起 . 本文以批注的形式添加个人理解 . 1. 前言 Google File System (GFS) 是由 Google 设计并实现的.一个面向大规模数据密集型应用的分布式文件系统,它不仅满足所有分

前言 本文旨在帮助SQL Server数据库的使用人员了解常见的问题,及快速解决这些问题.这些问题是数据库的常规管理问题,对于很多对数据库没有深入了解的朋友提供一个大概的常见问题框架. 下面一些问题是在近千家数据库用户诊断时发现的常规问题,本文分为[常见问题诊断流程]-[常见问题]-[常见问题快速解决的建议] 常见问题诊断流程 概览模块—[汇总]了解系统 了解系统性能(语句执行时间.会话等待) 语句执行时间:横坐标为时间范围,纵坐标为在执行时间在范围内分布的语句数量. (本例:收集时间内语句执行

HDFS的数据完整性 检验数据是否损坏最常见的措施是:在数据第一次引入系统时计算校验和并在数据通过一个不可靠通道进行传输时再次计算校验和,这样就能发现数据是否被损坏.HDFS会对写入的所有数据计算校验和,并在读取数据时验证校验和. 客户端写数据:正在写数据的客户端将数据及其校验和发送到由一系列datanode组成的管线,管线中最后一个datanode负责验证校验和.如果检测到错误,客户端会收到一个ChecksumException异常.(datanode负责在收到数据后存储该数据并验证校验和,它

OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性.冗余和持久性.本文将从架构.原理 和实践等几方面讲述Swift. Swift并不是文件系统或者实时的数据存储系统,它称为对象存储,用于永久类型的静态数据的长期存储,这些数据可以检索.调整,必要时进行更新.最适合 存储的数据类型的例子是虚拟机镜像.图片存储.邮件存储和存档备份.因为没有中心单元或主控结点,Swift提供了更强的扩展性.冗余和持久性. Sw

https://segmentfault.com/a/1190000008794218 IPv6的优点 更大的地址空间 名字叫IPv6,但它的长度并不是64位,而是128位,总的地址空间大约为3.4*1038,一个亿是10的8次方,那么IPv6就有340万亿亿亿亿个地址(4个亿连一起),所以说给地球上的每一粒沙子分配一个IP地址不是在吹牛,是真可以. 可以参考这篇文章和这篇文章,里面提到地球上所有沙滩的沙子大约有7.5*1018粒,这个值跟IPv6的1038相差了很多个数量级,就算加上沙漠等其它

1.swift 是什么?OpenStackObject Storage (Swift) 是开源的,用来创建可扩展的.冗余的.对象存储(引擎). swift使用标准化的服务器存储 PB 级可用数据.但它并不是文件系统 (file system) ,实时的数据存储系统(real-timedata storage system) . swift 看起来更像是一个长期的存储系统 (long term storage system) ,为了获得.调用.更新一些静态的永久性的数据.比如说,适合存储一些类型的

前言 本文旨在帮助SQL Server数据库的使用人员了解常见的问题.及高速解决这些问题.这些问题是数据库的常规管理问题,对于非常多对数据库没有深入了解的朋友提供一个大概的常见问题框架. 以下一些问题是在近千家数据库用户诊断时发现的常规问题.本文分为[常见问题诊断流程]-[常见问题]-[常见问题高速解决的建议] 常见问题诊断流程 概览模块-[汇总]了解系统 了解系统性能(语句运行时间.会话等待) 语句运行时间:横坐标为时间范围,纵坐标为在运行时间在范围内分布的语句数量. (本例:收集时间内语句运

概述 OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性.冗余和持久性. Swift并不是文件系统或者实时的数据存储系统,它称为对象存储,用于永久类型的静态数据的长期存储,这些数据可以检索.调整,必要时进行更新.最适合存储的数据类型的例子是虚拟机镜像.图片存储.邮件存储和存档备份.因为没有中心单元或主控结点,Swift提供了更强的扩展性.冗余和持久性.Swift前身是Rackspace Cloud Fi

前段时间研究过微软的Excel导出.table输出Excel,而它们也存在一些弊端: 1.对于微软的Excel导出存在一些弊端,如:需要安装Office软件.速度问题: 2.table输出Excel在使用过程中发现一个致命的弊端,在一定情况下数据会丢失,因为部门的负责人会针对数据进行导出,分发给相关人员,而接收方接收后发现数据损坏.对于数据丢失我猜测应该属于导出方式,对于table输出我猜测应该是在本地会生成一些缓存文件以供导出的Excel进行动态调用,而发送给另一台机器缓存数据却未发送因此导致

Swift 不是文件系统或者实时的数据存储系统,而是对象存储,用于长期存储永久类型的静态数据.这些数据可以检索.调整和必要时进行更新.Swift最适合虚拟机镜像.图片.邮件和存档备份这类数据的存储. Swift没有采用RAID,也没有中心单元和主控点,而是通过在软件层面采用一致性HASH和数据冗余性,牺牲一定程度的数据一致性达到高可用性和可收缩性.支持多用户模式.容器.和对象存储.最佳应用场景为非结构化数据存储问题.所谓的非结构化数据是相对于结构化数据而言的,节后数据即行数据,存储在数据库中,可

OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之中的一个.被称为对象存储.提供了强大的扩展性.冗余和持久性.本文将从架构.原理和实践等几方面讲述Swift. Swift并非文件系统或者实时的数据存储系统,它称为对象存储,用于永久类型的静态数据的长期存储.这些数据能够检索.调整,必要时进行更新.最适合存储的数据类型的样例是虚拟机镜像.图片存储.邮件存储和存档备份. 由于没有中心单元或主控结点,Swift提供了更强的扩展性.冗余和持久性.Sw

1.什么是块损坏: 所谓损坏的数据块,是指块没有採用可识别的 Oracle 格式,或者其内容在内部不一致. 通常情况下,损坏是由硬件故障或操作系统问题引起的.Oracle 数据库将损坏的块标识为"逻辑损坏"或"介质损坏". 假设是逻辑损坏,则是 Oracle 内部错误. Oracle 数据库检測到不一致之后,就将逻辑损坏的块标记为损坏.假设是介质损坏,则是块格式不对:从磁盘读取的块不包括有意义的信息. 通过恢复块,或者删除包括损坏块的数据库对象(或同一时候採用这两种

事故的起因是因为当我访问某个数据库的某个表的时候,MySQL 立即出现崩溃并且去查看 MySQL 的错误日志出现类似信息 --09T05::.232564Z [ERROR] InnoDB: Space id and page no stored , page number=], should be [page id: space=, page number=] --09T05::.232613Z [ERROR] InnoDB: Database page corruption on disk o

从网上下载了一些压缩文件,有时解压时会出现“这个压缩文件格式未知或者数据已经被损坏”或“未找到压缩文件”的提示. 造成的原因有两种: 一.网站上的压缩文件本来就是坏的. 1.你可以尝试可以使用WINRAR软件自身的修复功能来修复损坏的文件,首先在开始菜单中启动WINRAR软件,选中您要修复的RAR文件,单击工具栏上“修复压缩文件”,在弹出的对话框中选择“修复后文件保存的路径”,然后单击“确定”,这种方法成功率不高,一般要多试几次. 2.使用RAR Recovery Toolbox或是Advanc

      google 公司的很多业务具有数据量巨大的特点,为此,google 公司研发了云计算技术.google 云计 算结构中的 google 文件系统是其云计算技术中的三大法宝之一.本文主要介绍了 google 公司根据自己公司应 用对文件系统的要求设计的 GFS 的体系结构,首先简单介绍了 google 云计算平台,然后介绍了 google 公司 设计的 GFS 框架,对其中的三类组件的功能.组件之间的交互和框架的特点进行了说明,接着通过介绍基于 GFS 框架构建的 google 文件