摘要:分享一个HBase集群恢复的方法. 背景 在HBase 1.x中,经常会遇到元数据不一致的情况,这个时候使用HBCK的命令,可以快速修复元数据,让集群恢复正常. 另外HBase数据迁移时,大家经常使用到一种迁移方式是:拷贝HBase的数据目录/hbase/data/default到新的集群,然后在新集群执行HBCK的命令让元数据重建,这种拷贝数据目录然后恢复元数据的方式是一种快速直接的手段. HBase升级到2.X版本之后,hbase hbck中的一些修复命令已经不再支持,包括,所以在HB

hive 元数据修复命令 msck repair table xxx; 也可以用于分区表的快速复制 例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要如何操作呢? 1.复制建表语句 2.从线上下载分区表数据 hadoop fs -get /user/hive/warehouse/public.db/table_partition/ . 3.把分区数据put到线下表中 hadoop fs -put table_partition/* /user/hive/warehouse/public

在升级一个SQL Server 2000的数据库时,遇到了一致性错误,其中有几个错误是元数据损坏(metadata corruption),特意研究了一下这个案例,因为以前也零零散散的遇到过一些一致性相关错误,但是难得遇到元数据损坏的案例. 如下所示,数据库从SQL Server 2000还原到SQL Server 2008以后,在做一致性检查时,发现有元数据损坏(metadata corruption),下面是实验是构造的一个测试环境 DBCC CHECKCATALOG (TEST) WITH

背景 鉴于上次一篇文章——“云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据”的读者反馈,对HBase的逆向工程比较感兴趣,并咨询如何使用相应工具进行运维等等.总的来说,就是想更深层理解HBase运维原理,提高运维HBase生产环境的能力,应对各种常见异常现象.不同的读者对hbase的了解程度不同,本文不打算着重编写一个工具怎么使用,而是从HBase的运维基础知识介绍开始讲解.为了能帮助大部分读者提高HBase运维能力,后续会写个“HBase运维系列” 专题系列文章,欢迎大家关

一.现象描述 在一次执行gprecoverseg后发现数据库无法正常连接,现象如下: 执行gprecoverseg日志如下: gprecoverseg:mdw-:gpadmin-[INFO]:-Starting gprecoverseg with args: -r gprecoverseg:mdw-:gpadmin-[INFO]:-local Greenplum Version: 'postgres (Greenplum Database) 4.3.99.00 build dev' gpreco

最近在学习HBase先关的知识,顺便做一下笔记,以加深知识的了解和掌握. Hbase常用工具 文件检测修复工具 hbase hbck -help 常用选项: -details 显示所有region检查的完整报告 -summary 输出表和状态的总结信息 -metaonly 只检查-ROOT-和.META.表 -fixAssignments 用于修复Region分配错误 -fixMeta 用于修复.META.表的问题(前提是HDFS上的region信息是正确的) -fixHdfsHoles 修复R

前一篇文章<HDFS和Hbase误删数据恢复>主要讲了hdfs的回收站机制和Hbase的删除策略.根据hbase的删除策略进行hbase的数据表恢复.本文主要介绍了hdfs的快照原理和根据快照进行的数据恢复. 1.Hdfs的快照原理 1.1 快照原理 Hdfs的快照(snapshot)是在某一时间点对指定文件系统拷贝,快照采用只读模式,可以对重要数据进行恢复.防止用户错误性的操作. 快照分两种:一种是建立文件系统的索引,每次更新文件不会真正的改变文件,而是新开辟一个空间用来保存更改的文件,一种

在hadoop第前几个版本中是没有快照功能的,2.x中是有这个特性的 Hadoop 2.x HDFS新特性   HDFS快照 HDFS快照     在2.x终于实现了快照     设置一个目录为可快照:         hdfs dfsadmin -allowSnapshot <path>     取消目录可快照:         hdfs dfsadmin -disallowSnapshot <path>     生成快照:         hdfs dfs -createSna

1.查找命令 bin/hadoop 2.启动两个HDFS集群 hadoop0,hadoop1,都是伪分布式的集群 3.启动hadoop3的zookeeper与hbase 注意点:需要开启yarn服务,因为distcp需要yarn. 3.在hdfs上可以看到hadoop3上有表s1. 4.官网 下面使用的情况是:不同版本的集群之间进行拷贝,建议查官网. -------------------------------------------------------------------------

1 概述 在系统开发过程中,我们对软件源代码的版本管理,已经有了比较成熟的解决方案.通过使用TFVC或GIT等源代码管理工具,可以非常方便的对软件代码实现回退.比较.分支合并等版本操作.对于软件依赖的数据库呢,我们是否也需要版本管理,如何实现版本管理? 是否需要对数据库实现版本管理,我们首先来看一个这样的示例: 假设有一个简单软件系统的架构如下,包含了一个软件应用和一个数据库节点,软件通过连接数据库的方式为用户提供服务. 这种简单的软件结构,在系统开发过程中的实际情况,很可能是这样的: Figu

问题描述: 前几天一个同事来说,通过phoenix创建表失败了,一直报表存在的错误,删除也报错,然后就针对这个问题找下解决方案. 问题分析: 1.通过phoenix创建表,一直卡住不动了.创建语句如下: CREATE TABLE SYNC_BUSINESS_INFO_BYDAY_EFFECT( ID VARCHAR, DAY_ID VARCHAR, PROV_ID VARCHAR, PROV_NAME VARCHAR, AREA_ID VARCHAR, AREA_NAME VARCHAR, CI

场景 HBase表TaskLog中有20.55G数据(20553078551Byte),目前存放在热存储中,现在要移至冷热储,并进行还原. HBase目录:hbase/data/default 冷目录:Cold_Tasklog/TaskLog_20170817 其它:冷热两个存储账号的AccountName.AccountKey.ContainerName都已经准备好. 备份还原过程 1.  在Hot上 a)         disable ‘TaskLog’:执行hbase命令 b)     

Hive数据结构 除了基本数据类型(与java类似),hive支持三种集合类型 Hive集合类型数据 array.map.structs hive (default)> create table test( > name string, > friends array<string>, -- 创建array字段 > children map<string,int>, -- map字段 > address struct<street:string,

场景: 一套自己编译的Hbase集群 A 一套自己通过cloudera平台搭建的Hbase集群 B 注意:( 我的两套集群是同一个网段的) 方式1:通过快照方式进行数据迁移(不需要提前建表) 1):首先现在老集群A上进行快照制作(hbase命令行) hbase> snapshot '要快照的表名tableA' , '快照名称snapA' 查看快照:list_snapshots 删除快照:delete_snapshot '快照名称snapA' 2):开始快照迁移(将集群A的快照迁移到集群B上) b

集群配置 三台ECS云服务器 配置步骤 1.准备工作 1.1 创建/bigdata目录 mkdir /bigdatacd /bigdatamkdir /app 1.2修改主机名为node01.node02.node03 1.3修改hosts文件 vim /etc/hosts 添加node01~node03内网IP映射 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost

创建和分布表 要创建分布式表,您需要首先定义表 schema. 为此,您可以使用 CREATE TABLE 语句定义一个表,就像使用常规 PostgreSQL 表一样. CREATE TABLE http://www.postgresql.org/docs/current/static/sql-createtable.html CREATE TABLE github_events ( event_id bigint, event_type text, event_public boolean,

在HBase入库日志中发现有一个表入库失败,检查HBase服务端后发现该表的meta信息丢失了: 而HDFS上的region还在: 而HBCK工具不支持HBase2.0版本,只好自己写一个修复工具.网上可以搜到前辈们自己编写的一些工具,比如这一篇写的就比较详细 https://blog.csdn.net/xyzkenan/article/details/103476160 我们引用一下,再对个别地方略微讲解. 看一下'hbase:meta'中正常的存储结构: 列名 说明 info:state R

目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase-env.sh 5 6.4. 修改conf/log4j.properties 6 6.5. 修改conf/hbase-site.xml 6 6.5.1. hbase.master.info.port 8

简介     在一个理想的世界中,不会存在任何数据库的损坏,就像我们不会将一些严重意外情况列入我们生活中的日常一样,而一旦这类事情发生,一定会对我们的生活造成非常显著的影响,在SQL Server中也同样如此,或许几年内您没有遇见过数据库中出现这类情况,而一旦遇见这类情况,往往伴随着数据的丢失,宕机,严重甚至您本身的职业生涯也会受到影响.因此对于这类情况,我们需要了解数据库损坏方面的知识,以便我们能够事前准备,事后能够处理.本篇文章会对数据库损坏的原因.现象.事前和事后的一些处理方法以及简单的修

简介 在一个理想的世界中,不会存在任何数据库的损坏,就像我们不会将一些严重意外情况列入我们生活中的日常一样,而一旦这类事情发生,一定会对我们的生活造成非常显著的影响,在SQL Server中也同样如此,或许几年内您没有遇见过数据库中出现这类情况,而一旦遇见这类情况,往往伴随着数据的丢失,宕机,严重甚至您本身的职业生涯也会受到影响.因此对于这类情况,我们需要了解数据库损坏方面的知识,以便我们能够事前准备,事后能够处理.本篇文章会对数据库损坏的原因.现象.事前和事后的一些处理方法以及简单的修复方法进