使用BulkLoad恢复hbase数据

问题: hbase 集群启动不了,maste一直在初始化,数据面临丢失风险. 解决: 把hbfs上 /hbase 目录移走改名为/hbase-bak 删除zk上的数据,重新建立一个新的hbase集群. 使用如下代码, 把/hbase-bak里面的数据恢复到现有的hbase集群中. public class RestoreData { public static final String HBASE_ZOOKEEPER_QUORUM = "hbase.zookeeper.quorum"…

使用bulkload向hbase中批量写入数据

1.数据样式写入之前,需要整理以下数据的格式,之后将数据保存到hdfs中,本例使用的样式如下(用tab分开): row1 N row2 M row3 B row4 V row5 N row6 M row7 B 2.代码假设要将以上样式的数据写入到hbase中,列族为cf,列名为colb,可以使用下面的代码(参考) package com.testdata; import java.io.IOException; import org.apache.hadoop.conf.Configurat…

HBase数据备份及恢复(导入导出)的常用方法

一.说明随着HBase在重要的商业系统中应用的大量增加,许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复机制来保证它们的企业(数据)资产.备份Hbase时的难点是其待备份的数据集可能非常巨大,因此备份方案必须有很高的效率.Hbase备份方案必须既能够伸缩至对数百TB的存储容量进行备份,又能够在一个合理的时间内完成数据恢复的工作.HBase和Apache Hadoop系统提供了许多内置的机制,可以快速而轻松的完成PB级数据的备份和恢复工作. 二.方法 HBase是一个基于LSM树(…

HBase BulkLoad批量写入数据实战

1.概述在进行数据传输中,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据.使用Sqoop工具批量导数到HBase集群.使用MapReduce批量导入等.这些方式,在导入数据的过程中,如果数据量过大,可能耗时会比较严重或者占用HBase集群资源较多(如磁盘IO.HBase Handler数等).今天这篇博客笔者将为大家分享使用HBase BulkLoad的方式来进行海量数据批量写入到HBase集群. 2.内容在使用BulkLoad之前,我们先来了解一下HBa…

HBase 数据迁移方案介绍

一.前言 HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类: 图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类.下面分别介绍一下. 二.Hadoop层数据迁移 2.1 方案介绍 Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具. 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成.…

HBase 数据迁移方案介绍 (转载)

原文地址:https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html 一.前言 HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类: 图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类.下面分别介绍一下. 二.Hadoop层数据迁移 2.1 方案介绍 Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp…

BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览

一.引言时间到了2019年,数据库也发展到了一个新的拐点,有三个明显的趋势: 越来越多的数据库会做云原生(CloudNative),会不断利用新的硬件及云本身的优势打造CloudNative数据库,国内以阿里云的Cloud HBase.POLARDB为代表,此块文章会有一定的引述,但不是本文的重点. NoSQL正在解决BigData领域的问题.根据Forrester NoSQL的报告,BigData NoSQL是提供存储.计算处理.支持水平扩展.Schemaless以及灵活的数据模型,特别提…

HBase 数据迁移方案介绍（转载）

原文链接:https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html 一.前言 HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类: 图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类.下面分别介绍一下. 二.Hadoop层数据迁移 2.1 方案介绍 Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp…

4.HBASE数据迁移方案（之snapshot）：

4.HBASE数据迁移方案: 4.1 Import/Export 4.2 distcp 4.3 CopyTable 4.4 snapshot 快照方式迁移(以USER_info:user_log_info为例) 1.先在源集群建立该表的快照 hbase(main):003:0> snapshot "USER_INFO:user_log_info","user_log_info_snapshot" 2.在源集群执行: sudo -u hdfs hbase…

HBase 数据迁移

最近两年负责 HBase,经常被问到一些问题, 本着吸引一些粉丝.普及一点HBase 知识.服务一点阅读人群的目的,就先从 HBase 日常使用写起,后续逐渐深入数据设计.集群规划.性能调优.内核源码级解析.思考. 数据迁移是 HBase 常见操作需求之一,本文将介绍 HBase 常用的大数据量数据迁移常见的两种方法: 1.DSTCP+ FIX 元数据信息 2.SNAPSHOT 快照导出迁移 DISTCP迁移 DISTCP的思路是,直接通过DISTCP拷贝HBase 的目录文件到目标集群,然后在…

hbase数据备份或者容灾方案

HBase的数据备份或者容灾方案有这几种:Distcp,CopyTable,Export/Import,Snapshot,Replication,以下分别介绍(以下描述的内容均是基于0.94.20版本). 一.Distcp 在使用distcp命令copy hdfs文件的方式实现备份时,需要禁用备份表确保copy时该表没有数据写入,对于在线服务的hbase集群,该方式不可用,而且在一些文章中可以看到通过distcp文件恢复hbase表时需使用: bin/hbase org.jruby.Main b…

Hbase数据备份&&容灾方案

Hbase数据备份&&容灾方案标签(空格分隔): Hbase 一.Distcp 在使用distcp命令copy hdfs文件的方式实现备份时,需要禁用备份表确保copy时该表没有数据写入,对于在线服务的hbase集群,该方式不可用,将静态此目录distcp 到其他HDFS文件系统时候,可以通过在其他集群直接启动新Hbase 集群将所有数据恢复. 二.CopyTable 执行命令前,需在对端集群先创建表支持时间区间.row区间,改变表名称,改变列簇名称,指定是否copy删除数据等功能,例…

HBase 数据读写流程

HBase 数据读写流程 2016-10-18 杜亦舒读数据 HBase的表是按行拆分为一个个 region 块儿,这些块儿被放置在各个 regionserver 中假设现在想在用户表中获取 row key 为 row0001 的用户信息要想取得这条数据,就需要先找到含有此条记录的 region HBase 是如何定位到具体 regionserver 中的具体 region 的呢? HBase 中有一个内置的 hbase:meta 表,其中记录了所有表的所有 region 的详细信息例如…

oracle恢复误删除数据

--开启行移动功能alter table 表名 enable row movement;--恢复表数据flashback table 表名 to timestamp to_timestamp('2014-05-19 09:40:00','yyyy-mm-dd hh24:mi:ss');上述时间为删除数据的时间备注:恢复后请关闭行移动功能…

[转]PLSQL Developer备份恢复oracle数据

本文转自:http://www.cnblogs.com/iampkm/archive/2013/06/09/3128273.html 使用PL sql提供的功能可以快速的备份恢复oracle数据. 1 导出存储过程,触发器,序列等所有用户对象.(备份) 在PL/SQL Developer的菜单Tools(工具) => Export User Objects(导出用户对象)中出来一个对话框界面建议红色框住部分都不选,这样执行这个sql 时,就根据当前你的登录账户来进行创建. 在对象列表中ct…

Hive 实现HBase 数据批量插入

HBase 数据的插入可以使用Java API 来写Java 程序逐条倒入,但是不是很方便.利用Hive自带的一个Jar包,可以建立Hive和HBase的映射关系利用Hive 的insert可以将批量数据导入到HBase中,还可以通过 Hql 语句进行查询. 具体的配置方法如下: 1.把hive-hbase-handler-0.9.0-cdh4.1.2.jar (CDH5 默认在 /usr/lib/hive/lib下) cp到hbase/lib 下 (CDH5 默认在 /usr/lib/h…

HBase数据导出到HDFS

一.目的把hbase中某张表的数据导出到hdfs上一份. 实现方式这里介绍两种:一种是自己写mr程序来完成,一种是使用hbase提供的类来完成. 二.自定义mr程序将hbase数据导出到hdfs上 2.1首先看看hbase中t1表中的数据: 2.2mr的代码如下: 比较重要的语句是 job.setNumReduceTasks(0);//为什么要设置reduce的数量是0呢?读者可以自己考虑下 TableMapReduceUtil.initTableMapperJob(args[0], new…

HBase 学习之一 <<HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行>>

HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行 ----首先感谢网络能够给我提供一个开放的学习平台,如果没有网上的技术爱好者提供的帮助,很难学好hbase. 一.hbase简介官方:HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. 自己的理解:hbase其实就是一个在…

怎样将关系型数据表转换至hbase数据表

首先须要把关系型数据库的数据表的数据添加由 "纵向延伸",转变为HBase数据表的"横向延伸" 一.Hbase的存储结构 a) HBase以表(HTable)的形式存储数据 b) HTable包含非常多行,每行通过RowKey唯一标记,行依照RowKey的字典序排列.表在行的方向上切割为多个HRegion c) 每行包含一个RowKey和多个Column Family,数据依照Column Family进行物理分割.即不同Column F…

HBase数据存储格式

好的数据结构,对于检索数据,插入数据的效率就会很高. 常见的数据结构 B+树根节点和枝节点非常easy,分别记录每一个叶子节点的最小值,并用一个指针指向叶子节点. 叶子节点里每一个键值都指向真正的数据块.每一个叶子节点都有前指针和后指针,这是为了做范围查询时.叶子节点间能够直接跳转.从而避免再去回溯至枝和根节点. 特点: 1.有n棵子树的结点中含有n个keyword,每一个keyword不保存数据,仅仅用来索引,全部数据都保存在叶子节点. 2.所有的叶子结点中包括了所有keyword的…

HBase数据同步ElasticSearch该程序

ElasticSearch的River机械 ElasticSearch本身就提供了River机械,对于同步数据. 在这里,现在能找到的官方推荐River: http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/ 可是官方没有提供HBase的River. 事实上ES的River很easy,就是一个用户打包好的jar包,ES负责找到一个node.并启动这个River.假设node失效了,会自己主动找另外一个node来启动…

oracle恢复一个数据表的方法

今天提交给客户方一个sql脚本去跟新历史数据,结果客户那边的部署人员犯了一个错误,直接拿系统账号去部署,结果第一段代码没有执行成功,结果第二段代码却执行成功了,并且已经提交了的,....由于事前没有备份第二段更新表的数据,导致恢复标的数据非常困难,网上查找了半天,现在将找到的办法归纳如下: 1. 执行如下SQL将test_temp表中的数据恢复到2016年7月7号,即脚本被执行之前时间点. 注意,这里一定要先删除全部数据,否则可能会导致数据重复 1 SELECT * FROM DQAQTSW 2…

如何通过Mysql的二进制日志恢复数据库数据

经常有网站管理员因为各种原因和操作,导致网站数据误删,而且又没有做网站备份,结果不知所措,甚至给网站运营和盈利带来负面影响.所以本文我们将和大家一起分享学习下如何通过Mysql的二机制日志(binlog)来恢复数据. 系统环境: 操作系统:CentOS 6.5 X64 (虚拟机): WEB服务:PHP+Mysql+apache: 网站:为方便,直接在本地用蝉知系统搭建一个DEMO站点: 操作步骤: 1.开启binlog功能及基本操作: 2.往站点添加数据: 3.刷新binlog日志: 4.删除…

【原创】大叔经验分享（25）hive通过外部表读写hbase数据

在hive中创建外部表: CREATE EXTERNAL TABLE hive_hbase_table(key string, name string,desc string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key,columfamily:name,columnfamily:desc&qu…

恢复oracle数据从delete

今天维护系统的时候没仔细看,误删了50行数据,然后想起来以前学过delete语句删除的数据是可以回复的,但是那个时候比较慌乱,也没有心情仔细看,反而是想到了一个歪招解决了问题,我有个良好的嗜好就是经常备份数据库,昨天刚好备了一份,到今天为止这个表可以判定没有其他的修改,只是做了一些插入操作,于是我想到可以用not in这个东西,查找原表中存在而新表中不存在的数据id,刚好50个,就这么复制回去了.静下心来之后,我又看了看下面东西,总算是看明白了,那就下次用吧.不,希望不会用到比较好. -----…

mysql中的data下的数据文件（.FRM、.MYD、.MYI）恢复为数据

记一次mysql中的data文件操作经历想拿到一个项目的最新的数据,做功能升级使用,备份一份数据同时也作为本地测试数据,文件有些大,我直接通过远程的phpmyadmin程序导出,不能愉快的玩耍,直接联系了IDC的同事帮忙导一份sql文件出来一下,结果那哥们没得直接扔给了我data文件,这让我如何是好,这个问题我没遇见过啊.处于面子问题,又不好意思再让他重新发我一份sql文件,只好硬着头皮尝试一下如何恢复成数据. 环境申明以下操作都是针对windows下的操作 Data文件分析 *.frm是描…

[20170623]利用传输表空间恢复部分数据.txt

[20170623]利用传输表空间恢复部分数据.txt --//昨天我测试使用传输表空间+dblink,上午补充测试发现表空间设置只读才能执行impdp导入原数据,这个也很好理解.--//这样的操作模式仅仅减少expdp生成原数据的过程. --//我想一下,rman也支持建立传输表空间的命令.我仔细看了以前的笔记,发现这样最大的有点不用设置只读,实际上它是通过建立辅组实--//例来建立传输文件,理论讲可以恢复到特定的scn,这样可以利用它解决一些误操作的问题,还是通过例子来说明问题. 1.环境:…