一,基本命令: 建表:create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如:create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION => 'LZO', TTL => '30000', IN_MEMORY => 'false',…

Oracle 11g 物理Dataguard日常操作维护(二) 2017年8月25日 14:34 3.3 3.3.1 查看备库进程状态 SYS(125_7)@fpyj123> select process,client_process,sequence#,status from v$managed_standby ; PROCESS   CLIENT_P  SEQUENCE# STATUS --------- -------- ---------- ------------ ARCH     …

1         Hbase日常运维 1.1       监控Hbase运行状况 1.1.1        操作系统 1.1.1.1 IO 群集网络IO,磁盘IO,HDFS IO IO越大说明文件读写操作越多.当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作. 2.正在执行mapreduce作业 可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据: Io wait 磁盘IO对集群的影响比较大,如果io wait时间过长需检查系统或磁盘是…

第1章 HBase 简介1.1 什么是 HBase1.2 HBase 特点1.3 HBase 架构1.3 HBase 中的角色1.3.1 HMaster1.3.2 RegionServer1.3.3 其他组件第2章 HBase 安装2.1 Zookeeper 正常部署2.2 Hadoop 正常部署2.3 HBase 的解压2.4 HBase 的配置文件2.5 HBase 远程发送到其他集群2.6 HBase 服务的启动2.7 查看 HBase 页面第3章 HBase Shell 操作3.1 基本…

Hbase API 操作开发需要连接Zookeeper进行节点的管理控制 1.配置 HBaseConfiguration: 包:org.apache.hadoop.hbase.HBaseConfiguration下的HBaseConfiguration 作用:通过此类可以对HBase进行配置 static Configuration config = null; private Connection connection = null; private Table table = null; @…

Spark-读写HBase,SparkStreaming操作,Spark的HBase相关操作 1.sparkstreaming实时写入Hbase(saveAsNewAPIHadoopDataset方法) 2.sparkstreaming整合kafka实现exactly-once语义 3.sparkstreaming同时消费多个topic的数据实现exactly-once的语义 4.spark读取hbase数据(newAPIHadoopRDD方式) 5.spark读取hbase中的数据 6.spa…

Hbase 是一个分布式的.面向列的开源数据库,其实现是建立在google 的bigTable 理论之上,并基于hadoop HDFS文件系统.     Hbase不同于一般的关系型数据库(RDBMS).是一种适用于非结构化数据存储的数据库,且Hbase是基于列的数据库.      下面的内容基于我们已经安装好hadoop.hbase. 一.hbase shell 介绍      hbase shell是用户和hbase 交互的接口之一,当然还可以通过其它方式比如java api等      下…

hbase连接操作 package com.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Connection; import…

  比如第一个region 代表 0-100 第二个region 代表 101 -200的 分的越多越不好管理,但同时方便了并行化处理,并发度越高,处理的越快.mapreduce就是按照rowkey的范围进行切分,这一点跟hdfs不一样. 由于不同的同一个表的不同region有可能在不同的节点机器上,这就方便了并发处理.关于负载均衡:比如一个节点100个region 另外一个节点50个region,我们要做负载均衡,则会把25个region放到另一台机器.region是伏在均衡的最小单位,reg…

许多开源操作系统和维护系统,例nagios.zabbix.cati等等,但是,当他们得到的时间自己的个性化操作和维护需求,始终无力! 最近的一项研究python.因此,我们认为python+django+twisted要定制一个完全个性化的操作和维护系统. 有几个基本的功能:监控.分析.报警.更甚者直接依据分析的结果进行反应操作.而以上几点通过上述的框架能够比較easy的实现. 以下上图说明: 使用freemind整理了下思路: 以下是一些代码段,完整的代码下载见文档底部: Server: #!…