一.动态分区 先来说说我对动态分区的理解与一些感受吧. 由于我们通过hive去查询数据的时候,实际还是查询HDFS上的数据,一旦一个目录下有很多文件呢?而我们去查找的数据也没有那么多,全盘扫描就会浪费很多时间和资源. 为了避免全盘扫描和提高查询效率,引入了分区的概念. 分区的展现形式,就是在HDFS上的多级目录展现. 分区又分为静态分区和动态分区,静态分区是我们在创建表的时候去手动创建分区,然后将文件load上去. 这样就会显得很麻烦,当我们数据量特别大而且是同一类型数据的时候,手动就会显得很麻

一个比Sqoop好用的数据传输工具 下载maven的时候,加一个 -P让下载的压缩包到指定目录 而要让档案自动储存到指令的目录下,则需要借用-P这个参数wget -p 目录 网址wget -P /root/download 网址 解压的时候: 其中用到了tar这个命令,发现在Qt中的file取得路径之后,获得的都是绝对路径,这个时候用tar打包会将绝对路径全部放进去, 可以用tar temp.tar.gz file -C fileDIr来指定file的目录,这样可以在打包成文件之后内部去掉路径信

让我们来回顾一下我们在学习Hadoop中的HDFS的时候,肯定见过下面这样的两幅图: 这副图代表着什么呢?它介绍的是Hadoop集群的高可靠,也就是前面提过的HA,仔细观察一下这副图,我们发现有两个NameNode,只不过一个是活跃的状态 ,一个是热备状态,什么是热备状态?比如说在之前的Hadoop集群中,什么可以挂掉(宕机),DataNode可以挂掉一个,因为它有备份,但是我们这里的问题是,假如我们的namenode挂掉了呢??这该怎么办? 所以,Hadoop的高可靠,就是在这里,它拥有两个N

Zookeeper集群搭建 在本文中Zookeeper节点个数(奇数)为3个.Zookeeper默认对外提供服务的端口号2181 .Zookeeper集群内部3个节点之间通信默认使用2888:3888 192.168.129.101   192.168.129.102   192.168.129.103 下载zookeeper对应的tar包 分别上传tar包到192.168.0.217   192.168.0.218    192.168.0.219 在101.102.103三个zookeepe

这里引用一篇博客  写的很好 https://blog.csdn.net/C_time/article/details/101109071

简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.HDFS.Hive.OceanBase.HBase.OTS.ODPS 等各种异构数据源之间高效的数据同步功能.DataX采用了框架 + 插件 的模式,目前已开源,代码托管在github. DataX安装部署及小试1.下载压缩包:下载页面地址:https://github.com/alibaba/DataX 在页面中[Quick Start]--->[Download DataX下载地址]进行下

HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于

搭建完全分布式集群 HBase集群建立在hadoop集群基础之上,所以在搭建HBase集群之前需要把Hadoop集群搭建起来,并且要考虑二者的兼容性.现在就以5台机器为例,搭建一个简单的集群. 软件版本:hbase-0.98.12.1-hadoop2-bin.tar.gz 3台机器IP:192.168.129.101(node1).192.168. 129.102(node2).192.168. 129.103(node3). 一．安装zookeeper 参看:zookeeper集群安装 二. 

启动顺序 Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase 停止顺序 Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer 启动和停止ZK   /home/zookeeper-3.4.6/bin/zkServer.sh start | stop 启动和停止hadoop集群 方式一: 启停yarn及hdfs     /data/hadoop/sbin/start-all.sh | stop-a

使用HBase 和 Hbase使用帮助 1).进入HBase  #使用命令进入HBase Shell $ hbase shell The HBase shell is the (J)Ruby IRB with the above HBase-specific commands added. For more on the HBase Shell, see http://hbase.apache.org/book.html hbase(main):003:0> 2).使用HBase帮助 HBase

package com.wyh.HbaseAPI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; im

Hbase是数据库 特点: 1.面向列:Hbase是面向列的存储和权限控制,并支持独立索引.列式存储,其数据在表中是按照某列存储的,这样在查询只需要少数几个字段时,能大大减少读取的数据量. 2.多版本:Hbase每一个列的存储有多个Version(这个版本是针对列簇来说的). 3.稀疏性:为空的列不占用存储空间,表可以设计得非常稀疏. 4.扩展性:底层依赖HDFS. 5.高可靠性:WAL机制保证了数据写入时不会因集群异常而导致写入数据丢失,Replication机制保证了在集群出现严重的问题时,

package com.wyh.parctise; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.client.HTable; import

1.准备数据 链接:https://pan.baidu.com/s/1fRECXp0oWM1xgxc0uoniAA 提取码:4k43 2.需求如下 (1)查询出10条某个人的最近出现的位置信息 (2)查询出某个人在某一天在某个城市的所有位置信息 3.设计rowkey 手机号_(某一个大值 - 进入位置的开始时间) 因为Hbase的rowkey是以字典顺序来排序的,如果我们就直接将其存进去,是升序的,而要求是最新的位置信息,那么肯定是倒序的. 4.编写连接.创建表.插入数据.查询数据的代码 pac

二级索引的本质就是建立各列值与行键之间的映射关系 HBASE是在hadoop之上构建非关系型,面向列存储的开源分布式结构化数据存储系统. Hbase的局限性: HBase本身只提供基于行键和全表扫描的查询,而行键索引单一,对于多维度的查询困难. 所以我们引进一个二级索引的概念 常见的二级索引: HBase的一级索引就是rowkey,我们只能通过rowkey进行检索.如果我们相对hbase里面列族的列列进行一些组合查询,就需要采用HBase的二级索引方案来进行多条件的查询. 1. MapReduc

Redis 支持单机版和集群,下面的步骤是单机版安装步骤 redis3.0.0版本的安装包百度云链接: 链接:https://pan.baidu.com/s/1mb_SdU5hHlrmUkWN7Drx0g 提取码:jz9r # yum install -y gcc-c++ 1.1 由于是c语言编写,所以需要安装支持组件 把压缩包上传到linux服务器上 2.1 示例位置: /usr/local/temp/ 下 # cd /usr/local/temp # tar zxvf redis-3.0.6

正文 1.为什么使用redis 分析:博主觉得在项目中使用redis,主要是从两个角度去考虑:性能和并发.当然,redis还具备可以做分布式锁等其他功能,但是如果只是为了分布式锁这些其他功能,完全还有其他中间件(如zookpeer等)代替,并不是非要使用redis.因此,这个问题主要从性能和并发两个角度去答.回答:如下所示,分为两点(一)性能如下图所示,我们在碰到需要执行耗时特别久,且结果不频繁变动的SQL,就特别适合将运行结果放入缓存.这样,后面的请求就去缓存中读取,使得请求能够迅速响应.题外

刚开始学习JavaAPI的时候,主要是对redis中的字符串,字节位图,列表,集合,有序集合进行操作,并能够完成简单的需求. package com.wyh.redis; import org.junit.After; import org.junit.Before; import org.junit.Test; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients

在这里是简单模拟将索引存到redis中,再通过先查询索引再将Hbase中的数据查询出来. 需要考虑的问题: 1.建立redis的连接,建立Hbase的连接 2.如何创建索引,即创建索引的key和value的设计 3.如何通过将查到的索引,去查询到对应Hbase的数据 代码的难度并不大,主要是这个思路. package com.wyh.redis; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase

package com.wyh.day01 object ScalaClass { def main(args: Array[String]): Unit = { val student = new Person("王友虎",21) var result = student.toString println(result) val student1 = new Student2("赵以浩",22,"006") val result1 = stud