0. 说明 已经安装好Hadoop和hive环境,hive把元数据存储在mysql数据库.这里仅讨论外部表和HDFS的关联,并且删掉外部表之后,对HDFS上的文件没有影响. 1. 在HDFS创建分区,并存有文件 手工创建或者由程序在HDFS上生成了分区目录,每个分区目录下有相应的文件.本例中根据day分了两个分区,如下所示: /test/in/day=20/20.txt /test/in/day=21/21.txt 文件里面的内容格式如下: 2;Lily;1991;Shanghai 3;Jack

Hive是一个基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.在本质上,Hive与Pig一样,都是将相应的查询语句转换为MapReduce程序,简化数据处理过程.不过相比Pig来说,Hive使用的HiveQL语言很接近SQL语言,因此对于开发人员来说更容易上手,使用频率也更高. 一.Hive基础知识 1.基本概念  Hive是一个建立在Hadoop

一.获取hadoop的源码 首先通过官网下载hadoop-2.5.2-src.tar.gz的软件包,下载好之后解压发现出现了一些错误,无法解压缩, 因此有部分源码我们无法解压 ,因此在这里我讲述一下如何通过maven来获取完整的源码: 需要说明的是,在使用maven的时候,需要先安装jdk,protoc ,如果没有安装可以参考http://www.cnblogs.com/ljy2013/articles/4461268.html (1)通过命令行进入hadoop-2.4.0-src\hadoop

目录 Hive中文乱码问题 hive和hbase的版本不一致 Ambari hive插入Hbase出错 Hive0.12和Hbase0.96不兼容,重新编译hive0.12.0 hiveserver不能正常启动 hive连接eclipse不能复杂查询,不能加where Hive中文乱码问题 众所周知,我们都是使用mysql存储hive的元数据,可以执行带有中文注释的建表文件,解决中文乱码的问题: 要把元数据库设定为latin1而把存储中文的数据表的编码设定为utf-8格式,即存储在hive里的表

在有些时候,想要控制hql执行的mapper,reducer个数,reducer设置过少,会导致每个reducer要处理的数据过多,这样可能会导致OOM异常,如果reducer设置过多,则会导致产生很多小文件,这样对任务的执行以及集群都不太好.通常情况下这两个参数都不需要手动设置,Hive会根据文件的大小和任务的情况自动计算,但是某些特殊情况下可能需要进行调优,下面列举两个常用的调优场景看看这两个参数在调优的时候都是怎么用的: 方法一:设置reducer个数 reducer个数最直接的影响是hq

外表关联parquet文件 1. 为什么关联了一次数据文件就不能二次被使用: 2. 为什么删除了employee,select还是可以而且有数据,1,2可能是一个问题   外表drop只是metadata表内容删除,hdfs的/user/hive/warehouse中依然有此表:但是如果是manage table,则删除后,hdfs里面的文件也会删除,select之后也会报错:所以SQL引擎在处理查询的时候应该是直接到hive的存储位置去执行sql,而不是查metadata表信息.但是后来的测试

昨天在学习Hadoop的时候,遇到一个问题就是Java关联Hadoop源码的时候死活关联不上,但是我发现在公司的电脑就可以顺利关联到源码.考虑了一下觉得应该是Eclipse版本的问题,于是我下载了eclipse-jee-mars-2-win32-x86_64.zip这个版本的JEE版本(如果大家不知道该怎样从官网下载JEE版本的话,可以参考:http://blog.csdn.net/u012453843/article/details/52582846这篇文章来进行下载,当然如果大家想更简单一点

Struts 的xml 文件在Eclipse 中  默认是不会有提示的. 但是我们可以关联DTD 文件, 这样子就可以出现如下的struts   提示了 1. 首先得先确保自己有Struts2 的Src  包  如果没有可以在下面网站进行下载 http://struts.apache.org/download.cgi#struts2512 2.  确定自己使用DTD 的版本号 我是用的是最新版本的Struts 2.5.12  复制过来的struts.xml  中使用的DTD 是 http://s

方法1: hive -f sql文件 t.sql文件内容: ; 执行命令 hive -f t.sql 方法2: 进入hive shell, 执行source命令 进入hive 终端 $ hive hive> 使用source命令执行 hive>source t.sql

关联本地文件夹到 GitLab 项目的 dev 分支: rm -rf .git git init git remote add origin git pull git checkout dev git add . git commit -m 'm' git push

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce (1)观察集群配置情况 [root@master ~]# hdfs dfsadmin -report (2)web界面观察集群运行情况 使用netstat命令查看端口监听 [root@

hive sequencefile导入文件遇到FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match the file format of the destination table.错误 原因 这是因为SequenceFile的表不能使用load来加载数据,只能导入sequence类型的数据 解决办

Hive与Hadoop调用图 解析: 1.提交sql 交给驱动2.驱动编译:解析相关的字段表信息3.去metastore查询相关的信息 返回字段表信息4.编译返回信息 发给驱动5.驱动发送一个执行计划 交给执行引擎6.执行计划 (三种形式: metastore.namenode.metastore+namenode+mapreduce) 形式一 > DDL 对数据库表的操作的 直接和metastore交互 . 比如:create table t1(name string);形式二 > dfs

解决Chrome关联HTML文件,图标不显示的问题. 一.方法一 1.win+r,输入regedit,调出注册表信息,按下Ctrl+F,在注册表里搜索.在注册表里新建几个文件就可以了 a.新建Old Icon b.新建ChromeHTML c.新建DefaultIcon 2.在数据里写入C:\Program Files (x86)\Google\Chrome\Application\chrome.exe,0 3.完事后,刷新下,应该就会出现谷歌图标了 二.方法二 1.如觉得上述步骤繁琐,可以将下

lsof命令查看端口关联的文件 lsof(list open files)是一个列出当前系统打开文件的工具.在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件.所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等,系统在后台都为该应用程序分配了一个文件描述符,无论这个文件的本质如何,该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口.因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本身的信息,因此通过ls

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce (1)观察集群配置情况 [root@master ~]# hdfs dfsadmin -report (2)web界面观察集群运行情况 使用netstat命令查看端口监听 [root@

准备环境(省略) 上传实验所需的压缩包 配置网络信息 修改主机名 配置域名解析 关闭防火墙与SELinux(在所有节点上执行)代码如下: systemctl disable --now firewalld setenforce 0 vim /etc/selinux/config 修改:SELINUX=disabled 保存退出 (1)在 Master 节点上安装 Hadoop 步骤一:解压缩 hadoop-2.7.1.tar.gz安装包和jdk-8u152-linux-x86.tar.gz到/u

1. Map输入合并小文件对应参数:set mapred.max.split.size=256000000;  #每个Map最大输入大小set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小set hive.input.format=org.apache.hadoop.hive.ql.io.Com

今天刚上班就要更新一个hive表(新年好呀我想说...),由于建立的外表直接替换hdfs文件就行了,但是替换完发现少了二行数据,原来之前做了关联,这就要用到hive的insert了! 先来说一下hive的外部表: 1.在导入数据到外部表,数据并没有移动到自己的数据仓库目录下,也就是说外部表中的数据并不是由它自己来管理的!而管理表则不一样: 2.在删除管理表的时候,Hive将会把属于表的元数据和数据全部删掉:而删除外部表的时候,Hive仅仅删除外部表的元数据,数据是不会删除的! 而这些表的更新可以

想把hadoop的进程日志导入hive表进行分析,遂做了以下的尝试. 关于hadoop进程日志的解析 使用正则表达式获取四个字段,一个是日期时间,一个是日志级别,一个是类,最后一个是详细信息, 然后在hive中建一个表,可以用来方便查询. 2015-12-18 22:23:23,357 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usag