产生背景:sqoop抽取oracle数据到hive表时,只能写入到固定分区(--hive-partition-key #hive分区字段 --hive-partition-value #hive分区值).于是先把数据抽取到一张增量表,然后从增量表动态写入分区表. set hive.exec.dynamic.partition.mode = true; --使用动态分区时,设置为ture. set hive.exec.dynamic.partition.mode = nonstrict; --动态

在做spark开发过程中,时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题. 一般情况下通过hive的参数设置: val conf = new SparkConf().setAppName("MySparkJob") //.setMaster("local[1]").setMaster("spark://172.21.7.10:7077").setJars(List("xxx.jar")).set(&qu

1.主题(皮肤)和字体的设置(暂时略过) File ->Settings -> 搜索Font 2.文档行号的设置 1,临时设置.右键单击行号处,选择 Show Line Numbers. 2,永久设置.File --> Settings -->Editor -->Appearance ,  之后勾选Show Line Numbers. 3.打开文件数量设置默认10个 -----16/01/14 File --> Settings -->Editor -->G

方法1: hive -f sql文件 t.sql文件内容: ; 执行命令 hive -f t.sql 方法2: 进入hive shell, 执行source命令 进入hive 终端 $ hive hive> 使用source命令执行 hive>source t.sql

1,文件组和文件的作用 Sql Server的数据存储在文件中,文件是实际存储数据的物理实体,文件组是逻辑对象,Sql server通过文件组来管理文件. 一个DataBase有一个或多个FileGroup,PrimaryFileGroup是必需的,用户可以根据需要添加FileGroup.每一个FileGroup管理一个或多个文件,其中PrimaryFileGroup管理一个master data file,扩展名是.mdf,这个file是系统默认生成的:扩展名是.ndf的文件是用户根据需要添加

hive是Apache的一个顶级项目,由facebook团队开发,基于java开发出面向分析师或BI等人员的数据工具(常用作出具仓库),它将文件系统映射为表,使用SQL实现mapreduce任务完成分析.即使不知道它的内部机制,却不影响你的使用. 这里主要以CLI使用为主并假设对SQL没大问题,材料来源<Hive权威指南>.个人工作和网上讨论.在阅读前,希望你能先了解一下hive的安装(上一篇博客有),这对理解hive的运行机制有一定帮助.如有疑问或问题,欢迎沟通讨论. 目录 shell执行h

数据库是数据的仓库,用于存储数据,而存储数据需要媒介,现在的存储媒介,最常用的是硬盘,土豪一点的服务器使用固态硬盘(SSD),特殊用途的服务器使用内存.数据库最常用的存储文件是数据文件和日志文件,数据文件用于存储数据,由一个主数据文件(.mdf)和若干个辅助数据文件(.ndf)构成:日志文件用于存储事物日志,由.ldf文件构成.不同的文件可以存分布到不同的物理硬盘上,这样便于分散硬盘IO,提高数据的读取速度. 数据文件的组合,称作文件组(File Group),数据库不能直接设置存储数据的数据文

hive --define --hivevar --hiveconf set 1.hivevar命名空间 用户自定义变量 hive -d name=zhangsan hive --define name=zhangsan hive -d a=1 -d b=2 效果跟hivevar是一样的 hive --hivevar a=1 --hivevar b=2 引用hivevar命名空间的变量时,变量名前面可以加hivevar:也可以不加 set name; set name=zhangsan; set

Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法,分别是: (1).修改${HIVE_HOME}/conf/hive-site.xml配置文件: (2).命令行参数: (3).在已经进入cli时进行参数声明. 方法一:hive-site.xml配置参数 在Hive中,所有的默认配置都在 "{HIVE_HOME}/conf/hive-default.xml "文件中,如果需要对默认的配置进行修改,可以创建一个 "hive-site.xml" 文件,放

1.hive是什么? 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? 连接:http://www.aboutyun.com/thread-20461-1-1.html            美团大众点评上:http://tech.meituan.com/hive-sql-to-mapreduce.html hive是什么? Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用.美团数据仓库也是基于Hive搭建,每天执行近

mysql配置文件my-default.ini  my.ini修改后重启无效,原来是路径错了,记录一下: windows操作系统下: 1. 由于我们使用MySql 时,需要修改mysql 的 my.ini 的配置文件. 2. 但是 mysql 5.7 的 my.ini 位置并不在 C:\Program Files\MySQL\MySQL Server 5.7 此目录的my-default.ini 并不是我们要的: 3. 如果安装在C盘的: 我们要进入 C:\ProgramData\MySQL\M

SQL*Plus 的运行环境是用来输入.执行 SQL*Plus 命令和显示返回结果的场所,设置合适的 SQL*Plus 运行环境,可以使 SQL*Plus 按照用户的要求运行和执行各种操作.set 命令也称 set 变量或维护系统变量,利用它可为 SQL*Plus 交互建立一个特殊的环境. 一.set 命令概述 用户可以使用 set 命令设置 SQL*Plus 的运行环境 语法: set system_variable value system_variable:变量名 value:变量值 se

SQL映射文件 单条件查询 1. 在UserMapper接口添加抽象方法 //根据用户名模糊查询 List<User> getUserListByName(); 2. 在UserMapper.xml里添加SQL <!--根据用户名模糊查询--> <select id="getUserListByName" resultType="User" parameterType="String"> select * fr

HIVE建内部表语句 create table dll102.sougou (id string,pwd string,name string,count int,seqno int,address string) row format delimited fields terminated by '\t' ; 创建字段中含有数组类型,对象类型的表,并查询特殊字段 外部表默认 存在HDFS下的  ‘/user/hadoop/指定路径’  将本地文件加载到HIVE load data local

--TextFile set hive.exec.compress.output=true; set mapred.output.compress=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec; INSERT OVERWRITE table hzr

MyBatis入门 1.MyBatis前身是iBatis,是Apache的一个开源项目,2010年这个项目迁移到了Google Code,改名为MyBatis,2013年迁移到GitHub.是一个基于DAO层ORM框架      ORM:Object Relational Mapping 对象关系映射 在mybatis中指的是sql语句与实体类之间的映射 2.MyBatis的优缺点优点:减少代码量,小巧并且简单易学,SQL语句从程序代码中彻底分离,降低耦合度,便于管理和优化,并可重用,支持编写动

网上有篇关于hive的partition的使用讲解的比较好,转载了:一.背景1.在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作.有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念.2.分区表指的是在创建表时指定的partition的分区空间.3.如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,详见表创建的语法结构.二.技术细节1.一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表

简介 除了配置相关之外,另一个核心就是SQL映射,MyBatis 的真正强大也在于它的映射语句. Mybatis创建了一套规则以XML为载体映射SQL 之前提到过,各项配置信息将Mybatis应用的整体框架搭建起来,而映射部分则是准备了一次SQL操作所需的信息 一次SQL执行的主要事件是什么? 输入参数解析,绝大多数SQL都是需要参数的 SQL,通过SQL与数据库交互,所以最根本的是SQL,如果连SQL都没有,还扯个蛋蛋? 结果映射,Mybatis可以帮我们完成字段与Java类型的映射 所以说S

Mybatis sql映射文件浅析 Mybatis简介(三)   简介 除了配置相关之外,另一个核心就是SQL映射,MyBatis 的真正强大也在于它的映射语句. Mybatis创建了一套规则以XML为载体映射SQL 之前提到过,各项配置信息将Mybatis应用的整体框架搭建起来,而映射部分则是准备了一次SQL操作所需的信息 一次SQL执行的主要事件是什么? 输入参数解析,绝大多数SQL都是需要参数的 SQL,通过SQL与数据库交互,所以最根本的是SQL,如果连SQL都没有,还扯个蛋蛋? 结果映

Hive系列博文,持续更新~~~ 大数据系列之数据仓库Hive原理 大数据系列之数据仓库Hive安装 大数据系列之数据仓库Hive中分区Partition如何使用 大数据系列之数据仓库Hive命令使用及JDBC连接 一.背景 1.在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作.有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念. 2.分区表指的是在创建表时指定的partition的分区空间. 3.如果需要创建有分区的表,需要在creat