Hive的数据库和表

本文介绍一下Hive中的数据库(Database/Schema)和表(Table)的基础知识,由于篇幅原因,这里只是一些常用的.基础的. Hive的数据库和表先看一张草图: Hive结构从图上可以看出,Hive作为一个“数据库”,在结构上积极向传统数据库看齐,也分数据库(Schema),每个数据库下面有各自的表组成. 1. Hive在HDFS上的默认存储路径 Hive的数据都是存储在HDFS上的,默认有一个根目录,在hive-site.xml中,由参数hive.metastore.ware…

sqoop将关系型数据库的表导入hive中

1.sqoop 将关系型数据库的数据导入hive的参数说明:…

Hive 表操作（HIVE的数据存储、数据库、表、分区、分桶）

1.Hive的数据存储 Hive的数据存储基于Hadoop HDFS Hive没有专门的数据存储格式存储结构主要包括:数据库.文件.表.试图 Hive默认可以直接加载文本文件(TextFile),还支持sequence file 创建表时,指定Hive数据的列分隔符与行分隔符,Hive即可解析数据. 2.Hive的数据模型-数据库类似传统数据库的DataBase 默认数据库"default" 使用#hive命令后,不使用hive>use <数据库名>,系统默认的数…

Hive与数据库的异同

一.Hive简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. Hvie是建立在Hadoop上的数据仓库基础架构.它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储.查询和分析存储在Hadoop中的大规…

hive 创建/删除/截断表(翻译自Hive wiki)

这里罗列常用操作,更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单的创建表 create table table_name ( id int, dtDontQuery string, name string ) 创建有分区的表 create table table_name ( id int, dtD…

Hive的两种表

1.内部表内部表Load数据有两种方式:① Load data ***:②hdfs dfs -put ****.这是因为在Metastore文件,即mysql的hive数据库的“SDS”表中,保存着Hive表对应的hdfs路径信息. 内部表在Load数据时,如果使用LOCAL关键字,Hive会把本地文件系统中的数据文件复制到Hive的 /warehouse 目录.反之,则是将HDFS上的数据文件剪切到 /warehouse 目录. Hive在Load数据时,并不检查目录中的文件是否符合表所声明…

Hive 文件格式 & Hive操作（外部表、内部表、区、桶、视图、索引、join用法、内置操作符与函数、复合类型、用户自定义函数UDF、查询优化和权限控制）

本博文的主要内容如下: Hive文件存储格式 Hive 操作之表操作:创建外.内部表 Hive操作之表操作:表查询 Hive操作之表操作:数据加载 Hive操作之表操作:插入单表.插入多表 Hive语法结构:where 查询.all 和 distinct 选项.基于 Partition 的查询.基于 HAVING 的查询. LIMIT 限制查询. GROUP BY 分组查询. ORDER BY 排序查询.SORT BY 查询.DISTRIBUTE BY 排序查询.CLUSTER BY 查询 H…

SQL Server 动态生成数据库所有表Insert语句

一. 背景 SQL Server,如果我们需要把数据库A的所有表数据到数据库B中,通常我们会怎么做呢?我会使用SSMS的导入导出功能,进行表数据的导入导出,无可厚非,这样的导入非常简单和方便: 但是,当我们的表有上百个,而且有些表是有自增ID的,那么这个时候使用SSMS的话,你需要一个个手动设置(如图1),你要知道,需要设置上百个的这些选项是件多么痛苦的事情,而且最后很可能会因为外键约束导致导入导出失败. (图1) 虽然SSMS在导入导出的最后一步提供了生成SSIS包的功能,但是对于转移数据的需…

Mysql 查看、创建、更改数据库和表

一.一探究竟我想看看有多少个数据库,有多少个表,以及表里有啥东西.那么你可以这样: 图形界面: 命令: 查看多少个数据库:注意后面带s #查看 SHOW DATABASES; #查看表 USE blog; SHOW TABLES; #查看表中的列 SHOW COLUMNS FROM auth_user; DESCRIBE auth_user; describe 表名是 show columns from 表名的一种快捷方式. 二.修改mysql数据库密码方法一: 使用phpmyadmi…

SQL Server中查询数据库及表的信息语句

/* -- 本文件主要是汇总了 Microsoft SQL Server 中有关数据库与表的相关信息查询语句. -- 下面的查询语句中一般给出两种查询方法, -- A方法访问系统表,适应于SQL 2000/2005/2008/2008 R2,但是在微软的联机帮助中特意说明这些系统表 -- 在后续版本的 Microsoft SQL Server 将删除该功能.请避免在新的开发工作中使用该功能. -- -- B方法访问系统视图,为微软推荐使用方法,对于今后新版本 SQL Server 兼容性比较好.…

WPF根据Oracle数据库的表，生成CS文件小工具

开发小工具的原因: 1.我们公司的开发是客户端用C#,服务端用Java,前后台在通讯交互的时候,会用到Oracle数据库的字段,因为服务器端有公司总经理开发的一个根据Oracle数据库的表生成的class文件,每次都是等服务端都写好了实体类以后,我们再复制.粘贴,修改字段的类型为string,因为在生成的时候,是根据Oracle数据库里的字段类型生成的java文件,但是我们在前后台通信的时候,为了不失精度的一些问题,一般都用string类型来传递,因此每次修改都比较费事. 2.VS2015在封装…

EntityFramework之数据库以及表基本创建（一）

前言之前有学过EF一段时间那时EF才4.0似乎还不太稳定,而现在EF都已7.0版本,同时AspNet Identity都与此大有关联,看来是大势所趋于是开始学习EF,在学EF过程中也遇到一些小问题,特此录下,以备忘! 数据库和表基本创建为了更好的循序渐进稍微概括下典型创建EF Code First过程(看之即懂,懂即略过) 第一步先定义两个类,如下: public class Student { public Student() { } public int StudentID { get;…

MySQL数据库（表）的导入导出（备份和还原）

一)在同一个数据库服务器上面进行数据表间的数据导入导出: 1. 如果表tb1和tb2的结构是完全一样的,则使用以下的命令就可以将表tb1中的数据导入到表tb2中: insert into db2.tb2 select * from db1.tb1 2. 如果表tb1和tb2只有部分字段是相同的,要实现将tb1中的部分字段导入到tb2中相对应的相同字段中,则使用以下命令: insert into db2.tb2(字段1,字段2,字段3--) select 字段1',字段2',字段3',-- …

SyBase Powerdesigner生成数据库详细表

工具: Sybase PowerDesigner 15.1 Microsoft SQL Server 2005 第一步概要设计: 打开PowerDesigner软件,设计“概念数据模型”(Conceptual Data Model): 点击workspace 右键--->New—>Conceptual Data Model, 弹出如下界面: 设计表.表结构: 在设计属性(字段)的时候,三个字母(M.P.D)分别表示: M:是否为空:(√表示不允许为空) P:是否为主键: D:是否在该软件的视图…

ORACLE数据库对比表结构

有时候会有某种需求:需要对比两个表的表结构是否一致,有时候甚至是整个数据库所有表的表结构对比.......表结构对比无非就是字段名.字段类型.字段数据类型.以及字段的顺序的对比.如果需要对比表结构,可以通过下面简单的脚本实现: SELECT M.OWNER ,M.TABLE_NAME ,M.COLUMN_ID ,M.COLUMN_NAME ,M.DATA_TYPE ,M.DATA_LENGTH ,N.OWNER …

mysql查看数据库和表的占用空间大小

mysql查看数据库和表的占用空间大小第一部分-任务将线上db,导出后,导入到office db 一. 两种方案: 1,将数据直接从online-->office,通过mysqldump 通过本地putty等和ecs建隧道,然后传数据到本地.(本地win可以按照gzip,压缩后传到office server) 2,先在ecs上mysqldump压缩,然后下载下来下载方案: 1,rsync daemon 2,rsync ssh 3,scp 4,sz <----这种速度较快,前三者都差不…

mysql数据库、表、字段、记录：增、删、改、查

/* 结构:数据库.表.字段.记录操作:增删改查 */ -- 1.数据库:增删改查 create datebase if not exists jkxy; drop database if exists jkxy; rename database jkxy to jikexueyuan; --这条语句官方说不能用了 show databases; use jikexueyuan; /* rename table db_name.table1 TO new_db_name.table1; 重命名…

PHP创建数据库数据表

PHP创建数据库数据表 <?php $con = mysql_connect('localhost', 'root', 'root'); /************************在数据库中创建表*************************/ if (!$con) { die ('连接数据库出错: ' . mysql_error()); } $database="my_db_name"; $sqlDatabase = 'create database '.$data…

数据库（表）的逻辑备份与恢复<四>

数据库(表)的逻辑备份与恢复  介绍逻辑备份是指使用工具 export 将数据对象的结构和数据导出到文件的过程,逻辑恢复是指当数据库对象被误操作而损坏后使用工具 import 利用备份的文件把数据对象导入到数据库的过程. 物理备份即可在数据库 open 的状态下进行也可在关闭数据库后进行,但是逻辑备份和恢复只能在 open 的状态下进行.  导出导出具体的分为:导出表,导出方案,导出数据库三种方式. 导出使用 exp 命令来完成的,该命令常用的选项有: userid: 用于指定执行导出…

定时从远程的数据库中取数据，然后把取出来的数据插入或更新本地的oracle数据库的表

最近项目中有一种需求: 大致需求是这样的通过给定的用户名和密码要定时从远程的数据库中取数据,然后把取出来的数据插入或更新本地的oracle数据库的表项目的结构式struts1 hibernate spring 这里使用spring的定时来处理,自己写了个项目进行测试,目前项目可以跑的通, 在测试当中遇到了问题,就是使用 spring 提供的jdbcTemplate进行操作数据,使用的是dbcp数据源,可以查询到数据,但是inert update delete 操作数据时,看起来成功了,但…

把数据保存到数据库附加表 `dede_addonarticle` 时出错，请把相关信息提交给DedeCms官方。Duplicate entry

把数据保存到数据库附加表 `dede_addonarticle` 时出错,请把相关信息提交给DedeCms官方.Duplicate entry ’3′ for key ‘PRIMARY’ 你的主键是不可重复的,现在重复插入值为3的主键了.可以去掉主键唯一,或是设成自增加.就不会出现这种情况了. 具体操作:进入后台,“系统” - “系统设置” - “SQL命令行工具” 运行SQL命令行: alter table dede_addonarticle drop primary key 运行上面的代码就…

Sqlserver列出所有数据库名,表名,字段名

Sqlserver列出所有数据库名,表名,字段名 1.获取所有数据库名: ? 1 SELECT Name FROM Master..SysDatabases ORDER BY Name 注意: 表Master与SysDatabases之间有两个点 2.获取所有表名: ? 1 2 3 4 5 SELECT Name FROM DatabaseName..SysObjects Where XType='U' ORDER BY Name XType='U':表示所有用户表; …

创建数据库和表的SQL语句【转】

创建数据库和表的SQL语句转至http://www.cnblogs.com/philanthr/archive/2011/08/09/2132398.html 创建数据库的SQL语句: 1 create database stuDB 2 on primary -- 默认就属于primary文件组,可省略 3 ( 4 /*--数据文件的具体描述--*/ 5 name='stuDB_data', -- 主数据文件的逻辑名称 6 filename='D:\stuDB_data.mdf', -- 主数…

sql排序去除默认升降序排序case方法////遍历数据库所有表及统计表数据总数

case排序法: end 还有EXEC法可以网上查 SQLServer遍历数据库所有表及统计表数据总数: DECLARE @TableName varchar(); CREATE TABLE #GetRecordingTempTable([id] [INT] IDENTITY(,) NOT NULL, [TableName] varchar() NOT NULL, [RecordingCount] INT); DECLARE Table_Cursor CURSOR FOR SELECT [na…

[Java] Java 获取数据库所有表基本信息和表中的所有列基本信息代码

废话不多说.上代码 import java.io.IOException; import java.io.PrintWriter; import java.sql.Connection; import java.sql.DatabaseMetaData; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.ResultSetMetaData; import java.sql.SQLExcept…

创建MySQL数据库和表(一)

一.启动MySQL服务 1.在Windows操作系统的“服务”中启动,找到你安装MySQL的起的服务名称,我本机服务名的是MySQL. 2.在命令行中用命令启动: A.启动MySQL服务:net start MySQL. B.关闭MySQL服务:net stop MySQL. 二.建立与MySQL服务器连接 1.可以下载Navicat 8 ,有操作界面,要输入服务器地址.端口号.用户名和密码. 2.在命令行用命令连接:首先要把MySQL的安装路径(E:\MySQL\MySQL Server 5.…