外表关联parquet文件 1. 为什么关联了一次数据文件就不能二次被使用: 2. 为什么删除了employee,select还是可以而且有数据,1,2可能是一个问题   外表drop只是metadata表内容删除,hdfs的/user/hive/warehouse中依然有此表:但是如果是manage table,则删除后,hdfs里面的文件也会删除,select之后也会报错:所以SQL引擎在处理查询的时候应该是直接到hive的存储位置去执行sql,而不是查metadata表信息.但是后来的测试

1. 读取数据库的形式创建DataFrame DataFrameFromJDBC object DataFrameFromJDBC { def main(args: Array[String]): Unit = { // 创建SparkSession实例 val spark: SparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName) .master("local[*]") .getOrCrea

Hive 导入 parquet 数据步骤如下: 查看 parquet 文件的格式 构造建表语句 倒入数据 一.查看 parquet 内容和结构 下载地址 社区工具 GitHub 地址 命令 查看结构: java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parquet |head -n 30 查看内容: java -jar parquet-tools-1.6.0rc3-SNAPSHOT.j

Apache Parquet是Hadoop生态圈中一种新型列式存储格式,它可以兼容Hadoop生态圈中大多数计算框架(Hadoop.Spark等),被多种查询引擎支持(Hive.Impala.Drill等),并且它是语言和平台无关的.Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源,2015年5月从Apache的孵化器里毕业成为Apache顶级项目,最新的版本是1.8.1. Parquet是什么 Parquet的灵感来自于2010年Google发

Hive 导入 parquet 格式数据 Parquet 格式文件,查看Schema Parquet 之mapreduce Hive 导入 parquet 格式数据

关于XML,学校那会,老师在口中仅仅提及,自己也未曾深入接触过,仅是些将最基本XML文件内容显示在web定义的表格中之类的简单操作,如今项目中的收发电文涉及到复杂XML的操作.趁此契机好好回顾下XML知识. XML作为一种可扩展的标记语言,可以一种简单文本格式存储数据的方式,被任何计算机读取.非常灵活.标准的XML格式(分层组织)是包含一个版本信息的节点(第一行),和一个可包含多级层级节点的根结点.和HTML不同的是,XML的节点名称.节点属性等可自定义,并区别大小写,这点反映了其灵活性. 关于

简单创建json格式文件 核心就两点: addProperty 添加属性(也就是加键值对) add是添加 另外的object对象 然后直接toString()输出 核心代码如下; public class CreateJson { public static void main(String[] args) { JsonObject object= new JsonObject(); object.addProperty("cat", "it"); JsonArra

在hive中对于json的数据格式,可以使用get_json_object或json_tuple先解析然后查询. 也可以直接在hive中创建json格式的表结构,这样就可以直接查询,实战如下(hive-2.3.0版本): 1. 准备数据源 将以下内容保存为test.txt {"student":{"name":"king","age":11,"sex":"M"},"class&

Android创建JSON格式数据 作为上一篇博客的补充,简单那解说了一下Android创建JSON格式数据的小Demo. 1. 创建JSON格式数据 对于Android创建JSON格式数据.因为Android官方提供了对应了put(key, value)等方法,因此代码十分简单,例如以下所看到的: JSONObject jsonObject = new JSONObject(); JSONArray jsonArray = new JSONArray(); JSONObject object_

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.ma

import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.util.Random; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.log4j.Logger; import

转自:https://wenku.baidu.com/view/104156f9770bf78a65295462.html 1.

1 练习讲解(此处自己没跑通,以后debug) 题目见flink---实时项目---day02 kafka中的数据,见day02的文档 GeoUtils package cn._51doit.flink.day07; import ch.hsr.geohash.GeoHash; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObjec

前段时间由于开发一个软件,需要调用别人的接口,虽然我的软件是Unicode编码,对方的模块也是Unicode编码,但是对方提供的接口却是Ansi接口,在非中文系统下,由于涉及到中文路径,导致Ansi和Unicode编码转换出现错误,转换结果不可逆转. 当OS的区域语言设置为中文时,转换接口可以逆转,可以正常使用. Microsoft提供了GetPrivateProfileStringA.WritePrivateProfileStringA.GetPrivateProfileStringW和Wri

在web或其他应用中,经常我们需要导出或者预览word文档,比较实际的例子有招聘网站上预览或者导出个人简历,使用POI导出excel会非常的方便,但是如果想导出word,由于其格式控制非常复杂,故而使用POI将会非常麻烦,而FreeMarker则可以较好的解决这个问题:并且,根据FreeMarker的实现原理,预览word也会变得非常简单. FreeMarker主要有三个部分:模板,数据源以及数据的存储.可想而知,在导出word的时候,我们必须得告诉FreeMarker我们需要导出的word的格

1.概述 在流数据应用场景中,往往会通过Flink消费Kafka中的数据,然后将这些数据进行结构化到HDFS上,再通过Hive加载这些文件供后续业务分析.今天笔者为大家分析如何使用Flink消费Kafka的数据后,将消费后的数据结构化到Hive数据仓库中. 2.内容 Hive能够识别很多类型的文件,其中包含Parquet文件格式.因此,我们只需要将Flink消费Kafka后的数据以Parquet文件格式生成到HDFS上,后续Hive就可以将这些Parquet文件加载到数据仓库中.具体流程图如下所

parquet是列式存储格式,官方文档 https://parquet.apache.org/documentation/latest/ 一个Parquet文件是由一个header以及一个或多个block块组成,以一个footer结尾.header中只包含一个4个字节的数字PAR1用来识别整个Parquet文件格式.文件中所有的metadata都存在于footer中.footer中的metadata包含了格式的版本信息,schema信息.key-value paris以及所有block中的met

[创建目录]hdfs dfs -mkdir -p /user/hdfs/sample_data/parquet [赋予权限]sudo -u hdfs hadoop fs -chown -R impala:supergroup /user/hdfs/sample_data [删除目录]hdfs dfs -rm -r /user/hdfs/sample_data/parquet [上传文件]hdfs dfs -put -f device /user/hdfs/sample_data/parqueth

其实是因为一些业务上的需求,所以需要对用户上传后的图片进行压缩,因为上传的图片比较大,显示的时候加载起来如果网速不给力的话就很吃力了,而且大图片也浪费空间,于是找了一下相关的资源,主要方法在开源中国上找到了: http://www.oschina.net/question/814955_115750 然后,图片压缩后显示出来了,但是要保存,所以还需要进行处理,然后看到了另外一篇文章: http://www.nowamagic.net/php/php_CreateJpg.php 这里就将这篇文章转

现在做ios开发,原生的开发已经不是第一选择,现在有很多不同的H5开发框架,在性能上都不输原生开发,而UI方便却能做得比原生更炫,比如CSS得灵活度肯定是比原生开发出来得应用更灵活的. 我们在开发IOS应用的时候,需要生成一个p12格式的证书,和一个.mobileprovision格式的描述文件(profile文件). 在我们没有mac电脑的情况下,我们需要借助香蕉云编这个平台来生成p12证书.生成的方法如下: 先登录香蕉云编,进入控制台: https://www.yunedit.com 然后创

公共方法(可以将其放到类库里边): #region 记录日志 #region 写日志 /// <summary> /// 写日志 /// </summary> /// <param name="FilePath">日志文件路径</param> /// <param name="type">文件分类</param> /// <param name="LogTime">