今天学习过程和小结

上午进行测试复习了

1，hdfs中namenode和datanode作用

2，hdfs副本存放机制

3，mapreduce计算处理过程

4，格式化hdfs命令

5，hdfs的核心配置文件内容配置

sql语句：

部门表：

6，统计各个部门的人数

7，查询所有部门。

8，倒排索引代码

9，hash函数的特点，有哪些实现方式

10，查看namenode是否正常运行

重点学习了倒排索引的代码。

然后进行了hive的安装和配置，以及sqoop的安装和配置。

Hive构建在Hadoop之上的数据仓库 Hive中定义了一种类SQL查询语言：HQL(类似SQL但不完全 相同) 通常用于离线数据处理（采用mapreduce） 底层支持多种不同的执行引擎（mapreduce、tez、spark） 支持多种不同的压缩格式（GZIP、LZO、Snappy、 Bizp2）、存储格式(TextFile、SequenceFile、RCFILE、ORC、 Parquet)以及自定义函数(UDF)

在hive中主要是进行SQL数据库表的建立以及SQL语句的学习。包括hive查询的联系和表连接的查询。以及sqoop的联系

1使用sqoop导入mysql数据到hdfs

2,使用sqoop导入mysql数据到hive

3,使用sqoop导入mysql数据到hive中，并指定表名

4,使用sqoop导入mysql数据到hive中，并使用where条件

5,使用sqoop导入mysql数据到hive中，并使用查询语句

6,使用sqoop将hive中的数据导出到mysql中

 遇到问题汇总

  1. 今天主要学习了hive和SQL语句的操作，有很多SQL查询语句不是很了解要多多练习。

2.sqoop导入导出的步骤也要加强。

学习技能思维导图

7月19日day11总结的更多相关文章

  1. Python array,list,dataframe索引切片操作 2016年07月19日——智浪文档

    array,list,dataframe索引切片操作 2016年07月19日——智浪文档 list,一维,二维array,datafrme,loc.iloc.ix的简单探讨 Numpy数组的索引和切片 ...

  2. 2016年12月19日 星期一 --出埃及记 Exodus 21:14

    2016年12月19日 星期一 --出埃及记 Exodus 21:14 But if a man schemes and kills another man deliberately, take hi ...

  3. 2016年11月19日 星期六 --出埃及记 Exodus 20:10

    2016年11月19日 星期六 --出埃及记 Exodus 20:10 but the seventh day is a Sabbath to the LORD your God. On it you ...

  4. 2016年10月19日 星期三 --出埃及记 Exodus 19:3

    2016年10月19日 星期三 --出埃及记 Exodus 19:3 Then Moses went up to God, and the LORD called to him from the mo ...

  5. 7月19日Docker&Kubernetes技术沙龙总结 - DockOne.io

    7月19日Docker&Kubernetes技术沙龙总结 - DockOne.io undefined

  6. 成都Uber优步司机奖励政策（4月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  7. 北京Uber优步司机奖励政策（4月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  8. 北京Uber优步司机奖励政策（3月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  9. 北京Uber优步司机奖励政策（2月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

随机推荐

  1. Jersey2+swagger组建restful风格api及文档管理

    1.jar包引入 <dependency> <groupId>org.glassfish.jersey.core</groupId> <artifactId& ...

  2. SSM框架学习思维导图

    SSM框架学习思维导图 2017年08月11日 20:17:28 阅读数:1141 放上前段时间学习SSM框架以及Spring.SpringMVC.MyBatis的学习结果,输出思维导图一共四幅图.这 ...

  3. dubbo心跳机制 （1）

    此文已由作者赵计刚授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. dubbo的心跳机制: 目的:检测provider与consumer之间的connection连接是不是还连 ...

  4. python接口自动化： CAS系统验证，自动完成登录并获取token，遇到302请求重定向设置（requests模块 allow_redirects=False）即可

    import requestsimport re import requests import re class Crm_token(object): try: username=int(input( ...

  5. 不得不服！Python速度虽然慢，但是它工作效率很高！

    写在前面 让我们来讨论一个我最近一直在思考的问题:Python 的性能.顺便说一下,我是 Python 的忠实拥趸,我在各种情况下都会积极尝试使用 Python 来解决问题.大家对 Python 最大 ...

  6. Thymeleaf 使用时的标签

    1 . onclick事件   <a th:onclick="'javascript:more()'" ></a> 2.引入CSS样式 <link t ...

  7. javaX邮件发送

    /** * *  * @param mailServerHost 邮件服务器 * @param mailServerPort 端口 * @param validate 是否需要身份验证 * @para ...

  8. kinit

    su tf$ kinit -k -t /tmp/tf.keytab tf/admin@SINO.COM

  9. LeetCode 33——搜索旋转排序数组

    1. 题目 2. 解答 2.1. 方法一 直接进行二分查找,在判断查找方向的时候详细分类. 当 nums[mid] < target 时, 若 nums[left] <= nums[mid ...

  10. 并查集——poj1988（带权并查集中等）

    一.题目回顾 题目链接:Cube Stacking 题意:有n个箱子,初始时每个箱子单独为一列:接下来有p行输入,M, x, y 或者 C, x: 对于M,x,y:表示将x箱子所在的一列箱子搬到y所在 ...