一.Hive介绍 Hive是基于Hadoop的一个数据仓库,Hive能够将SQL语句转化为MapReduce任务进行运行. Hive架构图分为以下四部分. 1.用户接口 Hive有三个用户接口: 命令行接口(CLI):以命令行的形式输入SQL语句进行数据数据操作 Web界面:通过Web方式进行访问. Hive的远程服务方式:通过JDBC等方式进行访问. 2.元数据存储 将元数据存储在关系数据库中(MySql.Derby),元数据包括表的属性.表的名称.表的列.分区及其属性以及表数据所在的目录等.

常见端口汇总:Hadoop:        50070:HDFS WEB UI端口    8020 : 高可用的HDFS RPC端口    9000 : 非高可用的HDFS RPC端口    8088 : Yarn 的WEB UI 接口    8485 : JournalNode 的RPC端口    8019 : ZKFC端口Zookeeper:    2181 : 客户端连接zookeeper的端口    2888 : zookeeper集群内通讯使用,Leader监听此端口    3888

问题排查方式  一般的错误,查看错误输出,按照关键字google 异常错误(如namenode.datanode莫名其妙挂了):查看hadoop($HADOOP_HOME/logs)或hive日志 hadoop错误 1.datanode无法正常启动 添加datanode后,datanode无法正常启动,进程一会莫名其妙挂掉,查看namenode日志显示如下:  -06-21 18:53:39,182 FATAL org.apache.hadoop.hdfs.StateChange: BLOCK*

Hive版本 0.12.0(独立模式) Hadoop版本 1.12.1 Ubuntu 版本 12.10 今天试着搭建了hive,差点迷失在了网上各种资料中,现在把我的经验分享给大家,亲手实践过,但未必每一步都是必须的,正确的,大家可以参考一下. 第一步:安装和测试mysql(已装好的可跳过) 见我总结的http://blog.csdn.net/unflynaomi/article/details/37811229 第二步.开始正式安装hive 1.在hdfs上建目录: $ hadoop fs -

在安装Hive时,需要在hive-site.xml文件中配置元数据相关信息.与传统关系型数据库不同的是,hive表中的数据都是保存的HDFS上,也就是说hive中的数据库.表.分区等都可以在HDFS找到对应的文件.这里说到的元数据可以理解成hive中用于保存数据库.表.分区或者表字段等基本属性,以及这些属性与HDFS文件对应关系的一个映射. 这些映射关系比较常见的一个场景是保存在mysql数据库中.接下来会分析hive安装时的一些配置信息,以及元数据库中主要表的用途. 一.hive配置 有关hi

一 Hive的下载 软件下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/  这里下载的版本是:apache-hive-2.3.3-bin.tar.gz 官方安装配置文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 二 Hive单用户安装 远程Metastore数据库 1  解压配置环境变量 #解压指定位置安装 [admin@node21 software

转载来自http://blog.csdn.net/lsttoy/article/details/53490144. 这个问题困扰了我三天,各种查资料踩坑填坑的尝试,终于搞定了这个问题. 首先来品尝下喜悦! [root@master bin]# beeline ls: cannot access /home/hive/lib/hive-jdbc-*-standalone.jar: No such file or directory Beeline version 2.1.0 by Apache H

声明: 此博客参考了官网的配置方式,并结合笔者在实践网上部分帖子时的踩坑经历整理而成 这里贴上官方配置说明: [官方]: https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started 大前提: 从Hive1.1开始支持使用Spark作为执行引擎,我们配置使用Spark On Yarn时,一定要注意 Hive版本与Spark版本的适配,不适配的需要自己重新编译使其适配 这里贴上官方推荐的对应版本 H

学习参考这篇文章: http://www.shareditor.com/blogshow/?blogId=96 机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统, hadoop用于分布式存储和map-reduce计算, spark用于分布式机器学习, hive是分布式数据库, hbase是分布式kv系统, 看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理, 本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系. 下载了 Hadoop had

在上文中https://www.cnblogs.com/lay2017/p/9973370.html 我们通过hive shell去操作hive,本文我们以Java代码的示例去对hive执行加载数据和查询数据来演示JavaAPI如何通过JDBC来操作hive的 hive client的更多内容可以参考:https://cwiki.apache.org/confluence/display/Hive/HiveClient 一.依赖 由于hive的服务端基于1.2.2版本,所以这里采用jdbc1.2

参考https://www.iteblog.com/archives/846.html 1.hive依赖hadoop,将hdfs当作文件存储介质,那是否意味着hive需要知道namenode的地址? 实际上在hive的hive- 2.hive的本地模式和远程模式有什么区别? hive本质上是将sql语法解析为mapreduce的过程,既然如此它就必须提交mapreduce任务到resoucemanager,那么它如何提交?就是通过hadoop提供的命令hadoop jar命令来提交. 本地模式:

来python爬虫中,经常会遇到数据的存储问题,如果有大量数据,hive存储是个不错的选择. 那么python如何来连接hive呢?网上有各种教程但是都不是很好用,亲自测试pyhive可用 要求:可用的hive环境  python3++  hive环境必须要安装hiveserver2( HiveServer是一种可选服务,允许远程客户端可以使用各种编程语言向Hive提交请求并检索结果.HiveServer是建立在Apache ThriftTM(http://thrift.apache.org/)

hive: 基于hadoop,数据仓库软件,用作OLAP OLAP:online analyze process 在线分析处理OLTP:online transaction process 在线事务处理 事务: ACID A:atomic 原子性 C: consistent 一致性 I:isolation 隔离性 D: durability 持久性 1读未提交 脏读 //事务一写入数据,事务二进行读取,事务一进行回滚2读已提交 不可重复读 //事务一写入数据并提交,事务二读取,事务一进行upda

本文链接:http://www.aboutyun.com/thread-7881-1-1.html 问题导读:1.hive安装是否需要安装mysql?2.hive是否分为客户端和服务器端?3.hive的元数据库有哪两种?4.hive与hbase整合的关键是什么?5.hive的安装是否必须安装hadoop?6.hive与hbase整合需要做哪些准备工作? 网上有很多资料,看到大部分都是一致的,看到一篇国外的文章,原来都是翻译的,并没有经过实践.这里记录一下实践的过程.本篇是在:hadoop2.2完

一:使用 1.实质 提供JDBC/ODBC连接的服务 服务运行方式是一个Spark的应用程序,只是这个应用程序支持JDBC/ODBC的连接, 所以:可以通过应用的4040页面来进行查看操作 2.启动服务 3.配置(已经被隐含) 1. 配置thriftserver2的ip地址和端口号 修改hive-site.xml文件 hive.server2.thrift.port=10000 hive.server2.thrift.bind.host=localhost 2. 集成Hive环境(类似Spark

hadoop综合问题记录 1.hdfs无法启动 错误: 2018-04-25 14:36:09,293 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://master:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call

一 Hive的下载 软件下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/  这里下载的版本是:apache-hive-2.3.3-bin.tar.gz 官方安装配置文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 二 Hive单用户安装 远程Metastore数据库 1  解压配置环境变量 #解压指定位置安装 [admin@node21 software

待安装列表hadoophivescalaspark一.环境变量配置:~/.bash_profilePATH=$PATH:$HOME/bin export PATH JAVA_HOME=/usr/local/jdkexport SCALA_HOME=/usr/local/scalaexport SPARK_HOME=/usr/local/sparkexport PATH=.:$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH HADOOP_HOME=/usr/local/ha

================================Impala 相关================================ Impala的常用端口: jdbc/ODBC 端口: 21050 impala-shell 访问端口21000 web UI地址: impalad节点(一个集群多个该类节点) http://impalad_node:25000/ impala-state节点(一个集群一个该类节点) http://state_node:25010/ impala-ca

环境篇:DolphinScheduler-1.3.1安装部署 1 配置jdk JDK百度网盘:https://pan.baidu.com/s/1og3mfefJrwl1QGZGZDZ8Sw 提取码:t6l1 #查看命令 rpm -qa | grep java #删除命令 rpm -e --nodeps xxx 将oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上传至每个节点安装 rpm -ivh oracle-j2sdk1.8-1.8.0+update18

org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109) at org.apache.thrift.transport.TServerSocket.<init>(TSe