由于想自学下Hive,所以前段时间在个人电脑上安装了虚拟机,并安装上Hadoop和Hive。接下我就分享下我如何安装Hive的。步骤如下:

  1. 安装虚拟机
  2. 安装Hadoop
  3. 安装Java
  4. 安装Hive

我这里是在window10系统上安装的用Linux的同学可以直接跳过‘安装虚拟机’这一步,直接参考后续的安装步骤。

一、安装虚拟机

首先,下载VMware并在虚拟机里加入Ubuntu 16.04的镜像文件:

VMware下载链接:https://download3.vmware.com/software/wkst/file/VMware-workstation-full-12.1.0-3272444.exe
Ubuntu 16.04 iso镜像文件安装地址:http://releases.ubuntu.com/xenial/

虚拟机安装及加入操作系统镜像文件的具体步骤可参考:https://blog.csdn.net/qq1326702940/article/details/82322079

接下来,我们需要安装VMware Tools以帮我们进行虚拟机和本地环境之间的沟通(简单来说:你可以拖拽本地文件到虚拟机上,也能复制本地的文本粘贴到虚拟机上)。可以到VMware菜单栏‘虚拟机’选项下‘安装VMware Tools’。

# 由于VMware Tools在光盘里,要复制到进来才能进行安装
cd /media/VMware Tools
tar xvzf VMwareTools-9.6.0-1294478.tar.gz -C /root
cd /root/vmware-tools-distrib
./vmware-install.pl # 开启VMware Tools
cd --
/usr/bin/vmware-user

二、安装Java

Java1.8.0安装地址: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

若安装查询java -version时报错 "-bash: /usr/local/java/jdk1.8.0_261/bin/java: cannot execute binary file: 可执行文件格式错误",则是java与Linux系统不匹配,重新下载正确版本的java(32位:x86, 64位:x64)即可。

sudo mkdir /usr/local/java/
sudo cp 桌面/jdk-8u261-linux-i586.tar.gz /usr/local/java/
cd /usr/local/java/
sudo tar -xvzf jdk-8u261-linux-i586.tar.gz
sudo echo "export JAVA_HOME=/usr/local/java/jdk1.8.0_261">/etc/profile.d/java.sh
sudo echo "export PATH=$PATH:$JAVA_HOME/bin">>/etc/profile.d/java.sh
. /etc/profile
echo $JAVA_HOME

# 查看java版本
java -version

三、安装Hadoop

# 下载并解压Hadoop 2.7.7
cd --
wget http://www.us.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
tar -xzf hadoop-2.7.7.tar.gz

# 将Hadoop加入环境变量
# 若下面两条命令没有权限,可以sudo gedit 进sh脚本($HOME/.bashrc)里手动加入路径
echo "export HADOOP_HOME=/home/alvinai/hadoop-2.7.7" >> $HOME/.bashrc
echo "export PATH=$PATH:$HADOOP_HOME/bin" >> $HOME/.bashrc
. $HOME/.bashrc # 测试Hadoop
# 查看目录
hadoop dfs -ls

让我们来运行下Hadoop提供的wordcount样例看看:

# 先自定义准备个文本样例数据
mkdir wc-in
echo "bla bla" > wc-in/a.txt
echo "bla wa wa" > wc-in/b.txt # 运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中
hadoop jar /home/alvinai/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wc-in wc-out # 查看wordcount的输出结果
ls wc-out/*
cat wc-out/*
# 也可以等价用dfs命令查看
hadoop dfs -cat wc-out/*

wordcount输出结果如下:

四、安装Hive

# 下载并解压Hive 0.9.0
wget http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz
tar -xzf hive-0.9.0.tar.gz
mkdir -p /hive/warehouse
chmod a+rwx /hive/warehouse # 加入环境变量
# 若下面两条命令没有权限,可以sudo gedit 进sh脚本($HOME/.bashrc)里手动加入路径
sudo echo "export HIVE_HOME=/home/alvinai/hive-0.9.0" >> $HOME/.bashrc
sudo echo "export PATH=$PATH:$HIVE_HOME/bin" >> $HOME/.bashrc

现在可以开始使用了Hive了:

以上内容部分摘自于《Hive编程指南》

1. 安装虚拟机,Hadoop和Hive的更多相关文章

  1. hadoop 安装之 hadoop、hive环境配置

    总结了一下hadoop的大致安装过程,按照master . slave的hadoop主从类别,以及root和hadoop集群用户两种角色,以职责图的方式展现,更加清晰一些

  2. 从VMware虚拟机安装到hadoop集群环境配置详细说明(第一期)

    http://blog.csdn.net/whaoxysh/article/details/17755555 虚拟机安装 我安装的虚拟机版本是VMware Workstation 8.04,自己电脑上 ...

  3. hadoop上hive的安装

    1.前言 说明:安装hive前提是要先安装hadoop集群,并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装),可以不在datanode节点的机器 ...

  4. 虚拟机Ubuntu(18.04.2)下安装配置Hadoop(2.9.2)(伪分布式+Java8)

    [本文结构] [1]安装Hadoop前的准备工作 [1.1] 创建新用户 [1.2] 更新APT [1.3] 安装SSH [1.4] 安装Java环境 [2]安装和配置hadoop [2.1] Had ...

  5. Windows10系统下Hadoop和Hive开发环境搭建填坑指南

    前提 笔者目前需要搭建数据平台,发现了Windows系统下,Hadoop和Hive等组件的安装和运行存在大量的坑,而本着有坑必填的目标,笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了 ...

  6. 使用yum安装CDH Hadoop集群

    使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22  ...

  7. 《Programming Hive》读书笔记(一)Hadoop和hive环境搭建

    <Programming Hive>读书笔记(一)Hadoop和Hive环境搭建             先把主要的技术和工具学好,才干更高效地思考和工作.   Chapter 1.Int ...

  8. 安装atlas后执行hive命令报错

    在集群中安装atlas,在安装atlas的节点上执行hive -e "show databases;" 正常,但是在集群中其他节点上执行hive -e "show dat ...

  9. Centos 7下VMware三台虚拟机Hadoop集群初体验

    一.下载并安装Centos 7 传送门:https://www.centos.org/download/    注:下载DVD ISO镜像 这里详解一下VMware安装中的两个过程 网卡配置 是Add ...

随机推荐

  1. springboot1.5和jpa利用HikariCP实现多数据源的使用

    背景 现在已有一个完整的项目,需要引入一个新的数据源,其实也就是分一些请求到从库上去 技术栈 springboot1.5 (哎,升不动啊) 思路 两个数据源,其中一个设置为主数据源 两个事物管理器,其 ...

  2. GDB将所有线程堆栈输出到文件

    在调试多线程程序时,经常需要查看线程堆栈信息,如果线程数目过多,每次查看一个线程堆栈,繁琐耗时.下面介绍一种一次性将所有线程堆栈输出到文件的方法. 首先,将gdb attach到调试线程 gdb -p ...

  3. python与嵌入式的火花

    一.前言 近些年来python非常流行,Python是一种面向对象的解释性计算机程序设计语言,Python语法简介清晰,易读性以及可扩展性,Python具有丰富和强大的库,能够把用其他语言制作的各种模 ...

  4. hugo主题文档-manpassant

    +++ date="2020-10-17T10:32:00+08:00" title="hugo主题文档manpassant" tags=["hugo ...

  5. spring boot: 通过filter过滤器实现中文的简体繁体字符集转换(spring boot 2.3.1)

    一,为什么要使用filter来实现简繁体转换? 项目中有时会有同时支持简体和繁体两种字符集的要求, 或者搜索引擎有支持繁体输入字符的需求. 针对繁体字符的显示, 我们通常会在数据库和模板.文案配置中默 ...

  6. C# 微信共享收货地址 V1.6

    //使用微信共享收货地址在跳转到当前页面的路径上必须要包含Code和state这两个获取用户信息的参数//例如 <a href="ProductOrder.aspx?OID=<% ...

  7. MySQL备份和恢复[1]-概述

    备份类型 完全备份,部分备份 完全备份:整个数据集 部分备份:只备份数据子集,如部分库或表 完全备份.增量备份.差异备份 增量备份:仅备份最近一次完全备份或增量备份(如果存在增量)以来变化的数据,备份 ...

  8. vue学习大纲

    第一单元  vue基础 第二单元  VueU学习

  9. mysql query cache 查询缓存

    查看本博文,并进行验证(验证结果与博文一致): https://blog.csdn.net/carmazhao/article/details/7088530 mysql默认是开启查询缓存的. 设置查 ...

  10. 跨站资源共享CORS原理深度解析

    我相信如果你写过前后端分离的web应用程序,或者写过一些ajax请求调用,你可能会遇到过CORS错误. CORS是什么? 它与安全性有关吗? 为什么要有CORS?它解决了什么目的? CORS是怎样运行 ...