第一部分:先讲这么去安装hive.先去hive官网下载,我这里以hive-0.12.0为例子。

前面第二章讲了安装hadoop,hbase实例,我们继续讲这么安装hive,先说下hive配置文件

一,先讲下使用Derby数据库的安装方式

1.tar zxvf hive-0.12.0.tar.gz     解压hive

2.sudo nano   /etc/profile      配置环境变量,在原有的基础上加上hive配置

在终端输入   source   /etc/profile   使环境变量对当前终端有效

3.cd    /home/hadoop/hive-0.12.0/conf

默认配置文档不存在,所以我们根据模板创建另外2个配置文件,或者还有个方法,就是把原有4个配置文档后面的template删除

cp  hive-default.xml.template  hive-site.xml

cp  hive-env.sh.template   hive-env.sh

4.sudo nano  hive-env.sh     修改hive-env.sh配置文件

5.sudo nano hive-site.xml文件,在文件的2000行,有一个不对称

把它修改过来就OK了

6.进入到hive的conf目录下,启动hive

二,使用MySQL数据库的安装方式

注意:配置mysql远程连接必须是root用户

1.先安装mysql服务器

sudo apt-get install mysql-server

2.安装完一搬都自动启动mysql了,如果没有启动,你在输入:

/etc/init.d/mysql start

如果启动了,就登陆mysql

mysql -u root -p

enter password :'123456'

3.设置远程操作mysql权限

GRANT ALL PRIVILEGES ON *.* to root @"%" identified by "123456";

flush privileges;  
 
4.建立hive数据库
create database hive;
选择你所创建的数据库
mysql> use hive; (按回车键出现Database changed 时说明操作成功!)
查看现在的数据库中存在什么表
mysql> show tables;
创建一个数据库表
mysql> create table hive(name VARCHAR(20), sex CHAR(1));
显示表的结构:
mysql> describe hive;
7:往表中加入记录
mysql>
insert into hive values (”hyq”,”M”);
 
4.安装hive还是跟上面一样,只是要修改下 hive-site.xml这个文件
1         
        
        
        
        
        
         </property>
 
5.进入到hive的conf目录下,启动hive
 
 
 
 
 
 
远程使用Navicat for mysql 客户端软件连接 mySql数据时,连接出现 2003-Can’t connect to MySQL on ’192.168.1.2’(10061)错误时,是由于MySQL不准许远程连接。

修改方法如下:

1:在服务端MySQL文件夹下找到my.ini文件。修改bind-address=127.0.0.1 为 bind-address=0.0.0.0

2:重新启动MySQL服务。

测试连接情况:

如果没有给远程登录用户添加所有机器都能访问的权限,将会出现“1045-Access denied for user ‘root@223123(using password:NO)”,这表明需要添加权限;

添加命令如下:

1)grant all on *.* to 用户名@"%" identified by "密码";

2)flush privileges;

完成以上步骤,就可以远程访问MySQL数据库了。

第二部分,讲下这么安装sqoop

1.先去官网下载sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz版本

2.在hadoop用户下,进行解压

tar  zxvf    sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

3.配置环境变量    /etc/profile

sudo    nano    /etc/profile,在文件的末尾,把jdk,hadoop,hbase,hive,sqoop等一些工具都要进行配置

记住,sqoop文件不要写错。

4.把mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib文件里,然后把sqoop文件里的sqoop-1.4.4.jar放到

$HADOOP_HOME/lib文件下面

5.如果你没有用到hbase或者 hcat  ,修改SQOOP的文件bin/configure-sqoop

sudo  nano  sqoop-1.4.4.bin__hadoop-1.0.0/bin/configure-sqoop,按照下面的注释掉

#if [ ! -d "${HBASE_HOME}" ]; then
 #echo "Warning: $HBASE_HOME does not exist! HBase imports will fail."
 #echo 'Please set $HBASE_HOME to the root of your HBase installation.'
#fi

## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT_HOME}" ]; then
 # echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
  #echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
#fi

这样子,sqoop就装成功了,测试

cd   #SQOOP_HOME/bin,代表sqoop环境配置没有问题

sqoop version ,可以看到sqoop的信息

第七章 伪分布式安装hive,sqoop的更多相关文章

  1. 第二章 伪分布式安装hadoop hbase

    安装单机模式的hadoop无须配置,在这种方式下,hadoop被认为是一个单独的java进程,这种方式经常用来调试.所以我们讲下伪分布式安装hadoop. 我们继续上一章继续讲解,安装完先试试SSH装 ...

  2. Hadoop大数据初入门----haddop伪分布式安装

    一.hadoop解决了什么问题 hdfs 解决了海量数据的分布式存储,高可靠,易扩展,高吞吐量mapreduce 解决了海量数据的分析处理,通用性强,易开发,健壮性 yarn 解决了资源管理调度 二. ...

  3. CentOS6安装各种大数据软件 第七章:Flume安装与配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  4. ZooKeeper:win7上安装单机及伪分布式安装

    zookeeper是一个为分布式应用所设计的分布式的.开源的调度服务,它主要用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用,协调及其管理的难度,提高性能的分布式服务. 本章的目的:如何 ...

  5. 一.Kylin的伪分布式安装

    一.伪分布式安装kylin 2018年4月15日 15:06 安装需要的环境 1. hadoop集群环境:由于安装的是CDH5.14.0的版本,所以相关组件都是跟5.14.0相关 2. spark采用 ...

  6. HBase基础和伪分布式安装配置

    一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 ...

  7. Zookeeper 初体验之——伪分布式安装(转)

    原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 ...

  8. Hadoop1.1.2伪分布式安装笔记

    一.设置Linux的静态IP 修改桌面图标修改,或者修改配置文件修改 1.先执行ifconfig,得到网络设备的名称eth0 2.编辑/etc/sysconfig/network-scripts/if ...

  9. Hadoop单机和伪分布式安装

    本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP ...

随机推荐

  1. jQuery 选项卡 CleverTabs

    CleverTabs是一款jQuery插件,所需jQuery版本:1.6.1,jQuery UI样式版本:1.8.13:其功能为创建jQuery UI风格的Tab用于显示iframe. 本示例中符加了 ...

  2. Gradle2.0用户指南翻译——第二章. 概述

    翻译项目请关注Github上的地址:https://github.com/msdx/gradledoc本文翻译所在分支:https://github.com/msdx/gradledoc/tree/2 ...

  3. Swift 无操作时自动登出

    main.swift中代码: import Foundation import UIKit UIApplicationMain( CommandLine.argc, UnsafeMutableRawP ...

  4. Java中高级面试题整理

    一.基础知识: 1)集合类:List和Set比较,各自的子类比较(ArrayList,Vector,LinkedList:HashSet,TreeSet): 2)HashMap的底层实现,之后会问Co ...

  5. vuex(三)actions

    actions:既然mutations只能处理同步函数,我大js全靠‘异步回调’吃饭,怎么能没有异步,于是actions出现了...   actions和mutations的区别     1.Acti ...

  6. object references an unsaved transient instance【异常】

    [异常提示] TransientObjectException: object references an unsaved transient instance -save the transient ...

  7. AngularX 路由总结

    路由是 Angular 应用程序的核心,它加载与所请求路由相关联的组件,以及获取特定路由的相关数据.这允许我们通过控制不同的路由,获取不同的数据,从而渲染不同的页面. Installing the r ...

  8. java web构建学习(概念基础)

    1.什么是Java Web Application 一个Java web应用程序生成交互式web页面包含各种类型的标记语言(HTML.XML等)和动态内容.它通常由web组件例如JavaServer ...

  9. WebStorm的主题与设置

    1.  Webstorm主题风格选择 2.  Webstorm字体字号配置 3.  Webstorm快捷键的查找 4.  Webstorm插件的安装

  10. C#/.NET 中推荐的 Dispose 模式的实现

    如果你觉得你的类需要实现 IDisposable 接口,还是需要注意一些坑的.不过前人准备了 Dispose 模式 供我们参考,最大程度避免这样的坑. C#程序中的 Dispose 方法,一旦被调用了 ...