《Programming Hive》读书笔记(一)Hadoop和Hive环境搭建

            先把主要的技术和工具学好,才干更高效地思考和工作。

 

Chapter 1.Introduction 简单介绍

Chapter 2.Getting Started 环境配置

Hadoop版本号会更新,以官方安装教程为准

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

For most of the book, it won’t matterwhich mode you’re using. We’llassume you’re

working on a personal machine in local mode and we’ll discussthe cases where the

mode matters.

When working with small data sets, usinglocal mode execution

will make Hive queries much faster. Settingthe property set

hive.exec.mode.local.auto=true;willcause Hive to use this mode more

aggressively, even when you are runningHadoop in distributed or pseudodistributed

mode. To always use this setting, add thecommand to

your $HOME/.hiverc file (see “The.hiverc File” on page 36).

对于Hadoop的不同模式,他们在不同的使用情境下性能也是各异的。

少量的数据,用local mode模式性能会更好。

两个Hadoop程序样例:

1 hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jarwordcount input output

这是wordcount词频统计程序。

2 hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jargrep input output 'dfs[a-z.]+'

这是grep程序,类似linux下的命令。

当中,input为输入文件夹,output为输出文件夹。输入文件夹须要先创建,输出文件夹不须要创建,且不能已存在。

Hive的官方安装

https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease

事实上Hadoop和hive的安装就是解压和配置环境变量。

只是hive须要创建两个文件夹才干正确执行

$ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
  $ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
  $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
  $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

不用hdfs也能够,本地模式直接创建。

另外mkdir须要加上-p才干一次创建多层文件夹

Linux须要注意的是,你用普通用户执行hive,假设hive程序须要在某些文件夹创建文件或者文件夹可是没有权限,那么就会执行出错。

比方上面的tmp和warehouse文件夹。

还有,在当前文件夹执行hive命令,

会自己主动在当前文件夹创建

-rw-rw-r-- 1 linger linger  678 Nov 12 00:03derby.log

drwxrwxr-x 5 linger linger 4096 Nov 12 00:03 metastore_db/

一个文件,一个文件夹。

假设hive在当前文件夹没有创建的权限。又会出错。

另外发现/etc/profile是用户登录时会自己主动生效的,

暂时生效办法能够 source /etc/profile

另外,root没有登录。所以注销或者重新启动后,sudo su进入root,发现/etc/profile还是没有生效,眼下的解决方法是用source了。

只是能用普通用户先用普通用户。用普通用户得注意权限不足的问题。



额外资料:

http://wangshuxing123-126-com.iteye.com/blog/695653

chmod是Linux下设置文件权限的命令,后面的数字表示不同用户或用户组的权限。

通常是三个数字:

第一个数字表示文件全部者的权限

第二个数字表示与文件全部者同属一个用户组的其它用户的权限

第三个数字表示其他用户组的权限。

权限分为三种:读(r=4),写(w=2),运行(x=1) 。

综合起来还有可读可运行(rx=5=4+1)、可读可写(rw=6=4+2)、可读可写可运行(rwx=7=4+2+1)。

所以,chmod 755 设置用户的权限为:

1.文件全部者可读可写可运行                                  --7

2.与文件全部者同属一个用户组的其它用户可读可运行 --5 

3.其他用户组可读可运行                                       --5

常见使用方法:

Chmod –R 777 target_dir

Chmod –R 755 target_dir



本文作者:linger
本文链接:http://blog.csdn.net/lingerlanlan/article/details/41025431


《Programming Hive》读书笔记(一)Hadoop和hive环境搭建的更多相关文章

  1. 《Programming Hive》读书笔记(两)Hive基础知识

    <Programming Hive>读书笔记(两)Hive基础知识 :第一遍读是浏览.建立知识索引,由于有些知识不一定能用到,知道就好.感兴趣的部分能够多研究. 以后用的时候再具体看.并结 ...

  2. Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录

    Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录     Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : ...

  3. Hadoop学习笔记1:伪分布式环境搭建

    在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...

  4. hadoop集群环境搭建之zookeeper集群的安装部署

    关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper ...

  5. hadoop集群环境搭建之安装配置hadoop集群

    在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录 ...

  6. hadoop集群环境搭建准备工作

    一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...

  7. Hadoop集群环境搭建步骤说明

    Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的.对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“ ...

  8. 【转】Hadoop HDFS分布式环境搭建

    原文地址  http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统 ...

  9. 分享知识-快乐自己:Liunx-大数据(Hadoop)初始化环境搭建

    大数据初始化环境搭建: 一):大数据(hadoop)初始化环境搭建 二):大数据(hadoop)环境搭建 三):运行wordcount案例 四):揭秘HDFS 五):揭秘MapReduce 六):揭秘 ...

  10. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

随机推荐

  1. SharedPreferences共享优先存储的详细解析和原理

    共享优先存储: publicvoid onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setCont ...

  2. poj2761(treap入门)

    给n个数,然后m个询问,询问任意区间的第k小的数,特别的,任意两个区间不存在包含关系, 也就是说,将所有的询问按L排序之后, 对于i<j ,   Li < Lj 且 Ri < Rj ...

  3. python学习笔记之一:列表与元组

    最近在看<python基础教程>(基于python2.x),下面总结一下第二章列表与元组的知识: 在这章中引入了数据结构的概念.数据结构是通过某种方式组织在一起的数据元素的集合.在pyth ...

  4. 全面认识Eclipse中JVM内存设置(转)

    这里向大家描述一下Eclipse中如何进行JVM内存设置,JVM主要管理两种类型的内存:堆和非堆.简单来说堆就是Java代码可及的内存,是留给开发人员使用的:非堆就是JVM留给自己用的,所以方法区.J ...

  5. Java的Log系统介绍和切换(转)

    Java的log系统比较繁杂.在这里梳理一下.本文只涉及log系统介绍和处理log系统之间的切换.不涉及如何配置和使用. 具体的log系统 Log4j:准确的说是log4j 1.x版.是之前使用最广泛 ...

  6. linux下查找某个文件

    参考http://blog.csdn.net/gray13/article/details/6365654 一.通过文件名查找法: 举例说明,假设你忘记了httpd.conf这个文件在系统的哪个目录 ...

  7. 代写java程序qq:928900200

    学校为全面提升学校教学质量,提高管理水平,决定开发一套小型成绩管理系统,实现以下功能.1)   系统用户分为管理员.教师和学生三种角色,每种角色都可以包含若干个用户.其中管理员登录后可以进行教师.学生 ...

  8. java中间==、equals和hashCode差额

    java于==.equals().hashCode()和比较两个对象. 关于== ==是easy理解的.java设计java就是要比較两个对象是不是同一个对象. 对于引用变量而言.比較的时候两个引用变 ...

  9. Eclipse正确导入第三方project

    前言 昨晚,在不同的Android做出最终的在线测试时间,在其他平台上正常升级的提示突然报告出来"java.lang.NoClassDefFoundError"误.拉什adb lo ...

  10. SP2010 3D标签云Web部分--很酷的效果,强烈推荐!!

    SP2010 3D标签云Web部分--很酷的效果.强烈推荐! ! 项目描述叙事         基于简单Flash的3D标签云Web部件.SP Server 2010使用. 建立在内置标签云Web部件 ...