参考资料: drill 官网:http://drill.apache.org/ drill安装使用:https://segmentfault.com/a/1190000002652348 drill简介:http://www.csdn.net/article/2012-08-20/2808871 SQL ON Hadoop框架:http://www.infoq.com/cn/news/2014/06/sql-on-hadoop/ http://www.wtoutiao.com/a/3153648…

转载请注明出处:http://www.cnblogs.com/zhengrunjian/p/4527220.html 所有源码在github上,https://github.com/lastsweetop/styhadoop 1简介 codec其实就是coder和decoder两个单词的词头组成的缩略词.CompressionCodec定义了压缩和解压接口,我们这里讲的codec就是实现了CompressionCodec接口的一些压缩格式的类,下面是这些类的列表: 2使用CompressionC…

看了两天的各种博客,终于把MapReduce的原理理解了个大概.花了1个小时画了个流程图.大家看看,有不对的地方欢迎指正. 关键步骤: Map, Reduce就不多说了.记录一下我看了很久的部分: 1. Shuffle :指的是从Map输出到Reduce输入之间的操作.期间有三次排序操作,Partition与Combine如果选择了也在Shuffle过程中. 2. Partitioner :是在使用多个Reduce端的时候决定数据发往哪个Reduce端的,默认是对Key哈希,保证同一个Key值的…

[转][转]order by 1是什么意思? ORDER BY 1 表示 所select 的字段按第一个字段排序 ORDER BY ASC应该没有这样写法,ORDER BY 后面不是字段就是数字, 可以ORDER BY 1 ASC 或者ORDER BY COL1 ASC ASC表示按升序排序,DESC表示按降序排序 来源:http://doudouweed.blog.sohu.com/120271609.html…

因篇幅过长,故分为两节,上节主要说明hadoop运行环境和必须的基础软件,包括VMware虚拟机软件的说明安装.Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置.具体请参看: [HADOOP]| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-上 6. Linux节点配置 设置主机名:根据规划修改主机名,执行hostnamectl set-hostname hdoop1,修改主机名并写入配置文件,使用hostname查看当前生效的主机名. 关闭防火墙:使用s…

客户端需要指定ns名称,节点配置,ConfiguredFailoverProxyProvider等信息. 代码示例: package cn.itacst.hadoop.hdfs; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; impor…

转载来自http://blog.csdn.net/lsttoy/article/details/53490144. 这个问题困扰了我三天,各种查资料踩坑填坑的尝试,终于搞定了这个问题. 首先来品尝下喜悦! [root@master bin]# beeline ls: cannot access /home/hive/lib/hive-jdbc-*-standalone.jar: No such file or directory Beeline version 2.1.0 by Apache H…

[vps]如何在vps上安装mirai机器人? 前言 由于某位师傅在群里设置了一个bot,吸引了我,所以我之前找他问了点bot的相关知识,这几天正好服务器搬迁,所以就在新服务器上再装一遍bot 1.安装openJDK 使用mirai需要JDK8以上,使用mcl需要JDK11以上,所以我们直接安装openJDK11就ok了 先看一下jdk yum search jdk 发现openJDK11,下载即可 这里我下载的是java-11-openjdk.x86_64 yum install java-1…

目录 一.配置时间同步 二.部署zookeeper(master节点) 1.使用xftp上传软件包至~ 2.解压安装包 3.创建 data 和 logs 文件夹 4.写入该节点的标识编号 5.修改配置文件 zoo.cfg 6.配置环境变量zookeeper.sh 7.修改目录的归属用户 8.拷贝文件到slave 9.修改目录的归属用户 10.写入每个节点的标识编号 三.启动 ZooKeeper master节点 slave1节点 slave2节点 四.部署HBase 五.启动hadoop 六.启…

好文章的网址: hadoop shuffle机制中针对中间数据的排序过程详解(源代码级) Hadoop mapreduce原理学习 与 Hadoop 对比,如何看待 Spark 技术? 深入理解Hadoop集群和网络 Hadoop实战-中高级部分 之 Hadoop MapReduce工作原理  :http://si[]shu[]ok.com/forum/blogPost/list/5965.html Hadoop中两表JOIN的处理方法 [博文推荐]Hadoop中MapReduce多种join实…