Hadoop 中利用 mapreduce 读写 mysql 数据   有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些特性正是 hbase 或者 hive 目前亟待改进的地方. 好了言归正传,简单的说说背景.原理以及需要注意的地方: 1.为了方便 MapReduce 直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBI…

2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版本的提测,每次到了晚上就感觉很疲惫,另一方面确实是自己对自己最近有些放松,没有持续地学习.很庆幸今天能在一个忙碌的工作日后,开始着手这篇文章. 来到大数据前,我对大数据可以说是一无所知.诸如Hadoop.Hive等名词仅仅处于"听过"的阶段,完全不知道其作用.大数据的概念真的很多,想真正理…

接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件系统.现在使用hadoop fs.在本地模式下,hadoop fs其实也是使用的linux的fs.下面示例说明: 2.1 验证FS cd /home/jungle/hadoop/hadoop-local ls -l total 116 drwxr-xr-x. 2 jungle jungle 4096 Jan…

hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式)来运行. 参考: hadoop docs ​ 1 hadoop 安装 java环境 yum install java-1.8.0-openjdk hadoop下载压缩包并安装 mkdir ~/hadoop/ cd ~/hadoop/ # http://apache.fayea.com/hadoop…

Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问题.但是网上一些文档大多互相抄袭,里面错误百出.笔者结合自学书籍视频等资料,完成这一套配置资料.实验结果和过程经过反复测试无误后方整理出来的.配置过程中,初学者若有实验环境,可以在真机环境下完成,若无条件,可补习下虚拟机与Linux操作系统的基础知识,以及里面对linux常规命令使用,建议读者边配置…

本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整个硬盘的容量的文件,这时需要将文件分割为若干较小的块,然后将这些块按照一定的规则分放在集群中若干台节点计算机里. 分布式文件系统的另一个作用是加速运算,在多台计算机上对每个子文件进行计算最后再汇总结果通常比在一台计算机上处理大量文件的运算要块.这种分而治之的思想倡导:与其追求造价昂贵的高性能计算机,…

程序员必须要知道的Hadoop的一些事实.现如今,Apache Hadoop已经无人不知无人不晓.当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软...... 1:Hadoop是由多个产品组成的. 人们在谈论Hadoop的时候,常常把它当做单一产品来看待,但事实上它由多个不同的产品共同组成. Russom说:"Hadoop是一系列开源产品的组合,这些产品都是Apache软件基金会的项目." 一提到Hadoop,人们往往将其与MapReduce放在一起…

一.负责收集数据的工具:Sqoop(关系型数据导入Hadoop)Flume(日志数据导入Hadoop,支持数据源广泛)Kafka(支持数据源有限,但吞吐大) 二.负责存储数据的工具:HBaseMongoDBCassandraAccumulo MySqlOracleDB2 HDFS(Hadoop Distribut File System)2.0 三.底层组件Apache Common(通用模块).Avro(序列化成二进制).OS(Linux.windows...) 四.通用工具Zookeeper…

在Ubuntu下安装与设置Hadoop的主要过程. 1. 创建Hadoop用户 创建一个用户,用户名为hadoop,在home下创建该用户的主目录,就不详细介绍了. 2. 安装Java环境 下载Linux环境下的JDK:jdk-8u111-linux-x64.tar.gz. 在usr下创建一个java文件夹,将jdk-8u111-linux-x64.tar.gz复制到java文件夹下面,并解压. 为了操作方便,为JDK文件夹建立一个链接: 编辑/etc/profile文件,在文件末位加上下列语句…

Hive是Hadoop生态中的一个重要组成部分,主要用于数据仓库.前面的文章中我们已经搭建好了Hadoop的群集,下面我们在这个群集上再搭建Hive的群集. 1.安装MySQL 1.1安装MySQL Server 在Ubuntu下面安装MySQL的Server很简单,只需要运行: sudo apt-get install mysql-server 系统会把MySQL下载并安装好.这里我们可以把MySQL安装在master机器上. 安装后需要配置用户名密码和远程访问. 1.2配置用户名密码 首先我…

1.环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 master作为active主机,data1作为standby备用机,三台机器均作为数据节点,yarn资源管理器在master上开启,在data1上备用,data1上开启历史服务器 主要参考见下表 master 192.168.1.215 Namenode DataNode QuorumPeerMain ZKFC JournalNode ResourceManager NodeManager data1…

本教程讲述在单机环境下搭建Hadoop伪分布式集群环境,帮助初学者方便学习Hadoop相关知识. 首先安装Hadoop之前需要准备安装环境. 安装Centos6.5(64位).(操作系统再次不做过多描述,自行百度) 安装JDK1.7(64位). 安装Hadoop2.2(稳定版本64位) 注意:以上三者版本需要统一,必须同为64位/32位 1.安装JDK1.7 下载JDK1.7,然后拷贝到指定目录 cd /usr/local/ 解压缩: 配置环境变量: vim /etc/profile.d/jav…

阅读目录 序 介绍 Observer操作 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们讲述了HBase的数据模型相关操作的下部分.   下面我们开始介绍HBase的协处理器部分. 介绍 一:介绍 从0.92版本开始,HBase加入了协处理器(coprocessors),利用协处理器,用户可以编写运行在 HBase Server 端的代码.可以实现“二级索…

向任务传递定制参数 获取任务待定的信息 生成多个输出 与关系数据库交互 让输出做全局排序   1.向任务传递作业定制的参数        在编写Mapper和Reducer时,通常会想让一些地方可以配置.例如第5章的联结程序被固定地写为取第一个数据列作为联结键.如果用户可以在运行时指定某个列作为联结键,就会让程序更具普适性.hadoop自身使用一个配置对象来存储所有作业的配置属性.你也可以使用这个对象将参数传递到Mapper和Reducer.        我们已经知道MapReduce的dri…

Hadoop程序开发的独门绝技 在本地,伪分布和全分布模式下调试程序 程序输出的完整性检查和回归测试 日志和监控 性能调优   1.开发MapReduce程序   [本地模式]        本地模式下的hadoop将所有的运行都放在一个单独的Java虚拟机中完成,并且使用的是本地文件系统(非HDFS).在本地模式中运行的程序将所有的日志和错误信息都输出到控制台,最后它会给出所处理数据的总量.   对程序进行正确性检查: 完整性检查 回归测试 考虑使用long而非int     [伪分布模式]…

链接多个MapReduce作业 执行多个数据集的联结 生成Bloom filter   1.链接MapReduce作业   [顺序链接MapReduce作业]   mapreduce-1 | mapreduce-2 | mapreduce-3 | ...   [具有复杂依赖的MapReduce链接]        有时,在复杂数据处理任务中的子任务并不是按顺序运行的,因此它们的MapReduce作业不能按线性方式链接.例如,mapreduce1处理一个数据集,mapreduce2独立处理另一个数…

Hadoop应用场景 Hadoop是专为离线处理和大规模数据分析而设计的,它并不适合那种对几个记录随机读写的在线事务处理模式. 大数据存储:Hadoop最适合一次写入.多次读取的数据存储需求,如数据仓库. 大数据分析:数据密集型并行计算:数据量极大,但是计算相对简单的并行处理.如:大规模Web信息搜索.日志分析. Hadoop相关术语 Hadoop:这个名字不是一个缩写,而是一个虚构的名字.该项目的创建者,Doug Cutting解释Hadoop的得名 :“这个名字是我孩子给一个棕黄色的大象玩具…

关于Hadoop的用户体系设计设想 Hadoop并没有一个完整的用户体系,其权限控制的对象,主要是Linux的其它用户(即非安装Hadoop的用户),控制方式也和Linux的文件权限很像,目前权限控制的方式有两种,ACL和kerberos(kb较复杂一点,曾经将朕折磨的欲仙欲死). 那么,产生问题: hadoop集群是否应该每个节点都建一样的用户,比如节点1有user1,那么是否其它节点都应该有user1 当有并不是直接用在线节点的机器操作集群时,比如第三方web管理,比如配了接口机,算谁在操作…

不管出什么问题,首先查看日志. 在启动过hadoop的前提下,打开浏览器,输入http://localhost:50070 点击Utilities下的logs,选择hadoop-root-datanode-master.log查看日志. 一.启动失败 日志提示:WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN 问题描述…

前言:       前段时间自己学习如何部署伪分布式模式的hadoop环境,之前由于工作比较忙,学习的进度停滞了一段时间,所以今天抽出时间把最近学习的成果和大家分享一下.       本文要介绍的是如何利用VMware搭建自己的hadoop的集群.如果大家想了解伪分布式的大家以及eclipse中的hadoop编程,可以参考我之前的三篇文章. 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/Purple…