背景: 搜索引擎在build全量时,会产生数G的xml的中间文件,我需要去查询这些中间文件中,是否有某个特殊的字符.xml文件有很多,每个都有几百M,存储在hdfs上,而且是以gz结尾的文本格式的文件. 查找时,我是写了一个实现Tool接口,继承自Configured类的MapReduce,这样就可以传入自定义的参数给我的MapReduce程序了.需要在文件里Grep的内容,就是以参数的形式传入的. 写完代码调试时,问题来了,会报这个异常: 14/10/17 12:06:33 INFO mapr

用chrom浏览器下载了linux版的jdk,发现文件后缀是.gz,没看过这玩意,一打开,还是一个.gz文件,原本以为是新文件后缀呢.那个百度google啊. . ..最后都没发现有这方面的资料啊.. ... 最后.折腾了好久.无果! 就把.gz文件改成.tar.gz后缀了. . ...尼玛...一打开.jdk文件出现了. . ... 靠!  真坑啊.... ps:做个笔记,分享给后来人,免得跟我一样的遭遇!

*************************  有些,是没必要全导入的.以后到工作了,用Maven,就自动会导入其中一些.************************ 一般,工作中,用的更多的是java接口的方式来操作HDFS. HDFS shell接口,一般是在,删除或者查看文件数目啥等. 一般喜欢在windows里开发. 比如,在Linux里开发.用图形界面. 1.Common下的非lib下 2.Common下的lib下 3.hdfs下 4.mapreduce 得到 把这些变成奶瓶

本文在原来作者的基础上做一些符合自己的修改.原文参考: <Linux就该这么学>培训笔记_ch02_一些必须掌握的Linux命令.     本章的内容虽然多,基本都是书本原话,但是笔记能精简的我都精简了,无奈内容实在太多,我怕太精简,回过头来自己也看不懂... 文章主要内容: 认识Shell 必须掌握的Linux命令(共41个命令): 执行查看帮助命令(1) 常用系统工作命令(10) 系统状态监测命令(8) 工作目录切换命令(3) 文本文件编辑命令(9) 文件目录管理命令(7) 打包压缩与搜索

一. Linux介绍 1.1 引言 在学习Linux之前, 大家先了解开发环境,生产,测试环境 开发环境: 平时大家大多是在Windows或者Mac操作系统下去编写代码进行开发,在开发环境中安装大量的软件 这样会导致环境的稳定性和安全性降低 生产环境: 是将程序运行在此环境中, 供用户去使用, 这个环境是有专业的人员去维护的, 一般人没有权限去操作生产环境 测试环境: 一般克隆一份生产环境, 会将开发环境中的程序部署到测试环境中. 这个环境的主要目的是去程序进程检测, 收集程序中的各种问题, 并

一.ubuntu安装mysql5.6二进制压缩包(tar.gz) 准备 0. 获取 mysql-5.5.15-linux2.6-i686.tar.gz 二进制安装文件 mysql 官网下载页面选择 Linux-Generic 下的 Linux - Generic 2.6 (x86, 32-bit), Compressed (位数适你的linux的位数而定.我这里用的是32位的,所以我选择32位版本的mysql) 你可以在ubuntu 中使用 wget 命令获取,或者任何一种下载工具都可以,只要有

原文地址:http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html 目的 先决条件 概述 输入与输出 例子:WordCount v1.0 源代码 用法 解释 Map/Reduce - 用户界面 核心功能描述 Mapper Reducer Partitioner Reporter OutputCollector 作业配置 任务的执行和环境 作业的提交与监控 作业的控制 作业的输入 InputSplit RecordReader 作业的

最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks 官网这篇文章有的地方格式不对,部分链接也失效,运行时还会有一些问题,所以这里重新记录如下. 安装 JDK JDK 1.8 下载地址 安装完成后路径应该是 /Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents

部署hadoop集群 1.下载jdk1.6,从http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html获取jdk-6u45-linux-i586.bin. 上传到主机,并增加可执行权限: chmod a+x jdk-6u45-linux-i586.bin ./jdk-6u45-linux-i586.bin 出现DONE后,表示安装完成. 2.配置java环境

一.Hadoop简介: Hadoop是由Apache基金会所开发的分布式系统基础架构,实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS:Hadoop框架最核心设计就是HDFS和MapReduce,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算. Hadoop要解决的问题:海量数据的存储(HDFS).海量数据的分析(MapReduce)和资源管理调度(YARN) Hadoop主要作用于分布式 二.Hadoop实现机制 1.

本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的部署 writen by Bob Pan@20140609 环境介绍: 主机名 机器IP 用途 描述 Hadoop0 192.168.80.101 Namenode secondaryNamenode jobTracker CentOS6.4 jdk-6u24-linux-i586 hadoop-1.1.2 Hadoop1 192.168.80.102 Datanode taskTracker CentOS6.4 jdk-6u24-l

Hadoop有三种安装模式,分别为单机模式.伪分布式模式和完全分布式模式(集群模式).本文安装版本是hadoop-1.1.2,hadoop-2.x版本安装请参考:http://www.cnblogs.com/hanganglin/articles/4254931.html. 一.单机模式  单机模式是Hadoop的默认模式,单机模式只有一个节点,不使用HDFS,也不加载任何Hadoop的守护进程,该模式主要用户开发调试MapReduce应用程序逻辑. 二.伪分布式模式  伪分布式hadoop是一

核心功能描述 应用程序通常会通过提供map和reduce来实现 Mapper和Reducer接口,它们组成作业的核心. Mapper Mapper将输入键值对(key/value pair)映射到一组中间格式的键值对集合. Map是一类将输入记录集转换为中间格式记录集的独立任务. 这种转换的中间格式记录集不需要与输入记录集的类型一致.一个给定的输入键值对可以映射成0个或多个输出键值对. Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务,而每个InputSpli

hadoop的集群安装 1.安装JDK,解压jar,配置环境变量 1.1.解压jar tar -zxvf jdk-7u79-linux-x64.tar.gz -C /opt/install //将jdk解压到对应的文件目录下 1.2.配置环境变量, sudo vim /etc/profile //添加下面内容:export JAVA_HOME=/opt/install/jdk1.7.0_79 export PATH=$JAVA_HOME/bin:$PATH 2.下载hadoop压缩包,解压jar

Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Linux环境,可以是真机,也可以是虚拟机,我的环境是VMWare下安装的CentOS 6.3的虚拟机,如果你还没有安装好Linux环境,可以参考我的另一篇文章:window7环境下VMWare自定义安装Linux虚拟机完全教程,希望可以帮到你. 等你安装好了Linux环境,我们就可以真正开始部署hado

大数据:Hadoop入门 一:什么是大数据 什么是大数据: (1.)大数据是指在一定时间内无法用常规软件对其内容进行抓取,管理和处理的数据集合,简而言之就是数据量非常大,大到无法用常规工具进行处理,如关系型数据库,数据仓库等.这里“大”是一个什么量级呢?如在阿里巴巴每天处理数据达到20PB(即20971520GB). 2.大数据的特点: (1.)体量巨大.按目前的发展趋势来看,大数据的体量已经到达PB级甚至EB级. (2.)大数据的数据类型多样,以非结构化数据为主,如网络杂志,音频,视屏,图片,

一.软件版本 Hadoop版本号:hadoop-2.6.0.tar: VMWare版本号:VMware-workstation-full-11.0.0-2305329 Ubuntu版本号:ubuntu-14.04.1-desktop-i386 其他版本也可 Jdk版本号:jdk-6u45-linux-i586.bin 后三项对版本要求不严格,如果使用Hbase1.0.0版本,需要JDK1.8以上版本. 二.安装教程 1.VMWare安装教程 VMWare虚拟机是个软件,安装后可用来创建虚拟机,在

1. 配置linux系统环境 centos 6.4 下载地址:http://pan.baidu.com/s/1geoSWuv[VMWare专用CentOS.rar](安装打包好的VM压缩包) 并配置虚拟机网络连接为"仅主机模式"(使主机和虚拟机可以互通)      3.  设置虚拟机固定ip,设置好重启网络:service network restart            2. 关闭防火墙 1 2 3 4 5 6 su root service iptables stop #关闭防

声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 1.下载Hadoop压缩包 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz 2.解压Hadoop压缩包 mkdir /bigdata tar -zxvf hadoop-2.6.5.tar.gz -C /bigdata 3.配置Hadoop(伪分布式) cd /bigdata/hadoop-2.6.5/etc/hadoop

一.软件版本 Hadoop版本号:hadoop-2.6.0.tar: VMWare版本号:VMware-workstation-full-11.0.0-2305329 Ubuntu版本号:ubuntu-14.04.1-desktop-i386 其他版本也可 Jdk版本号:jdk-6u45-linux-i586.bin 后三项对版本要求不严格,如果使用Hbase1.0.0版本,需要JDK1.8以上版本. 二.安装教程 1.VMWare安装教程 VMWare虚拟机是个软件,安装后可用来创建虚拟机,在

安装 jdk 1.8 # 官网下载可能比较慢,请自行搜索国内镜像源 wget http://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.tar.gz tar -xzvf jdk-8u191-linux-x64.tar.gz -C /usr/lib/jvm #请忽略版本信息,搬运别人的,因为我之前已经装好了 配置环境变量 #vi  /etc/p