文件合并和去重: 可以把每一行文本作为key,value为随意值. 数字排序: MapReduce过程中就有排序,它是按照key值进行排序的,如果key为封装int的IntWritable类型,那么MapReduce按照数字大小对key排序,如果key为封装为String的Text类型,那么MapReduce按照字典顺序对字符串排序. IntWritable和Text作为输入输出的键值对类型,都可以通过set()设置值.

增大VM下linux的根目录空间   用的太久,发现VM下的系统空间不足.简单的方法是,分一个新硬盘,挂载到根目录下.    下面是直接增大根目录下空间:  1. 增大vm下的磁盘大小, VM -> Settings -> Hard Disk -> Utilities -> Expand 2. fdisk进行分区     # fdisk -l     # fdisk /dev/sda     Command (m for help): m     Command action   

背景:昨晚想尝试一下用putty远程登录我的linux系统,悲剧的是,我竟然连接不上,显示 connection refused   ,连接被拒绝.于是我就想看看能不能在linux下看看能不能访问百度.结果,,也是不行的. 一.Vm下的linux系统上不了网 隔壁的一个伙伴提醒我,说,是不是虚拟机VMware的服务没有开启.一言惊醒梦中人啊 linux下不能访问百度的原因: 粗心,没有开启VM的服务,太大意了,居然是服务没有打开.所以如果下次你的linux访问不了外网,看看是否没有打开服务.汗~

VM下Kali虚拟机安装 下载kali Linux系统镜像 下载地址:http://mirrors.hust.edu.cn/kali-images/ 网页如下: kali官网:http://www.kali.org.cn/ 运行VM后,点击如下图标: 选典型 选择镜像 选择Linux内核 选择安装位置 指定磁盘大小 单击完成 开启此虚拟机 选图形化安装Graphical install 选择中文(简体) 选择是 选择区域为中国 网络配置随便写一个 输入密码 等待 选择第一个 选择要分区的磁盘 选

因工作需要alone了Qnap 中VM下的win7,更改冲突项:1. 电脑名2. 必需卸载虚拟网卡,因为克隆系统的MAC地址相同.    添加网卡,指定IP Address.Subnet mask.Gateway.DNS Server.问题来了,进入无法访问外网,什么问题呢? 分析后结论: 习惯处理实体机,惯例IP Address.Subnet mask.Gateway.DNS Server等内容, 忽略了此win7是Qnap下的虚拟机,虚拟机的Gateway不是物理机的Gateway(rout

mapreduce案例:获取PI的值 * content:核心思想是向以(0,0),(0,1),(1,0),(1,1)为顶点的正方形中投掷随机点. * 统计(0.5,0.5)为圆心的单位圆中落点占总落点数的百分比,即可算出单位圆的面积Pi/4, * 然后乘以4即得到Pi的近似值.从输入文件中读入一行内容.每一行都是一个数字, * 代表随机投掷那么多点来估算Pi的值.在Mapper中则随机生成指定数量的随机点(x,y). * x和y的范围在0-1之间.然后求出(x,y)与(0.5,0.5)的距离.

MapReduce案例之自定义groupingComparator 求取Top 1的数据 需求 求出每一个订单中成交金额最大的一笔交易 订单id 商品id 成交金额 Order_0000005 Pdt_01 222.8 Order_0000005 Pdt_05 25.8 Order_0000002 Pdt_03 322.8 Order_0000002 Pdt_04 522.4 Order_0000002 Pdt_05 822.4 Order_0000003 Pdt_01 222.8 代码实现 自

系统启动日志:Bringing up interface eth0: pcnet32 device eth0 does not seepresent, delaying initialization.ifconfig输出:输出结果未发现设备interface eth0 这种现象的最终原因是VM在启动copy的centos时会询问你是moved or copy,这时你选择copy.于是VM认为客观上(现实中)又多了一张(至少)网卡,甚至这个copy centos和原来的centos就在同一个物理环

一.安装必备软件 1:下载好VM workstations虚拟机 2:下载好你要安装的centos版本. 如果没有,请自己先百度下载好~或者找我要. 二.开始安装 VM workstation部分 1.下载好VM 2.点击直接安装,很简单,就跟普通的安装一样,看到下面的界面,就说明你成功了

案例描述 根据好友列表,推荐好友的好友 数据集 tom hello hadoop cat world hadoop hello hive cat tom hive mr hive hello hive cat hadoop world hello mr hadoop tom hive world hello tom world hive mr 代码 MyFOF.class package com.hadoop.mr.fof; import java.io.IOException; import

案例描述 找出每个月气温最高的2天 数据集 -- :: 34c -- :: 38c -- :: 36c -- :: 32c -- :: 37c -- :: 23c -- :: 41c -- :: 27c -- :: 45c -- :: 46c -- :: 47c 代码 MyTQ.class package com.hadoop.mr.tq; import java.io.IOException; import org.apache.hadoop.conf.Configuration; impor

案例三: 统计共同好友 任务需求: 如下的文本, A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J 求出哪些人两两之间有共同好友,及他俩的共同好友都是谁 b -ac -ad -aa -b c -b b -e b -j 解题思路: 写两个mapreduce 第一个MR输出结果如:b -> a

mapreduce设计思想 概念:它是一个分布式并行计算的应用框架它提供相应简单的api模型,我们只需按照这些模型规则编写程序,即可实现"分布式并行计算"的功能. 案例一:wordcount经典案例 先写map方法 package com.gec.demo; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text

一.流程 1.先安装nginx依赖的包 (1)yum install gcc-c++ (2)yum install -y pcre pcre-devel (3)yum install -y zlib zlib-devel (4)yum install -y openssl openssl-devel 2.把nginx的源码上传到linux系统 3.把压缩包解压缩. 4.进行configure. ./configure \ --prefix=/usr/local/nginx \ --pid-pat

1.需求 2.思路 3.代码实现 3.1MyWeather 类代码: 这个类主要是用来定义hadoop的配置,在执行计算程序时所需加载的一些类. package com.hadoop.mr.weather; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable

首先查询进程,发现hadoop并没有启动 如何配置hadoop,参考我的另外一篇博文<Hadoop环境准备> 接下来,启动hadoop start-all.sh 或者 start-dfs.sh start-yarn.sh 启动成功后,在浏览器中输入: <主机名>:8088 master:8088/cluster a. Cluster Metrics 集群指标:app(提交.排队.运行.完成). Container个数 . 资源(内存.cpu) b. Cluster Nodes Me

用过各种社交平台(如QQ.微博.朋友网等等)的小伙伴应该都知道有一个叫 "可能认识" 或者 "好友推荐" 的功能(如下图).它的算法主要是根据你们之间的共同好友数进行推荐,当然也有其他如爱好.特长等等.共同好友的数量越多,表明你们可能认识,系统便会自动推荐.今天我将向大家介绍如何使用MapReduce计算共同好友 算法 假设有以下好友列表,A的好友有B,C,D,F,E,O; B的好友有A,C,E,K 以此类推 那我们要如何算出A-O用户每个用户之间的共同好友呢? A

题目: 这个程序的原理是这样的.假如有一个边长为1的正方形.以正方形的一个端点为圆心,以1为半径,画一个圆弧,于是在正方形内就有了一个直角扇形.在正方形里随机生成若干的点,则有些点是在扇形内,有些点是在扇形外.正方形的面积是1,扇形的面积是0.25*Pi.设点的数量一共是n,扇形内的点数量是nc,在点足够多足够密集的情况下,会近似有nc/n的比值约等于扇形面积与正方形面积的比值,也就是nc/n= 0.25*Pi/1,即Pi = 4*nc/n. 实现思路: 通过map读入文件,文件内容为投掷次数,

在写一个mapreduce类之前先添加依赖包 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd&q

1.查看虚拟机的默认网关和子网掩码 a.vm菜单栏点击编辑->虚拟网络编辑器 b.选择VMnet8,点击NAT设置,查看子网掩码.网关IP                2. 修改服务器的网络配置 a. 修改主机名 hostnamectl set-hostname node01(可选) b. 编辑网卡配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 其中主要的几处参数修改为: BOOTPROTO=static 设置为静态ip ONBOOT=yes

随着Linux虚拟机的不断使用,在VMware中经常遇到 预先装好的 linux 虚拟机的硬盘空间过小 的问题,造成很多软件不能安装, 而重新装一个,又挺麻烦.于是,上网搜了下关于 vmware 硬盘扩容的方法. 总结如下: 1.挂载点必须是一个目录. 2.一个分区挂载在一个已存在的目录上,这个目录可以不为空,但挂载后这个目录下以前的内容将不可用. 一:首先使用VMware工具扩容分配的硬盘空间: 1 . vmware 提供一个命令行工具, vmware-vdiskmanager.exe ,位于