说明:这篇博客来自我的csdn博客,http://blog.csdn.net/lxxgreat/article/details/7753511 一.参考书:<hadoop权威指南--第二版(中文)> 二.hadoop环境安装 1.安装sun-jdk1.6版本 1)目前我只在一台服务器(CentOS5.5)上搭建hadoop环境,因此先卸载已安装的java1.4版本 卸载命令:yum -y remove java 2)下载sun-jdk1.6,地址:http://download.oracle.…

[Cloud Computing]Hadoop环境安装.基本命令及MapReduce字数统计程序 1.虚拟机准备 1.1 模板机器配置 1.1.1 主机配置 IP地址:在学校校园网Wifi下连接下 VMWare自己DHCP分配的是 192.168.190.xxx 内存:4G(根据自己机器确定 我需要三台机器 我的内存是16G) 硬盘:50G OS:CentOS7 x64 1.1.2 环境工具安装 ping www.baidu.com先查看能否正常上网 yum install -y epel-re…

看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了. Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等. 这里详细分解这里面的概念让大家通过这篇文章了解到底是什么hadoop: 1.什么是Map/Reduce,看…

Django学习笔记(一):环境安装与简单实例 通过本文章实现: Django在Windows中的环境安装 Django项目的建立并编写简单的网页,显示欢迎语与当前时间 一.环境安装 结合版本兼容性等原因,采用了Python3+Django1.11的组合.具体版本对应如下: Django version Python versions 1.11 2.7, 3.4, 3.5, 3.6 2.0 3.4, 3.5, 3.6, 3.7 2.1, 2.2 3.5, 3.6, 3.7 1.Python安装…

#进入hadoop安装目录 cd /usr/local/hadoop #创建示例文件:input #在里面输入以下内容: #Hello world, Bye world! vim input #在hdfs上创建文件路径 bin/hadoop fs -mkdir  /user/root/test/wordcount #将输入文件拷贝到hdfs bin/hadoop fs -put input /user/root/test/wordcount #执行程序 bin/hadoop jar hadoop…

在上一篇博客:hadoop入门级总结一:HDFS中,简单的介绍了hadoop分布式文件系统HDFS的整体框架及文件写入读出机制.接下来,简要的总结一下hadoop的另外一大关键技术之一分布式计算框架:Map/Reduce. 一.Map/Reduce是什么: Map/Reduce是在2004年谷歌的一篇论文中提出大数据并行编程框架,由两个基本的步骤Map(映射)和Reduce(化简)组成,Map/Reduce由此得名.同时,由于它隐藏了分布式计算中并行化.容错.数据分布.负载均衡等内部细节,实际的…

你是否听说过或者使用过队列? 你是否听说过或者使用过消息队列? 你是否听说过或者使用过RabbitMQ? 提到这几个词,用过的人,也许觉得很简单,没用过的人,也许觉得很复杂,至少在我没使用消息队列之前,听别人提到消息队列,都感觉很复杂,很高深. 好了,言归正传,本篇博客我们就讲解下什么是消息队列,RabbitMQ环境的安装配置,最后通过一个Hello World示例了解下RabbitMQ的使用方法. 1.基本概念讲解 1.1队列(Queue) 队列是常用的数据结构之一,是一种特殊的线性表,特殊之…

虚拟机使用vmware,vmware可以直接百度下载安装 秘钥也能百度到 安装很简单 CentOS 7下载: 进入官网 https://www.centos.org/download/ 这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样,这里选择标准版下载.点第一个标准版进入镜像 http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 这里面有不同的镜像,找一个…

一.环境安装 Win10(安装python3.x): 1.下载安装包     https://www.python.org/downloads/   2.安装完成后设置环境变量. 桌面-“计算机”-右键“属性”-“高级系统设置”-“高级”-“环境变量”-“系统变量”.找到Path,在后面加上python3.x安装路径下(记得用分号隔开)例             如;C:\Users\Administrator\AppData\Local\Programs\Python\Python35-32…

历时N天的hadoop环境,终于配好了 主要参考 Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 1.开机默认进入字符界面或者是图形界面:http://blog.csdn.net/tspangle/article/details/18255647/ 2.vmware的桥接网络: http://blog.csdn.net/shuxiao9058/article/details/7051463 3.告警信息util.NativeCodeLoader的处理:   ht…