Hadoop 系列文章(二) Hadoop配置部署启动HDFS及本地模式运行MapReduce

接着上一篇文章,继续我们 hadoop 的入门案例. 1. 修改 core-site.xml 文件 [bamboo@hadoop-senior hadoop-2.5.0]$ vim etc/hadoop/core-site.xml 添加如下的配置: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-senior.bamboo.com:8020<…

Hadoop 系列文章(一) Hadoop 的安装,以及 Standalone Operation 的启动模式测试

以前都是玩 java,没搞过 hadoop,所以以此系列文章来记录下学习过程安装的文件版本.操作系统说明 centos-6.5-x86_64 [bamboo@hadoop-senior opt]$ uname -a Linux hadoop-senior.bamboo.com 2.6.32-696.16.1.el6.x86_64 jdk.hadoop [bamboo@hadoop-senior softwares]$ ll total 443172 -rw-r--r--. 1 bamboo b…

Kettle系列文章二(安装配置Kettle+SqlServer+简单的输入输出作业)

一.下载 Kettle下载地址:https://community.hitachivantara.com/docs/DOC-1009855 下拉到DownLoad,点击红框中的链接进行下载.. 二.解压安装. 把zip包解压到指定文件夹(自己选择). 然后运行Spoon.bat这个批处理文件,耐心等候一会儿即可出现应用程序界面. 有兴趣的朋友可以用文本文档打开看看里面的批处理指令. 三.安装JDK.配置环境变量. 请移步另一个教程:XXXX(回头替换). 四.开启Kettle之路. 1.新建一个…

Hadoop 系列（二）安装配置

Hadoop 系列(二)安装配置 Hadoop 官网:http://hadoop.apache.or 一.Hadoop 安装 1.1 Hadoop 依赖的组件 JDK :从 Oracle 官网下载,设置环境变量(JAVA_HOME.PATH 和 CLASSPATH). SSH(安全外壳标议) :推荐安装 Openssh. Hadoop 需要通过 SSH 来启动 Slave 列表中各台主机的守护进程,因此 SSH 也是必须安装的,即使是安装伪分布式版本(因为 Hadoop 并没有区分开集群式和伪分…

3-3 Hadoop集群完全分布式配置部署

Hadoop集群完全分布式配置部署下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作.为了方便,使用root用户. 1.准备工作 1.1 centOS6服务器3台手动指定3服务器台以下信息: hostname IP mask gateway DNS 备注 master 172.17.138.82 255.255.255.0 172.17.138.1 202.203.85.88 服务器1 slave1 172.17.138.83 255.255.255.0 172.…

HBase 系列（二）安装部署

HBase 系列(二)安装部署本节以 Hadoop-2.7.6,HBase-1.4.5 为例安装 HBase 环境.HBase 也有三种模式:本地模式.伪分布模式.分布模式. 一.环境准备 (1) HBase 下载 HBase 下载地址:http://archive.apache.org/dist/hbase/ (2) SSH 服务 service sshd status 参考:http://www.cnblogs.com/binarylei/p/9049149.html (3) 域名系统 D…

Greeplum 系列（二）安装部署

Greeplum 系列(二) 安装部署本章将介绍如何快速安装部署 Greenplum,以及 Greenplum 的一些常用命令及工具.本章不会涉及硬件选型.操作系统参数讲解.机器性能测试等高级内容,这些会在 "第8章 Greenplum 线上环境部署" 中介绍. 2.1 软件安装及数据库初始化下面先介绍如何搭建一个完整的 Greenplum 环境.在搭建环境之前,我们必须对 Greenplum 的架构有一定的了解,并且准备好安装部署的机器,机器硬件.操作系统的安装配置读者可自行完成…

yum 系列（二）离线部署

yum 系列(二) 离线部署一.下载 rpm 依赖包 (1) yum 下载 rpm 包准备一台全新的 CentOS7 mini 虚拟机 ,联网下载所有所需的 rpm 包和其依赖, yum install -y --downloadonly --downloaddir=/home/yum/packages createrepo ansible ruby rubygems # 也可以指定需要安装的 rpm 包,注意不需要 .rpm 后缀 yum install -y --downloadonl…

Mybatis系列（二）配置

Mybatis系列(二)配置 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"> <configuration> <!-- 引入外部…

啃掉Hadoop系列笔记(03)-Hadoop运行模式之本地模式

Hadoop的本地模式为Hadoop的默认模式,不需要启用单独进程,直接可以运行,测试和开发时使用. 在<啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建>中若环境搭建成功,则直接可以使用本地模式. 在这里我们运行官方的两个案例 1.官方grep案例 1)在hadoop-2.7.2文件夹下面创建一个input文件夹…

Hadoop 系列文章(三) 配置部署启动YARN及在YARN上运行MapReduce程序

这篇文章里我们将用配置 YARN,在 YARN 上运行 MapReduce. 1.修改 yarn-env.sh 环境变量里的 JAVA_HOME 路径 [bamboo@hadoop-senior hadoop-2.5.0]$ vim etc/hadoop/yarn-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_67 2.修改 etc/hadoop/yarn-site.xml,添加如下的两个属性 <configuration> <pro…

Hadoop系列（二）：Hadoop单节点部署

环境:CentOS 7 JDK: 1.7.0_80 hadoop:2.8.5 hadoop(192.168.56.101) 配置基础环境 1. 测试环境可以直接关闭selinux和防火墙 2. 主机添加hosts记录 # vim /etc/hosts 192.168.56.101 hadoop 3. 创建hadoop用户 # useradd hadoop # passwd hadoop 4. 添加免密登陆(如果不添加免密登陆,后面启动服务时候会提示输入密码) # su - hadoop $ ss…

Hadoop 系列（二）—— 集群资源管理器 YARN

一.hadoop yarn 简介 Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统.用户可以将各种服务框架部署在 YARN 上,由 YARN 进行统一地管理和资源分配. 二.YARN架构 1. ResourceManager ResourceManager 通常在独立的机器上以后台进程的形式运行,它是整个集群资源的主要协调者和管理者.ResourceManager 负责给用户提交的所有应用程序分配资源,它…

3-2 Hadoop集群伪分布模式配置部署

Hadoop伪分布模式配置部署一.实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化启动hadoop进程,验证安装 1.2 实验知识点 hadoop核心配置文件文件系统的格式化测试WordCount程序 1.3 实验环境 hadoop2.7.6 CentOS6终端 1.4 适合人群本课程难度为一般,属于初级级别课程,适合具有hadoop基础的用户. 1.5 相关文件 https://pan.baidu.com/s/1a_Pjl8uJ2d_-r1hbN05fWA…

hadoop系列一：hadoop集群安装

转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/6384393.html 一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 二:准备工作 2.1:准备安装虚拟机在虚拟机中安装centos操作系统,我安装了四个,主机名分别为server1到server4,具体可以随意安装,不限制数量,当然,如果是集群那就要两台以上…

Hadoop实战之二~ hadoop作业调度详解(1)

对Hadoop的最感兴趣的地方,也就在于Hadoop的作业调度了,在正式介绍如何搭建Hadoop之前,深入理解一下Hadoop的作业调度很有必要.我们不一定能用得上Hadoop,但是如果理通顺Hadoop的分布式调度原理,在有需要的时候未必不能自己写一个Mini Hadoop~: ) 开始本文转载自:http://www.cnblogs.com/shipengzhi/articles/2487429.html Map/Reduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google…

Hadoop系列教程<一>---Hadoop是什么呢？

Hadoop适合应用于大数据存储和大数据分析的应用,适合于服务器几千台到几万台的集群运行,支持PB级的存储容量.Hadoop典型应用有:搜索.日志处理.推荐系统.数据分析.视频图像分析.数据保存等.但是Hadoop的使用范围远小于SQL或Python之类的脚本语言,所以不要盲目使用Hadoop.不过作为一名钻研Java的物联网工程师,我觉得值得去学习了解,而且想和大数据打交道还没有那个没听过Hadoop的. Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理…

啃掉Hadoop系列笔记(04)-Hadoop运行模式之伪分布式模式

伪分布式模式等同于完全分布式,只是她只有一个节点. 一) HDFS上运行MapReduce 程序 (1)配置集群 (a)配置:hadoop-env.sh Linux系统中获取jdk的安装路径:…

啃掉Hadoop系列笔记(02)-Hadoop运行环境搭建

一.新增一个普通用户bigdata…

SpringBoot系列(十二)过滤器配置详解

SpringBoot(十二)过滤器详解往期精彩推荐 SpringBoot系列(一)idea新建Springboot项目 SpringBoot系列(二)入门知识 springBoot系列(三)配置文件详解 SpringBoot系列(四)web静态资源配置详解 SpringBoot系列(五)Mybatis整合完整详细版 SpringBoot系列(六)集成thymeleaf详解版 Springboot系列(七) 集成接口文档swagger,使用,测试 SpringBoot系列(八)分分钟学会Spri…

YARN分析系列之二 -- Hadoop YARN各个自模块说明

先做如下声明,本代码版本是基于 3.1.2 版本. 其实,我们自己在写代码的时候,会有意识地将比较大的功能项独立成包,独立成module, 独立成项目,项目之间的关系既容易阅读理解,又便于管理. 如下,是hadoop-yarn-project的module截图: Hadoop YARN 的大部分功能在 hadoop-yarn-project module 下,现将该module下各个module 的功能做一个大致的说明[顺序按上面截图自上而下]: hadoop-yarn-api:YARN的跨平台…