下面列出我搭建hadoop应用环境的文章整理在一起,不定期更新,供大家参考,互相学习!!!

杂谈篇:

【英语学习】Re-pick up English for learning big data (not updated regularly)

【转】大数据工程师需要学习哪些?

【转】大数据东西辣么多,我该如何给自己一个清晰的定位呢?

【转】大数据求职者说

【杂谈】大数据主流技术简介

第一篇  大数据主流技术之HADOOP部分

1.1 hadoop3.2.0的安装并测试

1.2 编译Hadoop连接eclipse的插件遇见的一系列错误,崩溃的操作

1.3 在eclipse上运行WordCount的操作过程

1.4 看懂WordCount例子

1.5 MapReduce分布式计算框架原理

1.6 简易剖析Hadoop作业工作机制

第二篇  大数据主流技术之HIVE与HBASE部分

2.1centos7下mysql的安装以及基本操作

2.2centos7下apache-hive-3.1.2-bin的安装测试

2.3apache-zookeeper-3.5.5的安装测试

2.4hbase-2.2.1配置独立的zookeeper的安装与测试

2.5 hbase理论学习

第三篇  大数据主流技术之SQOOP与ZOOKEEPER部分

3.1安装配置测试sqoop1

3.2安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

第四篇  内存计算主流技术之SPARK与SCALA部分

4.1 scala安装测试

4.2 spark-2.4.4的安装与测试

4.3 scala&sbt+idea安装配置与测试

4.4 scala&sbt+idea+spark使用过程中问题汇总(不定期更新)

4.5 spark应用(分布式估算圆周率+基于Spark MLlib的贷款风险预测)

脚本:

0.1linux中编写脚本批量启动zookeeper

0.2一键启动kafka脚本

命令 :

Hadoop:
启动:sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
停止:stop-all.sh
启功历史服务器:sbin/mr-jobhistory-daemon.sh start jobhistoryserver
注:因Hadoop和Spark启动命令一样,故在设置环境变量时只设置其中一个
MySQL:
启动:service mysqld start
停止:service mysqld stop
状态:service mysqld status
Spark:
启动:sbin/start-all.sh
停止:stop-all.sh
idea:
启动:bin/idea.s

 文件分享:

链接:https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
提取码:amdl

【hadoop】hadoop3.2.0应用环境搭建与使用指南的更多相关文章

  1. Windows10系统下Hadoop和Hive开发环境搭建填坑指南

    前提 笔者目前需要搭建数据平台,发现了Windows系统下,Hadoop和Hive等组件的安装和运行存在大量的坑,而本着有坑必填的目标,笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了 ...

  2. hadoop3.1.0 window win7 基础环境搭建

    https://blog.csdn.net/wsh596823919/article/details/80774805 hadoop3.1.0 window win7 基础环境搭建 前言:在windo ...

  3. 【hadoop】hadoop3.2.0的安装并测试

    前言:前段时间将hadoop01的虚拟机弄的崩溃掉了,也没有备份,重新从hadoop02虚拟上克隆过来的,结果hadoop-eclipse插件一样的编译,居然用不起了,找了3天的原因,最后还是没有解决 ...

  4. Hadoop学习之基础环境搭建

    期望目的 基于VMware workstation 10.0 + CentOS 7 + hadoop 3.2.0,在虚拟机上搭建一套Hadoop集群环境,总共包含4个节点,其中1个master节点.3 ...

  5. Hadoop3.2.0集群(4节点-无HA)

    1.准备环境 1.1配置dns # cat /etc/hosts 172.27.133.60 hadoop-01 172.27.133.61 hadoop-02 172.27.133.62 hadoo ...

  6. hadoop搭建伪分布式集群(centos7+hadoop-3.1.0/2.7.7)

    目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SE ...

  7. Hadoop 3.0完全分布式集群搭建方法(CentOS 7+Hadoop 3.2.0)

    本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法,Linux系统版本是CentOS 7,Hadoop版本是3.2.0,JDK版本是1.8. 一.准备环境 1. 在VMware worksta ...

  8. CentOS7搭建Hadoop-3.3.0集群手记

    前提 这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记. 基本概念 Hadoop中的HDFS和YARN都是主从架构,主从架构会有一主多从和多主多从两种架构,这 ...

  9. 基于Hadoop 2.2.0的高可用性集群搭建步骤(64位)

    内容概要: CentSO_64bit集群搭建, hadoop2.2(64位)编译,安装,配置以及测试步骤 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本. 注1:官网只提供32位re ...

随机推荐

  1. postgre查询一段时间内的数据

    select * from zaiko where createtime between (now() - interval '3 Days') and now() ; select * from z ...

  2. Java8相关底层

    Java8是往并行方向走的.由面向对象到函数式编程. 在支持函数式编程的同时还可以支持面向对象的开发. 在JDK1.8里面,接口里面可以有实现方法的!默认方法,default.实现这个接口. 接口里面 ...

  3. SQL Server常用方法

    目录 CharIndex:确定某个字符的位置 Substring:截取 stuff: 根据位置替换字符串 replace:替换字符串 CharIndex:确定某个字符的位置 两个参数,前面是关键字,后 ...

  4. photoshop7.0 排版一寸照片、2寸照片

    说明:必须先照一张一寸电子照片,否则是无法做成 1.本例同样采用photoshop CS5制作,其它版本通用,这里采用上一教程“PS照片处理教程-制作一寸照片并排版”的处理效果图进行排版,首先在PS中 ...

  5. Mac下进入MySQL命令行

    /usr/local/MySQL/bin/mysql -u root -p 其中,root为数据库用户名

  6. Win732位DotNetCore部署IIS错误记录

    部署环境为:Win7专业版32位,数据库Mysql5.7.27-win32 1.先启用IIS功能 2.安装Mysql5.7.27-win32,使用解压版安装 安装步骤: mysql的解压根目录下新建m ...

  7. 【python库】tqdm介绍及常用方法

    前言 Tqdm 是一个快速,可扩展的Python进度条,可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意的迭代器 tqdm(iterator).具体使用可以查看官网. 操作 fr ...

  8. Centos7中rc.local设置springboot项目开机自启动

    在Centos7下,rc.local文件,开机默认是不执行的 1.进入rc.local中 路径如下图

  9. [xsy3132]数表

    题意:一个$n\times m$的数表,数值$\in[0,4)$,你可以任意次选择一行或一列$+1,\text{mod }4$,要最小化所有数的和 因为$n\leq10$,所以数表可以看成$m$个$n ...

  10. 使用Docker Compose搭建Service Mesh

    使用Docker Compose搭建Service Mesh 本文将介绍如何使用Docker Compose搭建Istio.Istio号称支持多种平台(不仅仅Kubernetes).然而,官网上非基于 ...