下面列出我搭建hadoop应用环境的文章整理在一起,不定期更新,供大家参考,互相学习!!!

杂谈篇:

【英语学习】Re-pick up English for learning big data (not updated regularly)

【转】大数据工程师需要学习哪些?

【转】大数据东西辣么多,我该如何给自己一个清晰的定位呢?

【转】大数据求职者说

【杂谈】大数据主流技术简介

第一篇  大数据主流技术之HADOOP部分

1.1 hadoop3.2.0的安装并测试

1.2 编译Hadoop连接eclipse的插件遇见的一系列错误,崩溃的操作

1.3 在eclipse上运行WordCount的操作过程

1.4 看懂WordCount例子

1.5 MapReduce分布式计算框架原理

1.6 简易剖析Hadoop作业工作机制

第二篇  大数据主流技术之HIVE与HBASE部分

2.1centos7下mysql的安装以及基本操作

2.2centos7下apache-hive-3.1.2-bin的安装测试

2.3apache-zookeeper-3.5.5的安装测试

2.4hbase-2.2.1配置独立的zookeeper的安装与测试

2.5 hbase理论学习

第三篇  大数据主流技术之SQOOP与ZOOKEEPER部分

3.1安装配置测试sqoop1

3.2安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

第四篇  内存计算主流技术之SPARK与SCALA部分

4.1 scala安装测试

4.2 spark-2.4.4的安装与测试

4.3 scala&sbt+idea安装配置与测试

4.4 scala&sbt+idea+spark使用过程中问题汇总(不定期更新)

4.5 spark应用(分布式估算圆周率+基于Spark MLlib的贷款风险预测)

脚本:

0.1linux中编写脚本批量启动zookeeper

0.2一键启动kafka脚本

命令 :

Hadoop:
启动:sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
停止:stop-all.sh
启功历史服务器:sbin/mr-jobhistory-daemon.sh start jobhistoryserver
注:因Hadoop和Spark启动命令一样,故在设置环境变量时只设置其中一个
MySQL:
启动:service mysqld start
停止:service mysqld stop
状态:service mysqld status
Spark:
启动:sbin/start-all.sh
停止:stop-all.sh
idea:
启动:bin/idea.s

 文件分享:

链接:https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
提取码:amdl

【hadoop】hadoop3.2.0应用环境搭建与使用指南的更多相关文章

  1. Windows10系统下Hadoop和Hive开发环境搭建填坑指南

    前提 笔者目前需要搭建数据平台,发现了Windows系统下,Hadoop和Hive等组件的安装和运行存在大量的坑,而本着有坑必填的目标,笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了 ...

  2. hadoop3.1.0 window win7 基础环境搭建

    https://blog.csdn.net/wsh596823919/article/details/80774805 hadoop3.1.0 window win7 基础环境搭建 前言:在windo ...

  3. 【hadoop】hadoop3.2.0的安装并测试

    前言:前段时间将hadoop01的虚拟机弄的崩溃掉了,也没有备份,重新从hadoop02虚拟上克隆过来的,结果hadoop-eclipse插件一样的编译,居然用不起了,找了3天的原因,最后还是没有解决 ...

  4. Hadoop学习之基础环境搭建

    期望目的 基于VMware workstation 10.0 + CentOS 7 + hadoop 3.2.0,在虚拟机上搭建一套Hadoop集群环境,总共包含4个节点,其中1个master节点.3 ...

  5. Hadoop3.2.0集群(4节点-无HA)

    1.准备环境 1.1配置dns # cat /etc/hosts 172.27.133.60 hadoop-01 172.27.133.61 hadoop-02 172.27.133.62 hadoo ...

  6. hadoop搭建伪分布式集群(centos7+hadoop-3.1.0/2.7.7)

    目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SE ...

  7. Hadoop 3.0完全分布式集群搭建方法(CentOS 7+Hadoop 3.2.0)

    本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法,Linux系统版本是CentOS 7,Hadoop版本是3.2.0,JDK版本是1.8. 一.准备环境 1. 在VMware worksta ...

  8. CentOS7搭建Hadoop-3.3.0集群手记

    前提 这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记. 基本概念 Hadoop中的HDFS和YARN都是主从架构,主从架构会有一主多从和多主多从两种架构,这 ...

  9. 基于Hadoop 2.2.0的高可用性集群搭建步骤(64位)

    内容概要: CentSO_64bit集群搭建, hadoop2.2(64位)编译,安装,配置以及测试步骤 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本. 注1:官网只提供32位re ...

随机推荐

  1. redis创建集群至少需要几个节点?至少需要几个master节点?

    描述: 这也算个思考吧,通过redis-trib.rb可创建redis集群,然后通过--replicas后面接的数字,表示1个主节点对应几个从节点,那么我就做了如下的测试,想要达到的效果就是有6个节点 ...

  2. 【GMT43智能液晶模块】例程十八:LAN_HTTP实验——网页服务器

    源代码下载链接: 链接:https://pan.baidu.com/s/1sr4a7TBPyvs18jTfCfVj8Q 提取码:jwfv 复制这段内容后打开百度网盘手机App,操作更方便哦 GMT43 ...

  3. (原)x264代码中的码流控制学习

    (本文主要是自己的学习笔记,如果有误,请留言,一起讨论和更正.)这里采用x264的代码进行走读的方式,来学习qp在码流控制中过程. 在ABR模式下,当我们设置一个bitrate的平均码率以后,x264 ...

  4. DLL注入实践

    Windows系统大量使用dll作为组件复用,应用程序也会通过dll实现功能模块的拆分.DLL注入技术是向一个正在运行的进程插入自有DLL的过程. Window下的代码注入 常见的Windows代码注 ...

  5. JAVAFX 项目 SpringBoot 最简单的集成

    1,JAVA 版本 JDK 1.8 2,首先我们创建一个 springboot 的空项目,只添加以下的依赖 <dependency> <groupId>org.springfr ...

  6. Centos7环境下部署搭建discuz论坛

    1.首先搭建lnmp环境 2.从官网复制git地址(https://gitee.com/ComsenzDiscuz/DiscuzX),在服务器上安装git命令 yum install git -y  ...

  7. Spring Boot 的Logback

    Spring Boot 默认使用Logback记录日志 Spring Boot starter 都会默认引入spring-boot-starter-logging,不需要再引入 日志级别从高到低:TR ...

  8. Linux学习、Mongodb部署 踩到的坑学习

    一.安装Centos 7虚拟机系统 1.系统安装 下载阿里云的镜像,下载后安装,默认全程图形界面:虚拟机使用Win10自带的Hyper:碰到的坑记录下 1.在Hyper加载镜像启动的时候,提示“虚拟机 ...

  9. [原创]K8Cscan for Python 2.0

    0x000 简介 K8Cscan扫描器Python版支持Windows和Linux系统 详情参考:https://www.cnblogs.com/k8gege/p/10519321.html 0x00 ...

  10. Excel在数据表中悬停鼠标显示数据值

    打开一个实例文档,鼠标移动到数据表中,在柱状图上中悬停鼠标,可以看到没有显示数据的值. 鼠标单击左上角的<文件>按钮. 然后单击<选项>按钮. 在弹出的excel选项对话框中单 ...