【hadoop】hadoop3.2.0应用环境搭建与使用指南

下面列出我搭建hadoop应用环境的文章整理在一起，不定期更新，供大家参考，互相学习！！！

杂谈篇：

【英语学习】Re-pick up English for learning big data (not updated regularly)

【转】大数据工程师需要学习哪些?

【转】大数据东西辣么多，我该如何给自己一个清晰的定位呢？

【转】大数据求职者说

【杂谈】大数据主流技术简介

第一篇  大数据主流技术之HADOOP部分

1.1 hadoop3.2.0的安装并测试

1.2 编译Hadoop连接eclipse的插件遇见的一系列错误，崩溃的操作

1.3 在eclipse上运行WordCount的操作过程

1.4 看懂WordCount例子

1.5 MapReduce分布式计算框架原理

1.6 简易剖析Hadoop作业工作机制

第二篇  大数据主流技术之HIVE与HBASE部分

2.1centos7下mysql的安装以及基本操作

2.2centos7下apache-hive-3.1.2-bin的安装测试

2.3apache-zookeeper-3.5.5的安装测试

2.4hbase-2.2.1配置独立的zookeeper的安装与测试

2.5 hbase理论学习

第三篇  大数据主流技术之SQOOP与ZOOKEEPER部分

3.1安装配置测试sqoop1

3.2安装部署kafka集群（kafka版本：kafka_2.12-2.3.0）

第四篇  内存计算主流技术之SPARK与SCALA部分

4.1 scala安装测试

4.2 spark-2.4.4的安装与测试

4.3 scala&sbt+idea安装配置与测试

4.4 scala&sbt+idea+spark使用过程中问题汇总（不定期更新）

4.5 spark应用（分布式估算圆周率+基于Spark MLlib的贷款风险预测）

脚本：

0.1linux中编写脚本批量启动zookeeper

0.2一键启动kafka脚本

命令 ：

Hadoop:
启动：sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
停止：stop-all.sh
启功历史服务器：sbin/mr-jobhistory-daemon.sh start jobhistoryserver
注：因Hadoop和Spark启动命令一样，故在设置环境变量时只设置其中一个
MySQL：
启动：service mysqld start
停止：service mysqld stop
状态：service mysqld status
Spark：
启动：sbin/start-all.sh
停止：stop-all.sh
idea：
启动：bin/idea.s

 文件分享：

链接：https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
提取码：amdl