1.概述

  本课程的视频教程地址:《Hadoop 回顾

  好的,下面就开始本篇教程的内容分享,本篇教程我为大家介绍我们要做一个什么样的Hadoop项目,并且对Hadoop项目的基本特点和其中的难点做有针对性的剖析,完成项目环境的基本配置,以及项目工程和Hadoop插件的相关准备等工作。

  本课程主要包含以下课时,其内容如下图所示:

  本节为大家分享的是第一节——《Hadoop 回顾》,下面开始今天的分享内容。

2.内容

  从这节开始,我们将进入到Hadoop项目的实战学习,本节课程为大家介绍的主要知识点有一下内容,如下图所示:

  首先,我们来看看本节的Hadoop的业务知识点,业务场景如下:

  假设现在有以下场景,用户每天都会对某网站进行点击,这些点击都会记录到日志中,然后分析用户在网站的使用习惯。

  其内容包含如下内容,如下图所示:

  接着,是Hadoop的应用场景,其内容包含如下内容,如下图所示:

  通过阅读上图,下面我给大家解释以下这个图中所设计的含义:

  1.Hadoop的核心之一,就是它的离线计算模型MapReduce。

  • 在数据统计中,统计网站的PV、UV
  • 大规模Web信息搜索
  • 一些复杂的算法

  MapReduce都能非常友好的实现。

  2.海量数据的离线分析
  在MapReduce框架下,很难处理实时计算,作业都以日志分析这样的离线作业为主。

  3.静态数据源
  Hadoop要保证分析与计算的数据源是静态的,不能是实时的流水数据。这也是Hadoop自身设计特点决定了数据源必须是静态的。

  在了解了Hadoop的应用场景和业务场景之后,下面我们来看看用户行为分析平台的搭建需要注意哪些事项,注意事项包含以下内容,如下图所示:
 

  1.平台的高可用性  

  如图所示,这是一个高可用平台的简要说明图,在Hadoop2.x版本后,Hadoop提出了HA方案。HA方案的出现,解决了第一代的单点问题,在图中,我们可以看出,在Client请求服务时,若NameNode Active(NNA)节点宕机,整个集群依然是可用的,NameNode Standby(简称NNS)节点会立马切换自己的状态,由Standby切换为Active,并对外提供服务。保证集群的高可用性。

  注:下面是集群的启动演示,可以参考视频的启动步骤:《Hadoop 回顾
  2.在对NameNode Active节点和NameNode Standby节点配置时
  hdfs-site.xml和core-site.xml两个文件中HDFS的NameService要保持一致;
在配置HA的实现时,Hadoop官方提供了两种NameNode HA的实现方式,分别是QJM和NFS,同学们可自选一种实现。
  3.在配置YARN的相关配置文件
  yarn-site.xml文件,有一个属性需要特别注意,它就是yarn.resourcemanager.ha.id这个属性。假设,我们在NNA节点上配置的是value值是rm1,那么在NNS节点上我们得将value换成rm2。

  4.在集群启动时,需注意按照以下顺序
  第一步:由于我们选择的是QJM方案,需要使用到zookeeper,所以在各个DataNode节点上启动zookeeper服务
  第二步:在其中一台NameNode节点(这里我预选取的是NameNode Active节点)启动journalnode服务,该服务用于共享存储,同步节点信息。
  第三步:若是首次启动,需要在其中一台NameNode Active节点上格式HDFS
  第四步:接着我们同样一台NameNode Active节点格式化zkfc,它对应的类是DFSZKFailoverController
  第五步:在NameNode Active节点启动hdfs服务和yarn服务
  第六步:同步NameNode Active节点的元数据

3.结束语

  这就是本节的主要内容,主要就对Hadoop做一个回顾学习,对后续学习Hadoop项目实战做一个准备工作。

  如果本教程能帮助到您,希望您能点击进去观看一下,谢谢您的支持!

  转载请注明出处,谢谢合作!

   本课程的视频教程地址:《Hadoop 回顾

Hadoop项目实战-用户行为分析之应用概述(一)的更多相关文章

  1. Hadoop项目实战-用户行为分析之应用概述(三)

    1.概述 本课程的视频教程地址:<项目工程准备> 本节给大家分享的主题如下图所示: 下面我开始为大家分享今天的第三节的内容——<项目工程准备>,接下来开始分享今天的内容. 2. ...

  2. Hadoop项目实战-用户行为分析之分析与设计

    1.概述 本课程的视频教程地址:<用户行为分析之分析与设计> 下面开始本教程的学习,本教程以用户行为分析案例为基础,带着大家对项目的各个指标做详细的分析,对项目的整体设计做合理的规划,让大 ...

  3. Hadoop项目实战-用户行为分析之应用概述(二)

    1.概述 本课程的视频教程地址:<项目整体概述> 本节给大家分享的主题如下图所示: 下面我开始为大家分享第二节的内容——<项目整体概述>,下面开始今天的分享内容. 2.内容 从 ...

  4. Hadoop项目实战-用户行为分析之编码实践

    1.概述 本课程的视频教程地址:<用户行为分析之编码实践> 本课程以用户行为分析案例为基础,带着大家去完成对各个KPI的编码工作,以及应用调度工作,让大家通过本课程掌握Hadoop项目的编 ...

  5. Hadoop项目实战

    这个项目是流量经营项目,通过Hadoop的离线数据项目. 运营商通过HTTP日志,分析用户的上网行为数据,进行行为轨迹的增强. HTTP数据格式为: 流程: 系统架构: 技术选型: 这里只针对其中的一 ...

  6. Hadoop:实战Web日志分析

    示例场景 日志说明 有两台Web服务器,日志文件存放在/usr/local/nginx/logs/目录,日志默认为nginx定义格式.如: 123.13.17.13 - - [25/Aug/2016: ...

  7. hadoop实例-网站用户行为分析

    一.数据集 网站用户购物行为数据集2030万条,包括raw_user.csv(2000万条)和small_user.csv(30万条,适合新手) 字段说明: user_id 用户编号,item_id ...

  8. hadoop项目实战--ETL--(一)项目分析

    项目描述 一 项目简介 在远程服务器上的数据库中有两张表,user 和order,现需要对表中的数据做分析,将分析后的结果再存到mysql中.两张表的结构如下图所示 现需要分析每一天user和,ode ...

  9. hadoop项目实战--ETL--(二)实现自动向mysql中添加数据

    四 项目开发 1 创建数据库db_etl,新建两张表user 和oder.表结构如第一部分图所示. 2 编写python脚本,实现自动向mysql中插入数据. 新建python 项目,目录结构如下图 ...

随机推荐

  1. spring整合kafka(配置文件方式 生产者)

    Kafka官方文档有   https://docs.spring.io/spring-kafka/reference/htmlsingle/ 这里是配置文件实现的方式 先引入依赖 <depend ...

  2. 前后端跨域 _ cross domain

    1. 解决跨域既可以从前端, 也可以从后端. 参考好的网络资源: http://www.cnblogs.com/vajoy/p/4295825.html

  3. idea本地运行JavaWeb项目

    1.需安装的软件有: JDK,当前版本jdk1.8 maven,当前版本3.2.1 mysql,mysql5.7 tomcat,tomcat9 git客户端,TortoiseGit-2.1.0.0-6 ...

  4. nc 画界面,触发效果(第一种)

    package nc.ui.hzctr.sellctr.action; import java.awt.BorderLayout; import java.awt.Dimension; import ...

  5. Java-Selenium,获取下拉框中的每个选项的值,并随机选择某个选项

    今天逛51testing,看见有人问这个问题.现在以Select标签为例. 1.首先看页面中的下拉框,如图: 2.F12查看页面源代码,如下 <select class="form-c ...

  6. MySQL5.7 Group Replication (MGR)--Mysql的组复制之多主模式

    MGR——Mysql的组复制之多主模式 以下测试在VMware环境: 操作系统:Centos 6.9 X86_64 数据库:Mysql 5.7 (mysql  Ver 14.14 Distrib 5. ...

  7. 登录服务器失败 IP 统计和处理方法

    一.登录ssh失败次数统计 1)错误的打开方式 awk '/Failed password/ {print $(NF-3)}' secure |sort -n |uniq -c|sort -n |ta ...

  8. Vue入门---常用指令详解

    Vue入门 Vue是一个MVVM(Model / View / ViewModel)的前端框架,相对于Angular来说简单.易学上手快,近两年也也别流行,发展速度较快,已经超越Angular了.比较 ...

  9. Unity3D使用EasyMovieTexture插件播放视频

    Unity3D对于视频的播放兼容个人感觉很差劲,之前写过一篇使用Unity3D自己自带的一些功能去播放视频,链接如下: http://www.cnblogs.com/xiaoyulong/p/8627 ...

  10. PLSQL基础知识-图片

    什么是PL/SQL?