【大数据-课程】高途-天翼云侯圣文-Day1：互联网大数据揭秘（大数据介绍&MR实现双十一举牌）

一、大厂职级

P7：年薪百万

二、大数据发展

1、职业路线和岗位角色

2、大数据行业发展

三、大数据的位置

1、热门行业

大数据承上启下

2、三者关系

啤酒和尿不湿：启发可以放在一块

3、大数据作用

杀熟：卖东西卖的贵

反杀熟：卸载自己软件，安装其他软件，推送

四、大数据理解

1、数据时代

IT-DT

2、大数据特征

ZB，世界所有体量，大概44ZB

真实性：数据ETL清洗

3、表现形式

半结构化

非结构化

4、处理方式

处理

流处理

精准计算-Exactly-once

5、处理平台

廉价服务器提升海量计算能力

普通数据库，只能达到TB

多快好省，才是大数据

五、大数据深入理解

1、深入理解

表示一种能力

2、阿里发展

3、T腾讯大数据演进

六、技术侧理解

1、大数据前世今生

java实现Hadoop的论文

2、Hadoop组成

存和算

（1）存

元数据管理进行存

取：类似新华字典找目录，就对应其元数据

namenode有多个：standby、联邦学习

（2）算

map

shuffle

reduce

并行计算

（3）案例：集团网页文件个事访问延迟分析

（3）数据流转-生产架构

分久必合，合久必分

3、大数据的组件

存：hudi，数据湖，湖仓一体

七、大数据应用案例-使用MapReduce实现手动举数

1、记住

联系老师要实战三件套：源码、手册、视频

2、双十一大屏

3、使用-Python实现

今天：Python

明天：hive sql

后天：Scala实现flink

（1）生成模拟数据

50个买家买3个商品

（2）map构建

K-V构建

（3）reduce实现

（4）执行程序

4、学习方法

道法术