Hadoop_课堂笔记1

1.课程目标

实践性

2.课下需要

在家搭建一个伪分布式

3.大数据概念和意义

08年Nature第一次正式提出大数据概念

常规的数据库：结构化的数据库

TB级的结构化数据管理就很困难，需要分布式

当数据处理不完时一般两个方法：

1.改成多节点，分布式

2.对硬件的提升，比如一个cpu不行2个，服务器不行，再加服务器

大数据的4V

-价值高Value  价值密度低

-体量大Volume

-速度快Velocity

这边产生数据，那边就要出现分析，处理。  比如热搜，需要用实时框架，根据每天产生的速度得出来的。比如双11交易额，也用实时的。比如体育频道大数据的解说，足球的进球方式，足球的惯用脚这种。

-种类多Variety

来源广，维度多

在家直播平台很多，现在活下来的基本都和阿里和腾讯有关。做的即时通讯第一大厂，就是腾讯，所以腾讯会议比较稳定。同样一个直播，直播来源就很广（各种平台）。

维度多，是指比如直播时可以共享屏幕，可以全体点名。

大数据的技术支撑

硬件：CPU（单位计算力）和存储的价格在降低

软件：像mapreduce这种并行分布式计算的框架比较成熟。

大数据最前沿是数据科学（大数据+人工智能），通过数据来知道对未来的规律

大数据需要加人工智能的手段。比如通过通讯录，知道人际关系网等等

课堂练习

大数据平台不一定要部署到云计算平台，只是部署在云计算平台效用更高。因为大数据有时需要很多很多的服务器同时并行。

云计算商业化程度高。大数据刚开始都是在裸机上跑。

大数据部署在裸机上运行效率更高，自己在家里可以装双操作系统。

不是说部署在在云计算上更快，而是效用更高。比如算天气的数据，就直接买云计算的服务，让它直接跑数据，而不用自己买大量的机器，用较少的钱（相比自己买机器）租赁完云计算后再还回去。云计算厂商还可以租赁给其他人。

计算：

哈哈哈哈哈老师现在说，非计算机专业特别喜欢讲数据清洗

一般把数据清洗弄成数据质检，过一遍数据，剔除掉错误的数据

海量数据到产生价值，期间通过存储，清洗，挖掘，分析等

存储和清洗是数据的预处理环节

挖掘分析是在找规律

• 分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光
• HDFS为海量的数据提供了存储
• MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率

HDFS的强项是对海量数据进行管理

HDFS和MapReduce是Hadoop的两大支柱

其他技术：Spark，Storm，Implala，SCALA（相比MapReduce可以写更少的代码）

智能：机器拥有理解数据的能力

河南省第一个智能数据中心就在我们院

让装备具有智能化

阿尔法狗战胜李世石

医学图像，通过海量数据进行训练，看看骨头有没有问题。

人工智能的算法越来越成熟，所以很流行。

对抗神经网络：通过拍很多人的照片，可以生成一个新的人脸，这个人脸是之前没有出现过的