假期小结3Hadoop学习

学习Hadoop是一个很好的选择，因为它是大数据处理和分析领域最流行的框架之一。Hadoop提供了可靠、可扩展的分布式数据处理能力，适用于处理大规模数据和构建可靠的数据管道。

在学习Hadoop时，以下是一些关键概念和组件值得注意：

1. Hadoop分布式文件系统（HDFS）：HDFS是Hadoop的存储层，它是一个分布式、容错的文件系统，设计用于在一组计算机集群上存储大规模数据集。

2. MapReduce：MapReduce是Hadoop的计算模型，用于对存储在HDFS上的数据进行并行处理。MapReduce将计算任务分成多个独立的阶段（Map和Reduce），并在集群上并行执行。

3. YARN：YARN是Hadoop的资源管理系统，负责集群中的资源分配和任务调度。YARN允许多种计算框架（如MapReduce、Spark等）在同一个Hadoop集群上运行。

4. Hive：Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言（Hive QL），允许用户通过类似SQL的语法进行数据查询和分析。

5. Pig：Pig是另一个基于Hadoop的数据分析平台，它使用一种称为Pig Latin的脚本语言来执行数据处理任务。

6. Spark：Spark是一个快速、通用的大数据处理框架。它提供了丰富的API，支持通过内存进行高速数据处理，并且可以与Hadoop生态系统无缝集成。

7. Hadoop生态系统中的其他组件：除了上述核心组件外，Hadoop生态系统还包括众多其他组件，如HBase（分布式列存储数据库）、Sqoop（用于Hadoop和关系数据库之间的数据传输）、Flume（用于数据采集和传输）等。

为了学习Hadoop，我安装和配置Hadoop集群，并进行一些基本的MapReduce任务。

以下是我学习到的一些hadoop的一些常用命令

1hadoop fs -mkdir  [-p]创建文件夹[自动创建父路径]　　创建文件夹

2hadoop fs -ls [-h] 客户端路径　　　　　　　　　　　　查看文件夹

3hadoop fs -put 本地路径 客户端路径 　　　　　　　　上传文件

4hadoop fs -cat 客户端路径　　　　　　　　　　　　　　查看文件内容

5hadoop fs -get 客户端路径 本地路径　　　　　　　　  下载文件

6hadoop fs -appendToFile 本地文件 本地文件... 客户端文件  追加文件内容末尾

7hadoop fs -mv 当前路径 目的路径　　　　　　　　　　修改文件路径