hadoop简介，hadoop的概念

Hadoo

Hadoo，一个由Aache基金会开发的分布式系统基础架构，旨在解决海量数据的存储和分析计算问题。它通过提供一个开放式的平台，使用户能够在不了解底层实现细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。

Hadoo基础

Hadoo是什么

1.分布式系统基础架构：Hadoo是一个由Aache基金会所开发的分布式系统基础架构，它允许用户在不了解分布式底层细节的情况下，开发分布式程序。

2.海量数据处理：主要解决海量数据的存储和分析计算问题，适合处理级的数据。

3.Hadoo生态圈：广义上来说，Hadoo通常指的是广泛的概念——Hadoo生态圈，它包括HadooCommon、Hive、Sark等多个组件。

-AacheHadoo：是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Ma/Reduce编程范型，将计算任务分割成小块（多次）运行在不同的节点上。分布式文件系统（HDFS）：Hadoo实现了一个分布式文件系统（HadooDistriutedFileSystem，简称HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。

HadooCommon

-文件系统操作：HadooCommon提供了文件系统操作的公用组件，方便其他模块进行文件操作。

序列化：支持数据的序列化和反序列化，以便在不同节点间传输数据。

网络通信：提供了网络通信的公用组件，确保数据能够在集群中高效传输。

数据仓库工具

-基于Hadoo的数据仓库工具：Hive提供SQL查询功能，将SQL语句转换为MaReduce任务执行。简化数据仓库操作：通过Hive，用户可以像操作关系数据库一样处理Hadoo上的数据。

另一种处理框架

-并行处理能力：Sark是一种快速的处理框架，具有强大的并行处理能力。多种数据处理方式：Sark不仅支持MaReduce编程范型，还支持SarkSQL、SarkStreaming等多种数据处理方式。

Hadoo工作流程

配置MaReduce任务

1.配置任务参数：配置MaReduce任务的相关参数，如任务的名称、Maer和Reducer的数量、输入和输出路径等。

2.提交任务：将任务提交给JoTracker进行处理。

3.检查结果：等待任务完成，然后检查结果。

Hadoo作为一种强大的分布式系统基础架构，为海量数据的处理提供了高效、可靠的解决方案。通过Hadoo，用户可以轻松地开发分布式程序，充分利用集群的威力，实现高速运算和存储。随着时代的到来，Hadoo将在各个领域发挥越来越重要的作用。