最美不过初相见好程序员教你Hadoop的正确打开方式1.docx

最美不过初相见好程序员教你Hadoop的正确打开方式1.docx

《最美不过初相见好程序员教你Hadoop的正确打开方式1.docx》由会员分享，可在线阅读，更多相关《最美不过初相见好程序员教你Hadoop的正确打开方式1.docx（2页珍藏版）》请在冰点文库上搜索。

最美不过初相见好程序员教你Hadoop的正确打开方式1

最美不过初相见好程序员教你Hadoop的正确打开方式1

最美不过初相见好程序员教你Hadoop的正确打开方式？

最美不过初相见，我和大数据Hadoop的开始始于好程序员。

经历了上一阶段的学习，对Java的了解逐渐加深，潜移默化中树立了足够大的自信，并投入到Hadoop的学习。

从前辈那里得知这一部分知识是整个大数据培训中的重中之重，因此，更是不敢有一点怠慢。

Hadoop的初识便带着十分的专注。

近期的知识点总结，已足以验证我的努力与付出，以下是我的部分总结，愿和大家一同分享。

方式一、 Hadoop 是什么？

 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构， 主要解决，海量数据的存储和海量数据的分析计算问题。

 广义上来说，HADOOP 一般是指一个更广泛的概念——HADOOP 生态圈。

方式二、Hadoop 的优势

1 .高可靠性：

 Hadoop 假设计算元素和存储会出现故障，它维护多个工作数据副本，在出现故障时能够对失败的节点重新分布处理。

2.高扩展性：

在集群间分配任务数据，可方便的扩展数以千计的节点。

3.高效性：

在 MapReduce 的思想下，Hadoop 是并行工作的，以加快任务处理速度。

4.高容错性：

自动保存多份副本数据，而且能够自动将失败的任务重新分配。

方式三、 Hadoop的 组成

1.HadoopHDFS：

一个高可靠、高吞吐量的分布式文件系统。

2.HadoopMapReduce：

一个分布式的离线并行计算框架。

3.HadoopYARN：

作业调度与集群资源管理的框架。

4.HadoopCommon：

支持其它模块的工具模块（Configuration、RPC、序列化机制、日志操作）。

方式四、YARN 架构概述

1. ResourceManager（rm）：

处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度；

2. NodeManager（nm）：

单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令；