当前位置: 网站首页 >
Hadoop
- Hadoop高级课程：MapReduce作业配置与提交Hadoop高级课程：MapReduce作业配置与提交，在MapReduce中，每个作业由两部分组成：应用程序和作业配置。其中，作业配置内容包括环境配置和用户自定义配置两部分。[详细]
- Hadoop高级课程：配置文件介绍Hadoop高级课程：配置文件介绍，在Hadoop中，Common、HDFS和MapReduce各有对应的配置文件，用于保存对应模块中可配置的参数。这些配置文件均为XML格式且由两部分构成：系统默认配置文件和管理员自定义配置文件。[详细]
- Hadoop高级教程：MapReduce回调机制Hadoop高级教程：MapReduce回调机制，回调机制是一种常见的设计模式。它将工作流内的某个功能按照约定的接口暴露给外部使用者，为外部使用者提供数据，或要求外部使用者提供数据。[详细]
- Hadoop高级教程：MapReduce Reporter参数Hadoop高级教程：MapReduce Reporter参数，Reporter是MapReduce提供给应用程序的工具。如图所示，应用程序可使用Reporter中的方法报告完成进度(progress)、设定状态消息(setStatus)以及更新计数器(incrCounter)。[详细]
- Hadoop高级教程：MapReduce序列化Hadoop高级教程：MapReduce序列化，序列化是指将结构化对象转为字节流以便于通过网络进行传输或写入持久存储的过程。反序列化指的是将字节流转为结构化对象的过程。在Hadoop MapReduce中，序列化的主要作用有两...[详细]
- Hadoop高级教程：新旧MapReduce API比较Hadoop高级教程：新旧MapReduce API比较，从0.20.0版本开始，Hadoop同时提供了新旧两套MapReduce API。新API在旧API基础上进行了封装，使得其在扩展性和易用性方面更好。新旧版MapReduce API的主要区别如下。[详细]
- Hadoop高级教程：MapReduce编程接口体系结构Hadoop高级教程：MapReduce编程接口体系结构，MapReduce编程模型对外提供的编程接口体系结构如图3-1所示，整个编程模型位于应用程序层和MapReduce执行器之间，可以分为两层。[详细]
- Hadoop高级教程：MapReduce架构设计Hadoop高级教程：MapReduce架构设计，和HDFS一样，MapReduce也是采用Master/Slave的架构，其架构图如下：[详细]
- Hadoop高级教程：MapReduce作业的生命周期Hadoop高级教程：MapReduce作业的生命周期，本节主要讲解Hadoop MapReduce作业的生命周期，即作业从提交到运行结束经历的整个过程。本节只是概要性地介绍MapReduce作业的生命周期，可看作后续几章的内容导读。...[详细]
- Hadoop高级教程：HDFS架构Hadoop高级教程：HDFS架构，HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。[详细]
- Hadoop入门教程：YARN状态转换方式Hadoop入门教程：YARN状态转换方式，YARN状态机由一组状态组成，这些状态分为三类：初始状态、中间状态和最终状态。[详细]
