当前位置: 网站首页 >
Hadoop
- Hadoop入门教程：HDFS的DateNode介绍Hadoop入门教程：HDFS的DateNode介绍，DataNode就是负责存储数据的组件，一个数据块Block会在多个DataNode中进行冗余备份;而一个DataNode对于一个块最多只包含一个备份。[详细]
- Hadoop入门教程：HDFS的NameNode介绍Hadoop入门教程：HDFS的NameNode介绍，HDFS采用Master/Slave架构。NameNode就是HDFS的Master架构。HDFS系统包括一个NameNode组件，主要负责HDFS文件系统的管理工作，具体包括名称空间(namespace)管理，文件Bloc...[详细]
- Hadoop入门教程：基于Pipes实现作业提交Hadoop入门教程：基于Pipes实现作业提交，在提交Hadoop Pipes作业之前首先需要将编译好的Pipes可执行程序上传到HDFS上[详细]
- Hadoop入门教程：基于Streaming实现作业提交Hadoop入门教程：基于Streaming实现作业提交，通过执行2.4.2中Streaming方式的编译命令后，会得到可执行程序WordcountMap和WordcountReduce，分别为词频统计的Map和Reduce，然后就可以使用Hadoop Streaming命令...[详细]
- Hadoop入门教程：基于Java API实现作业提交Hadoop入门教程：基于Java API实现作业提交，在2.4.1中讲到Java接口的词频统计程序在编译时需要打包为wordcount.jar包文件，现在使用Hadoop的提交命令就可以将在本地编译并打包好的程序提交到Hadoop集群运行，...[详细]
- Hadoop入门教程：基于Pipes实现的编译Hadoop入门教程：基于Pipes实现的编译，在使用Pipes编写MapReduce程序时是需要依赖于Hadooppipes和Hadooputils静态库的，因此建议用户在使用Pipes接口时针对自己的运行环境重新编译这两个库，重新编译Pipes库很...[详细]
- Hadoop入门教程：基于Streaming实现的编译Hadoop入门教程：基于Streaming实现的编译，在Streaming接口实现的程序中，用户的Map和Reduce都是单独的可执行程序，在上节实现中是使用C++实现的，包括Map程序WordcountMap.cpp，Reduce程序WordcountReduce.cp...[详细]
- Hadoop入门教程：基于Java API实现的编译Hadoop入门教程：基于Java API实现的编译，如果用户使用Eclipse开发，则需要导入Hadoop-core-x.y.x.jar核心包，由于Eclipse会自动编译，则直接使用export功能导出词频统计的jar包即可;如果使用Linux中的vim开发...[详细]
- Hadoop入门教程：Pipes接口实现Hadoop入门教程：Pipes接口实现，Hadoop管道与流不同，流使用标准输入和输出让用户的Map和Reduce节点之间相互交流。[详细]
- Hadoop入门教程：Streaming接口实现Hadoop入门教程：Streaming接口实现，Streaming接口就是使用UNIX标准流作为Hadoop和程序之间的接口，可以使用任何语言，仅需要编写的MapReduce程序能够读取标准输入并写入标准输出，Hadoop Streaming可以帮助用...[详细]
- Hadoop入门教程：Java API实现Hadoop入门教程：Java API实现，对Java程序员来讲，直接调用Hadoop的Java API来实现是最为方便的，要使用Java API至少需要实现三个重要组件：Map类、Reduce类、驱动Driver。下面将具体实现Java API的词频统计程...[详细]
