专业只做数据库实训和认证的品牌机构

微信公众号新浪微博
免费咨询电话:400-0909-964
当前位置: 网站首页 > Hadoop > Hadoop课程 > Hadoop基础教程:Hadoop的安装配置

Hadoop基础教程:Hadoop的安装配置

文章来源: 更新时间:2016/7/12 16:55:20

在线老师点击咨询:

最新学讯:近期OCP认证正在报名中,因考试人员较多请尽快报名获取最近考试时间,报名费用请联系在线老师,甲骨文官方认证,报名从速!

我要咨询

Hadoop共有三种部署方式:本地模式,伪分布模式及集群模式;本次安装配置以伪分布模式为主,即在一台服务器上运行Hadoop(如果是分布式模式,则首先要配置Master主节点,其次配置Slave从节点)。以下说明如无特殊说明,默认使用root用户登录主节点,进行以下的一系列配置。

安装配置前请先准备好以下软件:

vmware workstation 8.0或以上版本

redhat server 6.x版本或centos 6.x版本

jdk-6u24-linux-xxx.bin

Hadoop-1.1.2.tar.gz

设置静态IP地址

命令模式下可以执行setup命令进入设置界面配置静态IP地址;x-window界面下可以右击网络图标配置;

配置完成后执行service network restart重新启动网络服务;

验证:执行命令ifconfig

修改主机名

<1>修改当前会话中的主机名(这里我的主机名设为Hadoop-master),执行命令hostname Hadoop-master

<2>修改配置文件中的主机名,执行命令vi /etc/sysconfig/network

验证:重启系统reboot

DNS绑定

执行命令vi /etc/hosts,增加一行内容,如下(这里我的Master节点IP设置的为192.168.80.100):

192.168.80.100 Hadoop-master

保存后退出

验证:ping Hadoop-master

关闭防火墙及其自动运行

<1>执行关闭防火墙命令:service iptables stop

验证:service iptables stauts

<2>执行关闭防火墙自动运行命令:chkconfig iptables off

验证:chkconfig --list | grep iptables

SSH(Secure Shell)的免密码登录

<1>执行产生密钥命令:ssh-keygen –t rsa,位于用户目录下的.ssh文件中(.ssh为隐藏文件,可以通过ls –a查看)

<2>执行产生命令:cp id_rsa.pub authorized_keys

验证:ssh localhost

复制JDK和Hadoop-1.1.2.tar.gz至Linux中

<1>使用WinScp或CuteFTP等工具将jdk和Hadoop.tar.gz复制到Linux中(假设复制到了Downloads文件夹中);

<2>执行命令:rm –rf /usr/local/* 删除该文件夹下所有文件

<3>执行命令:cp /root/Downloads/* /usr/local/ 将其复制到/usr/local/文件夹中

安装JDK

<1>在/usr/local下解压jdk安装文件:./jdk-6u24-linux-i586.bin(如果报权限不足的提示,请先为当前用户对此jdk增加执行权限:chmod u+x jdk-6u24-linux-i586.bin)

<2>重命名解压后的jdk文件夹:mv jdk1.6.0_24 jdk(此步凑非必要,只是建议)

<3>配置Linux环境变量:vi /etc/profile,在其中增加几行:

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

<4>生效环境变量配置:source /etc/profile

验证:Java –version

安装Hadoop

<1>在/usr/local下解压Hadoop安装文件:tar –zvxf Hadoop-1.1.2.tar.gz

<2>解压后重命名Hadoop-1.1.2文件夹:mv Hadoop-1.1.2 Hadoop(此步凑非必要,只是建议)

<3>配置Hadoop相关环境变量:vi /etc/profile,在其中增加一行:

export HADOOP_HOME=/usr/local/hadoop

然后修改一行:

export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH

<4>生效环境变量:source /etc/profile

<5>修改Hadoop的配置文件,它们位于$HADOOP_HOME/conf目录下。

分别修改四个配置文件:Hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml;

具体下修改内容如下:(由于修改内容较多,建议使用WinScp进入相关目录下进行编辑和保存,可以节省较多时间和精力)

5.1【Hadoop-env.sh】 修改第九行:

export JAVA_HOME=/usr/local/jdk/

如果虚拟机内存低于1G,还需要修改HADOOP_HEAPSIZE(默认为1000)的值:

export HADOOP_HEAPSIZE=100

5.2【core-site.xml】 在configuration中增加以下内容(其中的Hadoop-master为你配置的主机名):

fs.default.name

hdfs://hadoop-master:9000

change your own hostname

Hadoop.tmp.dir

/usr/local/hadoop/tmp

5.3 【hdfs-site.xml】 在configuration中增加以下内容:

dfs.replication

1

dfs.permissions

false

5.4 【mapred-site.xml】 在configuration中增加以下内容(其中的Hadoop-master为你配置的主机名):

mapred.job.tracker

Hadoop-master:9001

change your own hostname

<6>执行命令对Hadoop进行初始格式化:Hadoop namenode –format

【Hadoop@master bin】$ Hadoop namenode -format

<7>执行命令启动Hadoop:start-all.sh(一次性启动所有进程)

第二种方式:通过执行如下方式命令单独启动HDFS和MapReduce:start-dfs.sh和start-mapred.sh启动,stop-dfs.sh和stop-mapred.sh关闭;

第三种方式:通过执行如下方式命令分别启动各个进程:

Hadoop-daemon.sh start namenode

Hadoop-daemon.sh start datanode

Hadoop-daemon.sh start secondarynamenode

Hadoop-daemon.sh start jobtracker

Hadoop-daemon.sh start tasktracker

这种方式的执行命令是Hadoop-daemon.sh start [进程名称],这种启动方式适合于单独增加、删除节点的情况,在安装集群环境的时候会看到。

验证:

① 执行jps命令查看Java进程信息,如果是start-all.sh则一共显示5个Java进程。

②在浏览器中浏览Hadoop,输入URL:Hadoop-master:50070和Hadoop-master:50030。如果想在宿主机Windows中浏览,可以直接通过ip地址加端口号访问,也可以配置C盘中System32/drivers/etc/中的hosts文件,增加DNS主机名映射,例如:192.168.80.100 Hadoop-master。

访问效果如下图:

namenode

jobtracker

<8>NameNode进程没有启动成功?可以从以下几个方面检查:

没有对NameNode进行格式化操作:Hadoop namenode –format(PS:多次格式化也会出错,保险操作是先删除/usr/local/hadoop/tmp文件夹再重新格式化)

Hadoop配置文件只复制没修改: 修改四个配置文件需要改的参数

DNS没有设置IP和hostname的绑定:vi /etc/hosts

SSH的免密码登录没有配置成功:重新生成rsa密钥

<9>Hadoop启动过程中出现以下警告?

【root@Hadoop local】# start-all.sh

可以通过以下步凑去除该警告信息:

①首先执行命令查看shell脚本:vi start-all.sh(在bin目录下执行),可以看到如下图所示的脚本

虽然我们看不懂shell脚本的语法,但是可以猜到可能和文件Hadoop-config.sh有关,我们再看一下这个文件的源码。执行命令:vi Hadoop-config.sh(在bin目录下执行),由于该文件特大,我们只截取最后一部分,见下图。

从图中的红色框框中可以看到,脚本判断环境变量HADOOP_HOME和HADOOP_HOME_WARN_SUPPRESS的值,如果前者为空,后者不为空,则显示警告信息“Warning??”。

我们在前面的安装过程中已经配置了HADOOP_HOME这个环境变量,因此,只需要给HADOOP_HOME_WARN_SUPPRESS配置一个值就可以了。所以,执行命令:vi /etc/profile,增加一行内容(值随便设置一个即可,这里设为0):

export HADOOP_HOME_WARN_SUPPRESS=0

保存退出后执行重新生效命令:source /etc/profile,生效后重新启动Hadoop进程则不会提示警告信息了。

至此,一个Hadoop的Master节点的安装配置结束,接下来我们要进行从节点的配置。

本文地址:http://www.cuug.com.cn/hadoop/kecheng/12456340898.html 转载请注明!


在线预约 抢先报名 获取课程排期

Oracle培训机构

金牌讲师<>

冉乃纲-老师CUUG金牌讲师
冉老师 CUUG金牌讲师 Oracle及RedHat高级讲师、Unix/Linux 资深专家...[详细了解老师]

免费咨询上课流程 客服在线中

陈卫星-老师CUUG金牌讲师
陈老师 CUUG金牌讲师 精通Oracle管理、备份恢复、性能优化 11年Ora...[详细了解老师]

免费咨询上课流程 客服在线中

选学校如何选择适合自己的学校

CUUG -CHINA UNIX USER GROUP,是国际UNIX组织UNIFORUM的中国代表,是国内悠久的专业UNIX培训机构,被誉为中国UNIX 的摇篮。多年来,以提高教学质量为本,强调素质教育,积极引进、消化国外的新技术,有效的结合中国....[详情]

一站式服务(从入学到就业一帮到底)

入学

学习

就业

实操

食宿
地址:北京市海淀区田村山南路35号院17号楼
课程咨询:010-59426307 010-59426319 400-0909-964
企业服务:137 1818 8639(陈经理)
部分信息来源于网络,如有错误请联系指正!
版权所有@北京神脑资讯技术有限公司 (CUUG,中国UNIX用户协会) Copyright 2016 ALL Rights Reserved 京ICP备11008061号-1