189 8069 5689

hadoop2.4.1伪分布模式部署-创新互联

hadoop2.4.1伪分布模式部署 - wrencai

创新互联专注于宁安企业网站建设,响应式网站建设,成都商城网站开发。宁安网站建设公司,为宁安等地区提供建站服务。全流程按需定制,专业设计,全程项目跟踪,创新互联专业和态度为您提供的服务

时间 2014-08-08 14:54:33  博客园-所有随笔区

原文  http://www.cnblogs.com/wrencai/p/3899375.html

hadoop2.4.1伪分布模式部署

( 承接上一篇hadoop2.4.1-src的编译安装继续配置 : http://www.cnblogs.com/wrencai/p/3897438.html )

感谢: http://blog.sina.com.cn/s/blog_5252f6ca0101kb3s.html

感谢: http://blog.csdn.net/coolwzjcool/article/details/32072157

1.配置hadoop环境变量

在/etc/profile文件结尾增加hadoop安装目录的PATH路径

export HADOOP_PREFIX=/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1

export PATH=$PATH:$HADOOP_PREFIX/bin

2.配置hadoop相关配置文件

进入到hadoop安装目录此处为:/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1

对etc/hadoop中的文件进行配置(相关文件hadoop-env.sh 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)

a.配制core-site.xml

  

  fs.default.name

  hdfs://localhost:9000

  

  

  dfs.namenode.name.dir

  file:/home/hadoop/hadoop-2.4.1/dfs/name

  

  

  dfs.datanode.data.dir

  file:/home/hadoop/hadoop-2.4.1/dfs/data

  

注意红色字体hadoop是我为配置hadoop2.4.1设立的账户名称,是系统在home目录下自动创建的,可以根据需要更改。

b.配制hdfs-site.xml

  

  dfs.replication

  

  1

  

  

  dfs.namenode.name.dir

  /home/hadoop/hadoop-2.4.0/dfs/name

  

  

  dfs.datanode.data.dir

  /home/hadoop/hadoop-2.4.0/dfs/data

  

 

c.配制mapred-site.xml

  

  mapreduce.jobtracker.address

  localhost:9001

  

 

d.配置yarn-site.xml

 

  

  mapreduce.framework.name

  yarn

  

  

  yarn.nodemanager.aux-services

  mapreduce_shuffle

  

 

3.ssh免密码登陆设置: 参考 http://lhflinux.blog.51cto.com/1961662/526122

ssh链接是需要密码认证的,可以通过添加系统认证(即公钥-私钥)的修改,修改后系统间切换可以避免密码输入和ssh认证。

a. 修改文件:vi /etc/ssh/sshd_config

RSAAuthentication yes     开启RSA加密方式

  PubkeyAuthentication yes    开启公钥认证

  AuthorizedKeysFile .ssh/authorized_keys    公钥存放位置

PasswordAuthentication no   拒绝使用密码登录

GSSAPIAuthentication no    防止登录慢,以及报错问题

ClientAliveInterval 300            300秒超时自动退出   ClientAliveCountMax 10          允许SSH远程连接的大数

  b.在root根目录下执行:

ssh-keygen -t rsa -P ''"

   回车,然后输入密码, 完成后再执行:(本机作为伪集群的一个节点,也需要将认证写入authorized,不执行下一句可能会出现agent admitted failure to sign using the  key   错误,参考 http://blog.chinaunix.net/uid-28228356-id-3510267.html ))

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

d.执行下面命令,能够直接进入则表示成功

[root@localhost]#ssh localhost

Last login:Fri Aug  8 13:44:42 2014 from localhost

4.运行测试hadoop

a.到hadoop2.4.0目录下执行下面命令,格式化结点信息,最后一句出现 "shutting down...",中间没有warn或者fatal error应该就对了。此处可能会出现 STARTUP_MSG: host  =  java.net. UnknownHostException: localhost.localdomain: localhost.localdomain的提示,可以参考 http://lxy2330.iteye.com/blog/1112806 进行修改,或者临时通过hostname localhost命令将本机主机名改为localhost.

./bin/hadoop namenode –format

   b.执行sbin/start-all.sh启动hadoop第一次可能不成功,这是可以通过先执行一次sbin/stop-all.sh然后在执行sbin/start-all.sh来完成,最后用jps命令查看进程

[root@localhost hadoop-2.4.1]# ./sbin/start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [localhost]

localhost: starting namenode, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-namenode-localhost.out

localhost: starting datanode, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-datanode-localhost.out

Starting secondary namenodes [0.0.0.0]

0.0.0.0: starting secondarynamenode, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-secondarynamenode-localhost.out

starting yarn daemons

starting resourcemanager, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/yarn-root-resourcemanager-localhost.out

localhost: starting nodemanager, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/yarn-root-nodemanager-localhost.out

[root@localhost hadoop-2.4.1]# ssh localhost

Last login: Fri Aug  8 13:44:41 2014 from localhost

[root@localhost ~]# jps

28186 ResourceManager

28025 SecondaryNameNode

27743 NameNode

28281 NodeManager

29223 Jps

[root@localhost ~]#

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


标题名称:hadoop2.4.1伪分布模式部署-创新互联
本文网址:http://jkwzsj.com/article/dhehic.html

其他资讯