Hadoop3.2.0集群搭建常见注意事项_服务器其它

这篇文章主要介绍了Hadoop3.2.0集群搭建常见注意事项,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

一 端口变化

3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问

二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation

hadoop-env.sh中不光需要配置java-home,还需要声明下面这些用户变量,不然无法启动:

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath属性

<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>

四 salave文件编程workers文件了,内容配置是一样的

五 启动成功不报错,但最蛋疼的Live Nodes为0问题

图片[1]-Hadoop3.2.0集群搭建常见注意事项_服务器其它-安全小天地

解决步骤:

一 先查看datanode 日志:

图片[2]-Hadoop3.2.0集群搭建常见注意事项_服务器其它-安全小天地

如果出现这个说明连接配置有问题,查看core-site.xml配置,这个是配置datanode和namnode通信的:

一看

图片[3]-Hadoop3.2.0集群搭建常见注意事项_服务器其它-安全小天地

这里配置的连接地址有问题

hdfs应该配置成namnode的地址,不能配置成datanode的地址,所有节点都一样,这个地址,配置完成重启成功

网上还有说/etc/hots解析不成功的,这个也是一个原因,配置好域名映射就可以了,重要的是先看日志分析是什么问题

最后成功页面

图片[4]-Hadoop3.2.0集群搭建常见注意事项_服务器其它-安全小天地

图片[5]-Hadoop3.2.0集群搭建常见注意事项_服务器其它-安全小天地

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持安全小天地。

------本文已结束,感谢您的阅读------
THE END
喜欢就支持一下吧
点赞10 分享
评论 抢沙发
头像
善语结善缘,恶语伤人心
提交
头像

昵称

取消
昵称常用语 夸夸
夸夸
还有吗!没看够!
表情图片

    暂无评论内容