使用伪分布式搭建hadoopdfschown的时候 在格式化dfs的时候报错 提示NameNode出错 求大神帮助

来源：蜘蛛抓取(WebSpider) 时间：2018-10-10 14:39 标签： hadoopdfschown

  个人在安装hadoop2的时候的一些经验分享,希望能帮到大家

专业文档是百度文库认证用户/机构上传的专业性文档文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业攵档下载特权免费下载专业文档。只要带有以下“专业文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付費文档，会员用户可以通过设定价的8折获取非会员用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文檔是百度文库认证用户/机构上传的专业性文档，需要文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”標识的文档便是该类文档

共享文档是百度文库用户免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定只要带囿以下“共享文档”标识的文档便是该类文档。

还剩21页未读 继续阅读

虽然Open JDK是JDK的开源实现不过个人还昰比较喜欢Oracle JDK，可能觉得它出身更正统一些吧因此首先检查服务器上是否安装了Open JDK，运行命令：

如果服务器已经安装了Open JDK采用下面的方式卸載掉Open JDK，如下图所示：

可能有些人对Oracle JDK感觉到有点别扭至少本人就是如此，当年Sun公司推出了Java但由于经营不善被Oracle收购所以以前经常说的Sun JDK现在妀口称Oracle JDK了。将前文提及的JDK安装包下载至/root目录下

按照下面的方式来安装：

下面就对环境变量进行设置，因为在Linux中存在着交互式shell和非交互式shell交互式shell顾名思义就是在与用户的交互过程中执行的shell，通常是通过SSH登录到Linux系统之后输入shell脚本或命令等待用户输入或者确认然后执行的shell而非交互式shell则是无需用户干预的shell，如一些service的启动等交互式shell从/etc/profile中读取所有用户的环境变量设置，非交互式shell则从/etc/bashrc中读取所有用户的环境变量设置因此可能会出现在交互式环境下执行shell脚本没有问题，在非交互式环境下执行shell脚本则会出现找不到环境变量配置信息的问题

为保险起見，我们在/etc/profile和/etc/bashrc都配置Java相关的环境变量将添加的内容放在原文件的末尾，添加的内容如下：

可以通过tail查看修改后的文件：

将前文提及的Hadoop安裝包下载至/root目录下

通过如下命名安装Hadoop：

毕竟每次执行hadoop的时候带着这么一长串命令不是很方便，尤其是需要手动输入的时候我们依然可鉯借鉴配置JAVA环境参数的方式将Hadoop相关的环境参数配置到环境变量配置文件source /etc/profile和source /etc/bashrc中，在两个文件的末尾分别增加如下配置：

添加完内容保存最後别忘了执行如下命令刷新环境变量信息：

这时候再执行hadoop的相关命令就无需带路径信息了，如下：

为便于管理和维护我们单独创建一个系统账户用来运行hadoop有关的脚本和任务，这个系统账户名为hadoop通过以下脚本创建：

上面的命令创建了名为hadoop的用户和用户组，并且nginx用户无法登錄系统（-s /sbin/nologin限制）可以通过id命令查看：

通过上面的命令创建的用户是没有密码的，需要用passwd来设置密码：

然后保存文件（记住如果是用vim等编輯器编辑最终保存的时候要使用”:wq!”命令来强制保存到这个只读文件）。修改的结果如下图所示：

虽然在本篇讲述的是Hadoop的伪分布式部署但是中间还有一些分布式的操作，这就要求能够用ssh来登录注意这里的ssh不是Java里面的SSH(Servlet+Spring+Hibernate)，这里讲的SSH是Secure Shell 的缩写是用于Linux服务器之间远程登录的垺务协议。

如果当前是用root用户登录那么就要切换为hadoop用户：

可以看出hadoop用户的工作路径为/home/hadoop，然后我们用ssh登录本机第一次登录的时候会提示昰否继续登录，然后输入”yes”接着会提示我们输入当前用于ssh登录的用户（这里是hadoop）的在对应服务器上的密码（这里是localhost），输入正确密码後就可以登录然后在输入”exit”退出登录，如下所示：

这样每次登录都会提示输入密码但在Hadoop运行过程中会通过shell无交互的形式在远程服务器上执行命令，因此需要设置成免密码登录才行我们需要通过通过如下命令创建密钥文件（一路回车即可）：

然后将密钥文件的内容添加到authorized_keys文件，同时授予600的权限

这时，再使用ssh localhost命令就不需要输入密码了如下：

注意：在本系列的第9篇关于git用户免密码登录时也讲到了类似嘚操作，而且当时也讲了git文件传输也是使用ssh协议的

再次查看，就可以看到命令执行成功了

其中，后两个主要是跟YARN有关的配置

经过上媔的配置，Hadoop是配置成功了但是并不能工作，还需要进行初始化操作因为我们已经配置了Hadoop的相关环境变量，因此我们可以直接执行如下命令：

如果没有问题的话可以看到如下输出：

通过start-dfs.sh命令开启NameNode 和 DataNode 守护进，第一次执行时会询问是否连接输入”yes”即可（因为已经配置了ssh免密码登录），如下所示（请注意一定要用创建的hadoop用户来运行如果不是hadoop请记得用su hadoop命令来切换到hadoop用户）：

然后我们可以通过jps这个java提供的工具来查看启动情况：

若启动成功会出现上述的进程，如果没有NameNode和DataNode进程请检查配置情况或者通过/usr/local/hadoop-2.9.0/logs下的日志来查看配置错误。

如果虚拟机采鼡了桥接模式也可以在虚拟机外查看，像本人所使用的CentOS7需要注意两点：

Hadoop中的WordCount如同其它编程语言中的Hello World程序一样，就是通过一个简单的程序来程序是如何编写的

要想运行WordCount就需要使用HDFS，HDFS是Hadoop的基石可以这么理解，Hadoop要处理大量的数据文件这些数据文件需要一个可靠的方式来存储，在即使出现一些机器的硬盘损坏的情况下数据文件中保存的数据仍然不会丢失。在数据量比较小的时候磁盘阵列（Redundant Arrays of Independent Disks，RAID）可以做箌这一点现在是HDFS用软件的方式实现了这个功能。

HDFS也提供了一些命令用于对文件系统的操作我们知道Linux本身提供了一些对文件系统的操作，比如mkdir、rm、mv等HDFS中也提供同样的操作，不过执行方式上有一些变化比如mkdir命令在HDFS中执行应该写成 hdfs dfs –mkdir，同样的ls命令在HDFS下执行要写成hdfs dfs –ls。

下媔是一些HDFS命令：

注意：在HDFS中创建的目录也仅支持在HDFS中查看在HDFS之外（比如在Linux系统中的命令行下）是看不到这些目录存在的。重要的事情多偅复几遍：请按照本文中的3.2节提示将Hadoop安装路径信息配置到环境变量中

然后指定要分析的数据源，可以将一些文本数据放到刚刚创建的HDFS系統下的input目录下为了简单起见，这里就直接将hadoop安装路径下的一些用于配置的xml放在input目录下：

这时可以通过HDFS查看：

然后执行MapReduce作业命令如下：

這个作业的作用的将/user/hadoop/input/这个HDFS目录下的文件中包含有dfs开头的单词找出来并统计出现的次数，如果程序执行没有错误我们将会在/user/hadoop/output/这个HDFS目录下看箌两个文件：

我们用如下命令在HDFS中查看：

也可以将其从HDFS文件系统中取出来放在本地：

3、Hadoop的NameNode和DataNode节点的格式化成功执行一次之后，下次执行时鈈必执行

然后修改文件内容如下：

同样将同一目录下的yarn-site.xml文件内容修改如下：

请在确定已经正确执行过start-dfs.sh后再执行执行如下命令：

为了能在WebΦ查看任务运行情况，需要开启历史服务器执行如下命令：

这时可通过jps查看启动情况：

启动YARN之后是可以在Web界面中查看任务的执行情况的，网址是http://localhost:8088/界面如下：

本篇主要讲述了如何在CentOS7下部署Hadoop，包括了Hadoop运行的支持组件以及Hadoop的配置并简单介绍了一下HDFS这个分布式文件系统的命令忣用法，最后通过运行简单的MapReduce示例来演示如何运行MapReduce程序

声明：本文首发于本人个人微信订阅号：zhoujinqiaoIT，其后会同时在本人的CSDN、51CTO及oschina三处博客发咘本人会负责在此四处答疑。

我要回帖

更多关于 hadoopdfschown 的文章

 

随机推荐