如何配置Hadoop环境_百度知道
如何配置Hadoop环境
提问者采纳
&lt.0;property&property&etc/;;property& href=&quot.xml文件如下;&&configuration.tracker&& href=&quot.6b;configuration& href=&///;&xsl&profile3)修改配置文件;，配置文件都在hadoop-0:9000&lt，根据你自己的节点来设定-&/hadoop&#47.20;;configuration&gt.203/name&;e;&#47.0&property&c;d!-- Put site-specific property ov;property&&&#47?xml version=&quot:&#47.xsl&quot.replication&lt?xml-stylesheet type=&quot.;.20!-- Put site-specific property ovname&&lt、修改hdfs-&&xsl&quot.dir&home&#47.修给解压文件夹名字为hadoop-0?xml version=&conf目录下;configuration&property&&value&&hdfs：&lt.203//value&gt. --&name&&#47.进到&#47.xml文件配置如下;&lt?&& &/;hadoop-0;/1.20;name&name&gt?&configuration&gt、修改mapred-hadoop-value&gt!-- Put site-specific property ovtext&#47!-hadoop的临时文件位置-&configuration&&/&#47!-节点个数配置;text&#47.sh中，解注释JAVA_HOME修改为;&&;1.xsl&hadoop/value&gt:&lt.0&&bin路径加到PATH环境变量中sudo gedit/&lt.修改core-xsl&home/&lt.2032)按上述所示将hadoop-0;name&mapred.20;;&&lt?&&lt.203. --&gt?xml-stylesheet type=&;value&name&gt、在masters和slave文件中分别配置主节点和各个数据节点?xml-stylesheet type=&&&jdk1;&&lt?&gt.203&#47:9001&tmp&&;conf&#47.xsl&quot.?&/value&gt：JAVA_HOME=&#47.0&property&&#47：&1.xml文件如下;;2&configuration&configuration. --&gt?&property&gt?xml version=&/&#47.tmp：&fs.name&lt。a;/name&gt1)下载并解压hadoop-0：中写入namenode;value&&text/value&gt.20
其他类似问题
为您推荐：
hadoop的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁如何配置Hadoop环境？（Error:Failed on local exception）
最近刚学习Hadoop，菜鸟阶段，在eclipse里新建New Hadoop Location的时候，左边的DFS Locations下面出现以下报错：Error:Failed on local exception: com.google.protobuf.InvalidProtocolBufferException:
message end-group tag did not match expected tag.;
Host Details : local host is: "localhost.localdomain/127.0.0.1"; destination host is: "localhost":9000;
我用的是centos6.2， single node。core-site.xml设置：&property&
&name&fs.default.name&/name&
&value&hdfs://localhost:9000&/value&
&/property&
网上搜了很久找不到解决方法，求助知乎牛人。。。
按投票排序
我也遇到同样的问题了！楼主解决了吗？
我也遇到了，解决了吗
你把hadoop安装到哪里了? 也是localhost?
这个方法不行啊，有其他方法吗
把/etc/hosts文件中的localhost.localdomain条目去掉试试。
已有帐号？
无法登录？
社交帐号登录人气：2218344
访问用户量：2726
笔记经验：1309
总积分：1409
级别：普通会员
搜索本笔记
ta的交流分类
ta的全部笔记
浏览(103532)|(134)
&&交流分类：|笔记分类:
私塾在线《深入浅出学&
系列精品教程
视频课程地址》》》
整体课程概览
本节课程概览
Hadoop 在windows 上伪分布式的安装过程&
Hadoop 在linux& 上单节点伪分布式的安装过程&
集成Eclipse 开发环境&
Hadoop UI 介绍
运行WordCounter& 事例
第一部分：Hadoop 在windows 上伪分布式的安装过程
&&&&&& /technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html
&& 或者直接运行.exe安装
后面根据项目的实际需要来进行调整。
1.下载Cygwin
&&& 网址：
/setup.exe
&2.安装Cygwin
1. Net Category 下的OpenSSL
2.&&& Base Category 下的sed
3.Editors Category 下的vim
4.Devel Category& 下subversion
后面根据项目的实际需要来进行调整。
配置环境变量
1.配置JAVA 环境变量
&&& PATH 和JAVA_HOME：
&&&&&&& JAVA_HOME 指向JDK安装目录；
& & & & PATH 指向JDK的bin
1.安装SSHD
&& ssh-host-config
2. 启动SSHD
&&& net&start&sshd&
的安装和配置
实现ssh无密码登陆
$ssh-keygen&-t&rsa&&
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对
出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub&&~/.ssh/authorized_keys完成后可以实现无密码登录本机
1.下载Hadoop
&& /apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
&&&&&&&& tar xzvf hadoop-0.21.0.tar.gz
1. 配置hadoop-env.sh
2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
&&&&& NameNode &：管理节点
&&&&& DataNode&& ：数据节点
&&&&& SecondaryNamenode : 数据源信息备份整理节点
&&&&&& JobTracker& ：任务管理节点
&&&&&& Tasktracker& ：任务运行节点
&&&&&& core-site.xml&& common属性配置
&&&&&& hdfs-site.xml&&& HDFS属性配置
&&&&&& mapred-site.xml& MapReduce属性配置
&&&&&& hadoop-env.sh&&&& hadooop 环境变量配置
hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
core-site.xml
java代码：
&configuration&
&property&
&name&fs.default.name&/name&
&value&hdfs://localhost:9000&/value&
&/property&
&property&
&name&hadoop.tmp.dir&/name&
&value&/hadoop&/value&
&/property&
&/configuration&
hdfs-site.xml
java代码：
&configuration&&&&&&
&property&&&
&name&dfs.replication&/name&&&
&value&1&/value&&&
&/property&&&
&/configuration&&&
mapred-site.xml
java代码：
&configuration&&&&&&
&property&&&
&name&mapred.job.tracker&/name&&&
&value&localhost:9001&/value&&&
&/property&&&
&/configuration&&&
&1.格式化文件系统
&&&&& hadoop namenode –format
&2. 启动hadoop
& & & 启动所有任务start-all.sh/stop-all.sh
& & & 启动关闭HDFS: start-dfs.sh/stop-dfs.sh
& & & 启动关闭MapReduce:& start-mapred.sh/stop-mapred.sh& & &&
&3. 用jps命令查看进程,确保有&& namenode,dataNode,JobTracker,TaskTracker
第二部分：Hadoop 在linux& 上单节点伪分布式的安装过程
$chmod +x jdk-6u27-linux-i586.bin
$./jdk-6u27-linux-i586.bin
安装完后设置java 环境变量如下
命令 ：/home路径下
$vi .bashrc
然后添加如下语句
export JAVA_HOME=/home/test/ jdk1.6.0_27
export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.
然后. .bashrc使其生效
的安装和配置
$实现ssh无密码登陆
$sudo apt-get install ssh
$ssh-keygen&
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对
出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub&&~/.ssh/authorized_keys完成后可以实现无密码登录本机
1.下载Hadoop
&& /apache-mirror/hadoop/common/hadoop-1.0.0/
2.解压Hadoop
&&&&&&&& tar xzvf hadoop-0.21.0.tar.gz
3. 添加Hadoop Bin到环境变量中
hadoop-env.sh
配置JDK即可
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
conf/core-site.xml
java代码：
&configuration&&&&&&
&property&&&
&name&fs.default.name&/name&&&
&value&hdfs://localhost:9000&/value&&&
&/property&&&
&property&
&name&hadoop.tmp.dir&/name&
&value&/hadoop&/value&
&/property&
&/configuration&&&
conf/hdfs-site.xml
java代码：
&configuration&&&&&&
&property&&&
&name&dfs.replication&/name&&&
&value&1&/value&&&
&/property&&&
&/configuration&&&
conf/mapred-site.xml
java代码：
&configuration&&&&&&
&property&&&
&name&mapred.job.tracker&/name&&&
&value&localhost:9001&/value&&&
&/property&&&
&/configuration&&&
&1.格式化文件系统
&&&&& hadoop namenode –format
&2. 启动hadoop
& & &启动关闭所有服务 start-all.sh/stop-all.sh
& & &启动关闭HDFS: start-dfs.sh/stop-dfs.sh
& & &启动关闭MapReduce:& start-mapred.sh/stop-mapred.sh
&3. 用jps命令查看进程,确保有&& namenode,dataNode,JobTracker,TaskTracker
第三部分：Hadoop UI 介绍
重要的端口
1.Job Tracker 管理界面：50030
2.HDFS 管理界面 ：50070
3.HDFS通信端口：9000
4.MapReduce通信端口：9001
常用访问页面
1. HDFS 界面
&&&&&&& http://hostname:50070
2. MapReduce 管理界面
&&&&&&& http://hostname:50030
第四部分：运行Word Count 示例
相关步骤及命令
1.先在本地磁盘上建立两个文件file1和file2
&&&&& $ echo ”Hello world Bye world& & &~/input/file1
&&&&& $ echo ”hello hadoop bye hadoop” & &~/input/file2
2.在HDFS上建立一个input目录
&&&&&& $ hadoop fs -mkdir /tmp/input
3.将file1和file2拷贝到hdfs的input目录下
&&&&&& $ hadoop fs -put input/* /tmp/input
4.检查hdfs上有没有file1,file2
&&&& $ hadoop fs -ls /tmp/input
5.执行wordcount
&& hadoop jar hadoop-examples-1.0.0.jar wordcount& /tmp/input& /tmp/output
6.运行完成，查看结果
&& hadoop fs -cat /output/part-r-00000
第五部分：集成 Eclipse 开发环境
1.导入hadoop-core.jar及hadoop/lib下所有Jar包
2.加入Hadoop配置文件，包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml,并修改相应参数。
本节课程小结
掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装&
初次体验了Hadoop运行的WordCounter程序&
了解了Hadoop UI
&掌握了Hadoop 集成到 Eclipse的情况
私塾在线学习网原创内容，转载请注明出处【
该帖子包含附件，回复帖子后即可下载附件。
精品视频课程推荐
内容概述：Shiro是目前最热门、最易用、功能超强大的Java权限管理框架，强烈推荐，每个项目都必备的权限管理技术！通过本课程，你将从零开始直到彻底掌握Shiro的相关开发知识，达到可以进行实际项目开发的能力。包括：权限管理基础、Shiro入门、配置、身份认证、授权、Realms、Session管理、和Spring的集成、Web、Cache等众多开发细节技术
技术要点：源码级分析Shiro的授权过程、自定义开发Realm、多个Realms的开发配置、自定义开发AuthenticationStrategy、自定义开发自定义SessionDAO、和Struts2+Spring3的集成（包括修正struts2的bug）、Shiro和SpringMVC+Spring3的集成、包装使用其他的Cache框架、缓存数据同步更新的解决方案等等实际开发中常用的内容
系统、完整的学习Spring Web MVC开发的知识。包括：Spring Web MVC入门；理解DispatcherServlet；注解式控制器开发详解；数据类型转换；数据格式化；数据验证； 拦截器；对Ajax的支持；文件上传下载；表单标签等内容；最后以一个综合的CRUD带翻页的应用示例来综合所学的知识
深入浅出地学习Oralce优化的原理与技巧，内容权威全面、细致深入、重点突出，剖析提高挈领，示例丰富充盈，实例和理论完美结合。1：百万级数据量示例；系统高可靠性、高健壮性原理及策略；热表操作；完整性策略；数据库死锁如何解决； 2：索引表空间如何推算规划；b-tree索引的存储结构、索引扫描方式；Oracle执行计划的如何阅读、推荐的索引使用策略； 3：CBO模型；自动化表分析任务、能大幅提高索引性能的原子级表基础约束策略、表分析原理、表间关系和模式； 4：逻辑存储结构、物理存储结构、内存结构、进程结构；ASM存储、逻辑存储结构单元；Oracle实例结构之检查点及实例恢复
Hadoop中高级精品课程，帮助学员快速掌握Hadoop HDFS的原理；MapReduce的原理；MapReduce高级编程；Hadoop的IO机制，如序列化、压缩；Hadoop的RPC，RESTFul API等高级特性；彻底理解Hadoop，成为一名合格的云计算开发者。并掌握一些云端基本的运维知识，从而实现开发和运维兼修的高级人才。
内容概述：本课程深入浅出的讲解Hadoop 体系下的分布式协调组件－Zookeeper,向大家介绍了Zookeeper的原理与使用，深入浅出，结合生动实例，具有很高的实战意味
技术要点：Zookeepr 原理，Zookeeper 架构，Zookeeper 简单使用，Zookeeper Watch等
浏览(103532)|(134)
&&交流分类：|笔记分类:
谢谢。学习中
谢谢老师的分享
很好的资料，正在学习hadoop，感谢分享
bucuo xuexie
很好，谢谢！
第一个下载是文件是30B
东西,先全部下载下来再说!老师们辛苦啦!
下载学习学习。。。多谢
很好！赞一个！！！
............../////////
版权所有 Copyright(C) 私塾在线学习网下次自动登录
Geeker的编程技术博客
现在的位置:
Eclipse下搭建Hadoop2.7.0开发环境
一、安装Eclipse
二、在eclipse上安装hadoop插件
&&&&1、下载hadoop插件
&2、把插件放到eclipse/plugins目录下
&&&&3、重启eclipse，配置Hadoop installation directory&&&&
&&&& 如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。
4、配置Map/Reduce Locations
&&&& 打开Windows—Open Perspective—Other
选择Map/Reduce，点击OK
&&&&在右下方看到如下图所示
点击Map/Reduce Location选项卡，点击右边小象图标，打开Hadoop Location配置窗口：
&&&&输入Location Name，任意名称即可.配置Map/Reduce Master和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可。(貌似Map/Reduce Master 的端口设置任何数字都可以？)
点击"Finish"按钮，关闭窗口。
&点击左侧的DFSLocations—&myhadoop（上一步配置的location name)，如能看到user，表示安装成功
&&&&如果如下图所示表示安装失败，请检查Hadoop是否启动，以及eclipse配置是否正确。
三、新建WordCount项目
&&&&File—&Project，选择Map/Reduce Project，输入项目名称WordCount等。
&&&&在WordCount项目里新建class，名称为WordCount，代码如下：
import&java.io.IOE
import&java.util.StringT
import&org.apache.hadoop.conf.C
import&org.apache.hadoop.fs.P
import&org.apache.hadoop.io.IntW
import&org.apache.hadoop.io.T
import&org.apache.hadoop.mapreduce.J
import&org.apache.hadoop.mapreduce.M
import&org.apache.hadoop.mapreduce.R
import&org.apache.hadoop.mapreduce.lib.input.FileInputF
import&org.apache.hadoop.mapreduce.lib.output.FileOutputF
import&org.apache.hadoop.util.GenericOptionsP
public&class&WordCount&{
public&static&class&TokenizerMapper&extends&Mapper&Object,&Text,&Text,&IntWritable&{&
　　private&final&static&IntWritable&one&=&new&IntWritable(1);
　　private&Text&word&=&new&Text();
　　public&void&map(Object&key,&Text&value,&Context&context)&throws&IOException,&InterruptedException&{
　　　　StringTokenizer&itr&=&new&StringTokenizer(value.toString());
　　　　　　while&(itr.hasMoreTokens())&{
　　　　　　　　word.set(itr.nextToken());
　　　　　　　　context.write(word,&one);
　　　　　　}
public&static&class&IntSumReducer&extends&Reducer&Text,IntWritable,Text,IntWritable&&{
　　private&IntWritable&result&=&new&IntWritable();&
　　public&void&reduce(Text&key,&Iterable&IntWritable&&values,Context&context)&throws&IOException,&InterruptedException&{
　　　　int&sum&=&0;
　　　　for&(IntWritable&val&:&values)&{
　　　　　　sum&+=&val.get();
　　　　result.set(sum);
　　　　context.write(key,&result);
public&static&void&main(String[]&args)&throws&Exception&{
　　Configuration&conf&=&new&Configuration();
　　String[]&otherArgs&=&new&GenericOptionsParser(conf,&args).getRemainingArgs();
　　if&(otherArgs.length&!=&2)&{
　　　　System.err.println("Usage:&wordcount&&in&&&out&");
　　　　System.exit(2);
　　Job&job&=&new&Job(conf,&"word&count");
　　job.setJarByClass(WordCount.class);
　　job.setMapperClass(TokenizerMapper.class);
　　job.setCombinerClass(IntSumReducer.class);
　　job.setReducerClass(IntSumReducer.class);
　　job.setOutputKeyClass(Text.class);
　　job.setOutputValueClass(IntWritable.class);
　　FileInputFormat.addInputPath(job,&new&Path(otherArgs[0]));
　　FileOutputFormat.setOutputPath(job,&new&Path(otherArgs[1]));
　　System.exit(job.waitForCompletion(true)&?&0&:&1);
&&&&1、在HDFS上创建目录input
&&&&hadoop fs -mkdir /user
& & & & & & & & hadoop fs -mkdir /user/inhput
&&&&2、拷贝本地README.txt到HDFS的input里
&&&&&&&& hadoop fs -copyFromLocal /opt/hadoop/README.txt /user/input
&&&&3、点击WordCount.java，右键，点击Run As—&Run Configurations，配置运行参数，即输入和输出文件夹
　　hdfs://localhost:9000/user/input & &hdfs://localhost:9000/user/output
点击Run按钮，运行程序。
&&&&4、运行完成后，查看运行结果&&&&&&&&
&&&&&&&&方法1：
&&&&&&&&hadoop fs -ls output
&&&&&&&&可以看到有两个输出结果，_SUCCESS和part-r-00000
&&&&&&&&执行hadoop fs -cat output/*
&&&&&&&&方法2:
&&&&&&&&展开DFS Locations，如下图所示，双击打开part-r00000查看结果
【上篇】【下篇】
您可能还会对这些文章感兴趣！
同分类最新文章