> 博客详情
1、安装Hadoop开发插件
& & &hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar，拷贝到myeclipse根目录下/dropins目录下。
2、 启动myeclipse，打开Perspective：
【Window】-&【Open&Perspective】-&【Other...】-&【Map/Reduce】-&【OK】
3、 打开一个View：
【Window】-&【Show&View】-&【Other...】-&【MapReduce&Tools】-&【Map/Reduce&Locations】-&【OK】
4、 添加Hadoop&location：
location name: 我填写的是：localhost. Map/Reduce Master 这个框里 Host：就是jobtracker 所在的集群机器，这里写localhost Hort：就是jobtracker 的port，这里写的是9999 这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port&& DFS Master 这个框里 Host：就是namenode所在的集群机器，这里写localhost Port：就是namenode的port，这里写8888 这两个参数就是core-site.xml里面fs.default.name里面的ip和port （Use M/R master host，这个复选框如果选上，就默认和Map/Reduce Master这个框里的host一样，如果不选择，就可以自己定义输入，这里jobtracker 和namenode在一个机器上，所以是一样的，就勾选上）
&user name：这个是连接hadoop的用户名，因为我是用lsq用户安装的hadoop，而且没建立其他的用户，所以就用lsq。下面的不用填写。 然后点击finish按钮，此时，这个视图中就有多了一条记录。
重启myeclipse并重新编辑刚才建立的那个连接记录，现在我们编辑advance parameters tab页
（重启编辑advance parameters tab页原因：在新建连接的时候，这个advance paramters& tab页面的一些属性会显示不出来，显示不出来也就没法设置，所以必须重启一下eclipse再进来编辑才能看到） 这里大部分的属性都已经自动填写上了，其实就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置属性展示出来。因为在安装hadoop的时候，其site系列配置文件里有改动，所以这里也要弄成一样的设置。主要关注的有以下属性： fs.defualt.name：这个在General tab页已经设置了 mapred.job.tracker：这个在General tab页也设置了 dfs.replication：这个这里默认是3，因为我在hdfs-site.xml里面设置成了1，所以这里也要设置成1& hadoop.job.ugi：这里要填写：lsq,Tardis，逗号前面的是连接的hadoop的用户，逗号后面就写死Tardis（这个属性不知道我怎么没有...） 然后点击finish，然后就连接上了（先要启动sshd服务，启动hadoop进程），连接上的标志如图：
5、新建Map/Reduce&Project：
【File】-&【New】-&【Project...】-&【Map/Reduce】-&【Map/Reduce&Project】-&【Project&name:&WordCount】-&【Configure&Hadoop&install&directory...】-&【Hadoop&installation&directory:&D:\cygwin\home\lsq\hadoop-0.20.2】-&【Apply】-&【OK】-&【Next】-&【Allow&output&folders&for&source&folders】-&【Finish】
6、新建WordCount类：
添加/编写源代码：
D:\cygwin\home\lsq\hadoop-0.20.2/src/examples/org/apache/hadoop/examples/WordCount.java
package&org.apache.hadoop.
import&java.io.IOE
import&java.util.StringT
import&org.apache.hadoop.conf.C
import&org.apache.hadoop.fs.P
import&org.apache.hadoop.io.IntW
import&org.apache.hadoop.io.T
import&org.apache.hadoop.mapreduce.J
import&org.apache.hadoop.mapreduce.M
import&org.apache.hadoop.mapreduce.R
import&org.apache.hadoop.mapreduce.lib.input.FileInputF
import&org.apache.hadoop.mapreduce.lib.output.FileOutputF
import&org.apache.hadoop.util.GenericOptionsP
public&class&WordCount&{
&&public&static&class&TokenizerMapper&
&&&&&&&extends&Mapper&Object,&Text,&Text,&IntWritable&{
&&&&private&final&static&IntWritable&one&=&new&IntWritable(1);
&&&&private&Text&word&=&new&Text();
&&&&public&void&map(Object&key,&Text&value,&Context&context
&&&&&&&&&&&&&&&&&&&&)&throws&IOException,&InterruptedException&{
&&&&&&StringTokenizer&itr&=&new&StringTokenizer(value.toString());
&&&&&&while&(itr.hasMoreTokens())&{
&&&&&&&&word.set(itr.nextToken());
&&&&&&&&context.write(word,&one);
&&public&static&class&IntSumReducer&
&&&&&&&extends&Reducer&Text,IntWritable,Text,IntWritable&&{
&&&&private&IntWritable&result&=&new&IntWritable();
&&&&public&void&reduce(Text&key,&Iterable&IntWritable&&values,&
&&&&&&&&&&&&&&&&&&&&&&&Context&context
&&&&&&&&&&&&&&&&&&&&&&&)&throws&IOException,&InterruptedException&{
&&&&&&int&sum&=&0;
&&&&&&for&(IntWritable&val&:&values)&{
&&&&&&&&sum&+=&val.get();
&&&&&&result.set(sum);
&&&&&&context.write(key,&result);
&&public&static&void&main(String[]&args)&throws&Exception&{
&&&&Configuration&conf&=&new&Configuration();
&&&&String[]&otherArgs&=&new&GenericOptionsParser(conf,&args).getRemainingArgs();
&&&&if&(otherArgs.length&!=&2)&{
&&&&&&System.err.println("Usage:&wordcount&&in&&&out&");
&&&&&&System.exit(2);
&&&&Job&job&=&new&Job(conf,&"word&count");
&&&&job.setJarByClass(WordCount.class);
&&&&job.setMapperClass(TokenizerMapper.class);
&&&&job.setCombinerClass(IntSumReducer.class);
&&&&job.setReducerClass(IntSumReducer.class);
&&&&job.setOutputKeyClass(Text.class);
&&&&job.setOutputValueClass(IntWritable.class);
&&&&FileInputFormat.addInputPath(job,&new&Path(otherArgs[0]));
&&&&FileOutputFormat.setOutputPath(job,&new&Path(otherArgs[1]));
&&&&System.exit(job.waitForCompletion(true)&?&0&:&1);
7、上传模拟数据文件夹。&
为了运行程序，需要一个输入的文件夹和输出的文件夹。输出文件夹，在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。&
（1）、在当前目录（如hadoop安装目录）下新建文件夹input，并在文件夹下新建两个文件file1、file2，这两个文件内容分别如下：&
Hello&World&Bye&World &
Hello&Hadoop&Goodbye&Hadoop&&
(2)、.将文件夹input上传到分布式文件系统中。&
在已经启动Hadoop守护进程终端中cd 到hadoop安装目录，运行下面命令：&
bin/hadoop&fs&-put&input&in &
配置运行参数：
①在新建的项目WordCount，点击WordCount.java，右键--&Run As--&Run Configurations& ②在弹出的Run Configurations对话框中，点Java Application，右键--&New，这时会新建一个application名为WordCount& ③配置运行参数，点Arguments，在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”，如：
（如果运行时报java.lang.OutOfMemoryError: Java heap space 配置VM arguments(在Program arguments下)
-Xms512m -Xmx1024m -XX:MaxPermSize=256m
8、点击Run，运行程序
点击Run，运行程序，过段时间将运行完成，等运行结束后，可以在终端中用命令如下，查看是否生成文件夹output：&
bin/hadoop&fs&-ls&&
用下面命令查看生成的文件内容：&
bin/hadoop&fs&-cat&output/*&
如果显示如下，说明已经成功在myeclipse下运行第一个MapReduce程序了。&
Goodbye&1&&&&
Hadoop&&2&&&&
Hello&&&2&&&&
World&&&2&&&
人打赏支持
码字总数 45922
支付宝支付
微信扫码支付
打赏金额: ￥
已支付成功
打赏金额: ￥myeclipse和Hadoop插件配置
每个版本的 hadoop
都有相应版本的 MyEclipse 插件，官网并没有提供插件的jar包下载。在 hadoop/src/contrib 目录下有一个
eclipse-plugin 项目，此项目就是MyEclipse 的插件项目，需要自己手动用 ant
打包成jar包。打包方法略，网上有很多。也可以在网上找相应的已经打包好的插件包
1)插件安装：（MyEclipse 8.6）
将插件包 hadoop-eclipse-plugin-1.0.4.jar 放到 MyEclipse-8.6/dropins
下，并删除 MyEclipse-8.6\configuration 下的 org.eclipse.update
文件夹，重启MyEclipse，
当提示如下信息时，安装成功
2)配置 MyEclipse Hadoop
点击window-&preference，配置
Hadoop-MapReduce的路径(随意写)
点击 windows-&show view-&other，选择
map/Reduce Locations
在刚才的视图中右键点击
New Hadoop Location，在 General 中
Location name 随意填写
Map/Reduce Master 在 mapred-site.xml
DFS Master 在 core-site.xml
User name 保持默认
在 Advanced parameters 中
将 hadoop.tmp.dir 修改成
/usr/hdfs/tmp&
它是hadoop文件系统依赖的基础配置，很多路径都依赖它。因为它默认是存放在temp
临时文件夹下的，修改是为了防止Linux启动时自动删除。它的配置也是在 core-site.xml 中，然后点击 finish
点击 window-&Open Perspective-&other
选择 Map/Reduce，OK
此时，就会显示出我们创建的 HDFS
配置中后如果没有出现上图
Cannot connect to the Map/Reduce location: Hadoop…….
则需要把core-site.xml和mapred-site.xml里面写成ip而不是localhost
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。请教贵吧的大神，在Myeclipse中运行Wordcount程序提示错误的问题_hadoop吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0可签7级以上的吧50个
本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：10,557贴子：
请教贵吧的大神，在Myeclipse中运行Wordcount程序提示错误的问题
我是新手！被这个问题困扰了两天到网上找也找不到觉得的办法 ，防火墙也光掉了，看到都能连上DFS系统
为什么会报这个错呢？求个位大神帮解决一下？灰常感谢1
达内hadoop培训,培训前不收1分钱,hadoop就业高薪入职有保障,承诺薪资&8000!达内高端大数据培训品牌,hadoop封闭式训练,打造〈新〉技术牛人!
建议先把程序打成jar包 ，在虚拟机里面运行下，如果没有错误就应该是你的链接配置有错，你上面是现实链接上了，但是能不能链接上mapreduce就不知道，在看看你链接的mapreduce的端口号
我也是这个问题一直过不去
贴吧热议榜
使用签名档&&
保存至快速回贴搭建基于MyEclipse的Hadoop开发环境
时间： 00:37:14
&&&& 阅读：2543
&&&& 评论：
&&&& 收藏：0
标签：前面我们已经搭建了一个伪分布模式的Hadoop运行环境。
我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发，本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。
闲话少说，走起！
第一步 安装MyEclipse的Hadoop插件
1 打开MyEclipse，查看是否已经安装过
window& -&& preferences&
没有显示Hadoop Map/Reduce，所以说明是MyEclipse是没有安装过Eclipse的插件。
首先，确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse，并能开发java程序。
2、下载Eclipse的Hadoop插件&
将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下，然后重启MyEclipse。
重启后，会出现下面的这个界面，点击ok即可，
即，出现了Hadoop Map/Reduce，说明成功。
第二步 设置本地的Hadoop安装运行目录
1、hadoop-2.2.0-x64.rar的下载
首先，明确了本地的JDK是64位版本，所以需要下载对应位的hadoop运行包。其实，也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。
2 、解压下载的文件包，存放在你希望的某个目录下，比如：D:\Software\hadoop-2.2.0
重启MyEclipse，菜单的Windows& &-& &&Preferences 中
会多出一个 Hadoop Map/Reduce的项。点击这一项，右侧选择你的Hadoop存放目录 （D:\Software\hadoop-2.2.0）
3、配置环境变量
新建环境变量HADOOP_HOME，变量值为D:\Software\hadoop-2.2.0
修改Path变量，添加：
;D:\Software\hadoop-2.2.0\bin&& 注意分号
4、添加Map/Reduce Location
将Eclipse/MyEclipse切换到Map/Reduce视图，
底部操作区会出现Map/Reduce Locations项，如下图所示：
在上图所示区域点击鼠标右键或者如上图所示点击它也行，然后New Hadoop location.
在弹出的界面中做如下设置：
50020 -& 50070
50040-& 9000
zhouls -& hadoop
5、sbin/start-all.sh ， 再 jps
6、 点击windows& &&& show view& -&& project Exploer ，可以出现以下
这就表明，hadoop与本地的MyEclipse搭建成功。
7 、新建MapReduce项目
下面，新建一个
File& -&& New& -&& Project&
src&& -&&&& New& Package&
New& -&&& Class&&
来看下WordCount自带的程序：
改之前，是
改之后，是
然后，window -& show view -& other -&&
运行下程序。
然后，再执行WordCount.java
刷新，查询下结果
这个统计结果跟之前一致。
即表明搭建基于MyEclipse的Hadoop开发环境已经成功！
&&国之画&&&& &&
版权所有 京ICP备号-2
迷上了代码！