博客分类：
Hadoop作业提交多种方案具体流程详解
提交hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中，一个一个的作业提交方法被我们发现，呵呵，现在总结一下吧。方案：
1、用命令行方式提交
2、在eclipse中提交作业
3、采用eclipse的插件实现项目的提交方案一：用命令行方式提交
前提：成功搭建一个hadoop集群，或成功部署一个伪分布式，并启动hadoop。
提交过程：
1、在eclipse中将我们的项目打成一个jar包，放到hadoop的安装目录下。
2、在命令行中提交作业，这里以hadoop自带的wordcount程序为例：
（1）将统计文件传到hdfs，如图（1）
（2）向云提交作业，如图（2）
提交作业时，如果遇到错误：Name node in safe mode，可采用下面的解决方法，如图（3）
（3）列出hdfs上输出文件夹下的文件，如图（4）
（4）在命令行中打印统计好的结果，如图（5）
（注：在命令行中提交作业是按hadoop/conf下的配置文件提交的）方案二：在eclipse中提交作业
1、在你的电脑上安装好eclipse，可以在linux下，也可以在windows环境下哦～，这里需要指出的是：提交作业的机器只要有hadoop的API就可以了，和提交作业的机器所处的环境无关。
2、成功搭建一个hadoop集群，或成功部署一个伪分布式，并启动hadoop。
提交过程：
1、在eclipse下建立一个mapreduce项目，导入hadoop的API（hadoop/lib下的包）。
这里直接从外部导入hadoop中自带的wordcount程序。为了可以直接“Run java Aplication”我修改了一点wordcount的代码，使其输入输出文件的地址直接在代码中设置。贴出代码如下：
wordcount.java:
package org.apache.hadoop.
import java.io.IOE
import java.util.StringT
import org.apache.hadoop.conf.C
import org.apache.hadoop.fs.P
import org.apache.hadoop.io.IntW
import org.apache.hadoop.io.T
import org.apache.hadoop.mapreduce.J
import org.apache.hadoop.mapreduce.M
import org.apache.hadoop.mapreduce.R
import org.apache.hadoop.mapreduce.lib.input.FileInputF
import org.apache.hadoop.mapreduce.lib.output.FileOutputF
public class WordCount {
//mapper类
public static class TokenizerMapper
extends Mapper&Object, Text, Text, IntWritable&{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
//reducer类
public static class IntSumReducer
extends Reducer&Text,IntWritable,Text,IntWritable& {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable&IntWritable& values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
result.set(sum);
context.write(key, result);
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path("/home/hadoop/testin"));
FileOutputFormat.setOutputPath(job, new Path("/home/hadoop/testout"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
如果此时你run java aplication,呵呵，你的程序只会在eclipse中虚拟的一个云环境中运行，而不会跑上云端去运行哦。我们一帮人在这个问题上纠结了好长时间。如果你想在云端运行，需要在main方法中添加几行代码，代码附录如下：
//在你的文件地址前自动添加：hdfs://master:9000/
conf.set("fs.default.name", "hdfs://master:9000/");
conf.set("hadoop.job.user","xiaolu");
//指定jobtracker的ip和端口号，master在/etc/hosts中可以配置
conf.set("mapred.job.tracker","master:9001");
（注：如果你运行的不是master上也有的项目，比如自己实现的pagerank，那会报错如下：）
java.lang.RuntimeException: java.lang.ClassNotFoundException: *.PRMapper
这时会报找不到Mapper类的错。呵呵，这个问题也卡了我们好长时间。我们分析：可能是没有将项目打包，导致云上没有mapreduce程序的缘故，我们尝试着将pagerank项目打成.jar文件，放在项目下，将main方法作出如下修改：
//将Configuration类换成JobConf类
JobConf conf = new JobConf();
conf.setJar("pagerank.jar");
这时运行java aplication ,呵呵，结果我们成功地将作业提交到了云端。（在浏览器中浏览：master:50030）方案三：采用eclipse的插件实现项目的提交
前提：在eclipse中成功地安装mapreduce插件。
不过需要提醒各位的是：hadoop-0.20.203.0版本自带的插件不够完整，需要作出如下修改：
1、将HADOOP_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下。
2、然后，修改该包META-INF目录下的MANIFEST.MF，将classpath修改为以下内容：
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
（注：这样就完成了对hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果还有其它的问题，比如Map/Reduce Locations下添加一个Location不能弹出添加对话框，这是eclipse版本的问题，我建议大家采用eclipse的版本是：eclipse-java-indigo-SR1-linux-gtk.tar.gz。）
提交过程：
1、不用手动将项目打成jar包，run on Hadoop就OK了。呵呵~
浏览 25059
楼主写的真的很好，我自己也在研究hadoop么，可惜一个人力量太薄弱了。只有看网络才能学到知识啊。哈～同感哦
在进行方法2和方法3的时候提交的任务，在浏览器中访问master:50030有看到提交的任务的信息吗？我是没有看到监控信息的。如果没看到，可能你的操作出现了点问题，或者你可以在hadoop目录下找一找这个网页，具体的路径我不太记得了，找到后直接打开也可以看到的。
浏览: 782376 次
来自: 长沙
讲的很清楚
感谢分享，获益匪浅！
看完文章有几个体会：1.客户端建好连接后，得到一个channe ...
看完还是有些细节没整明白，要是有个现实案例就更棒了！具体到tr ...
ite.remove() 会有illegalStateExce ...
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix'hadoop-2.7.2运行WordCount - CSDN博客
hadoop-2.7.2运行WordCount
初学hadoop的时候往往会被1.x和2.x搞晕，其实二者还是有些不同的。这里演示一下hadoop2.7.2版本的wordcount例子测试及运行流程。
我的hadoop安装在/usr/local/hadoop目录，关键的配置在/usr/local/hadoop/etc/hadoop下的core-site.xml、hdfs-site.xml 、mapred-site.xml这三个文件，这里不说了。
1.启动hadoop/usr/local/hadoop
2.查看启动情况
3.在HDFS上创建输入文件夹目录 input&
4.把当前目录下的 README.txt 介绍文件传进input 里面进行测试
5.查看结果：
6.运行Hadoop自带的 wordcount 例子的jar包
7.运行过程
8.查看运行结果
本文已收录于以下专栏：
相关文章推荐
本文主要讲了hadoop2.7.2自带的WordCount实例运行
摘要：为了研究Hadoop与本系统Linux的兼容性，使用最新的hadoop版本2.7.2进行兼容性测试以及WordCount示例运行。 Hadoop简介Hadoop下载首先，根据自己系统的内核情况以...
下面在实验环境下运行一个系统自带的小例子wordcount，熟悉下Hadoop的文件操作。启动集群1、在主节点和从节点上都格式化namenode首先在从节点Node上执行格式化：
当出现succes...
CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序
1  准备工作
1.1  创建输入输出路径
首先在hdfs中创建数据目录，用来指定运行wordcount程序的输入输出路...
本文转自：
/hadoop-build-project-using-eclipse/
我在学习hadoop的时候，配置Eclipse+Ubuntu...
本文实例环境：
    Ubuntu14.0.4    Hadoop 2.7.2 
    本文是根据对网上【作者：给力星】的文件的实践，作者原文在：
    http://www.powerxi...
他的最新文章
讲师：吴岸城
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)在终端中运行hadoop例子wordcount.java的步骤
在终端中运行wordcount.java的步骤，我把wordcount.java的源文件从hadoop的包中拷贝出来放在主文件夹下，然后运行hadoop，用hadoop
fs -ls查看分布式文件系统的文件夹，如果没有input，就新建一个，命令为hadoop fs -mkdir input
再用hadoop dfs -ls 查看一下是否新建成功
新建一个文档，里面输入要测试的文字（wordcount），将这个文档拷贝到分布式文件系统,一定要拷贝到文件系统
&&&&&&&&&&
命令为 hadoop fs -put& /home/hadoop/file1
hdfs://localhost:9000/user/hadoop/input
第一个参数为要拷贝的文件，第二个为要拷贝的位置，注意dfs中为hdfs://localhost:9000
然后再查看有没有放进去
下一步，对wordcount进行打包 命令为javac -classpath
/home/hadoop/hadoop-0.21.0/hadoop-hdfs-0.21.0.jar:/home/hadoop/hadoop-0.21.0/hadoop-mapred-0.21.0.jar:/home/hadoop/hadoop-0.21.0/hadoop-common-0.21.0.jar
-d . wordcount.java
&&&&&&&&&&
中间几个参数为classpath，用：隔开每个包，但是中间不能有空格，然后 -d . wordcount.java
&&&&&&&&&&
中间有.和空格，生成class文件，放在这个目录的包下面，我的是生成在com
下一步， jar cvf wordcount.jar com&
将class打包，这个jar文件和java文件一个目录，修改其中的manifest清单文件，在最后一行加上Main-Class:com.wordcount.wordcount(类名)
最后一步，执行jar包，命令为hadoop jar /home/hadoop/wordcount.jar
com.wordcount.wordcount
hdfs://localhost:9000/user/hadoop/input/file01
hdfs://localhost:9000/user/hadoop/output1&
输出文件夹不能为已存在的文件夹，必须让hdfs自己新建的
&第一个参数是包名，第二个是类名，注意写法（类的位置），第三个是测试文件的位置，第四个输出结果的位置，后两个参数是wordcount这个类需要的参数
运行完后 用命令 hadoop fs -cat output02/*
查看输出的文件，在分布式文件系统上查看输出文件，或者仿照这个写法：
将输出文件从分布式文件系统拷贝到本地文件系统查看：
$ bin/hadoop fs -get output output
$ cat output/*
但是本人没有用过。
如果命令不记得，可以参考
http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html#Local
这个不能用java命令直接编译类，因为hadoop java会报错。
还有一种执行方式，用hadoop直接执行类文件，首先指定&HADOOP_CLASSPATH，要写到包名之前，比如类wordcount在包org.test中，类文件格式是bin/org/test/wordcount.class，那么要先类所在的文件夹加到classpath中：
export HADOOP_CLASSPATH=/../bin,
然后再执行hadoop org.test.wordcount
&hdfs://localhost:9000/user/hadoop/input/file01
hdfs://localhost:9000/user/hadoop/output1
,，这样就可以调用hadoop自己的虚拟机运行class了。如果在classpath中没有找到类，就会提示没有找到主类，如果没有写全类名，也会得到这样的提示。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。hadoop：如何运行自带wordcount - 小米辣 - 博客园
hadoop：如何运行自带wordcount&
转载自：/thread-.html
1.找到examples例子我们需要找打这个例子的位置：首先需要找到你的hadoop文件夹，然后依照下面路径：/hadoop/share/hadoop/mapreduce会看到如下图：
hadoop-mapreduce-examples-2.2.0.jar
&第二步：我们需要需要做一下运行需要的工作，比如输入输出路径，上传什么文件等。1.先在HDFS创建几个数据目录：
hadoop fs -mkdir -p /data/wordcount
hadoop fs -mkdir -p /output/
&2.目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，运行这个MapReduce任务的结果输出到/output/wordcount目录中。首先新建文件inputWord：
vi /usr/inputWord
新建完毕，查看内容：
cat /usr/inputWord
&将本地文件上传到HDFS中：
hadoop fs -put /usr/inputWord /data/wordcount/
可以查看上传后的文件情况，执行如下命令：
hadoop fs -ls /data/wordcount
可以看到上传到HDFS中的文件。
hadoop fs -text /data/wordcount/inputWord
看到如下内容：&下面，运行WordCount例子，执行如下命令：
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount
&可以看到控制台输出程序运行的信息：
aboutyun@master:~$ hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount14/05/14 10:33:33 INFO client.RMProxy: Connecting to ResourceManager at master/172.16.77.15:803214/05/14 10:33:34 INFO input.FileInputFormat: Total input paths to process : 114/05/14 10:33:34 INFO mapreduce.JobSubmitter: number of splits:114/05/14 10:33:34 INFO Configuration.deprecation: user.name is deprecated. Instead, use mapreduce.job.user.name14/05/14 10:33:34 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar14/05/14 10:33:34 INFO Configuration.deprecation: mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class14/05/14 10:33:34 INFO Configuration.deprecation: bine.class is deprecated. Instead, use bine.class14/05/14 10:33:34 INFO Configuration.deprecation: mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class14/05/14 10:33:34 INFO Configuration.deprecation: mapred.job.name is deprecated. Instead, use mapreduce.job.name14/05/14 10:33:34 INFO Configuration.deprecation: mapreduce.reduce.class is deprecated. Instead, use mapreduce.job.reduce.class14/05/14 10:33:34 INFO Configuration.deprecation: mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir14/05/14 10:33:34 INFO Configuration.deprecation: mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir14/05/14 10:33:34 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps14/05/14 10:33:34 INFO Configuration.deprecation: mapred.output.key.class is deprecated. Instead, use mapreduce.job.output.key.class14/05/14 10:33:34 INFO Configuration.deprecation: mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir14/05/14 10:33:35 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1_000414/05/14 10:33:36 INFO impl.YarnClientImpl: Submitted application application_1_0004 to ResourceManager at master/172.16.77.15:803214/05/14 10:33:36 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1_0004/14/05/14 10:33:36 INFO mapreduce.Job: Running job: job_1_000414/05/14 10:33:45 INFO mapreduce.Job: Job job_1_0004 running in uber mode : false14/05/14 10:33:45 INFO mapreduce.Job:&&map 0% reduce 0%14/05/14 10:34:10 INFO mapreduce.Job:&&map 100% reduce 0%14/05/14 10:34:19 INFO mapreduce.Job:&&map 100% reduce 100%14/05/14 10:34:19 INFO mapreduce.Job: Job job_1_0004 completed successfully14/05/14 10:34:20 INFO mapreduce.Job: Counters: 43& && &&&File System Counters& && && && && & FILE: Number of bytes read=81& && && && && & FILE: Number of bytes written=158693& && && && && & FILE: Number of read operations=0& && && && && & FILE: Number of large read operations=0& && && && && & FILE: Number of write operations=0& && && && && & HDFS: Number of bytes read=175& && && && && & HDFS: Number of bytes written=51& && && && && & HDFS: Number of read operations=6& && && && && & HDFS: Number of large read operations=0& && && && && & HDFS: Number of write operations=2& && &&&Job Counters&& && && && && & Launched map tasks=1& && && && && & Launched reduce tasks=1& && && && && & Data-local map tasks=1& && && && && & Total time spent by all maps in occupied slots (ms)=23099& && && && && & Total time spent by all reduces in occupied slots (ms)=6768& && &&&Map-Reduce Framework& && && && && & Map input records=5& && && && && & Map output records=10& && && && && & Map output bytes=106& && && && && & Map output materialized bytes=81& && && && && & Input split bytes=108& && && && && & Combine input records=10& && && && && & Combine output records=6& && && && && & Reduce input groups=6& && && && && & Reduce shuffle bytes=81& && && && && & Reduce input records=6& && && && && & Reduce output records=6& && && && && & Spilled Records=12& && && && && & Shuffled Maps =1& && && && && & Failed Shuffles=0& && && && && & Merged Map outputs=1& && && && && & GC time elapsed (ms)=377& && && && && & CPU time spent (ms)=11190& && && && && & Physical memory (bytes) snapshot=& && && && && & Virtual memory (bytes) snapshot=& && && && && & Total committed heap usage (bytes)=& && &&&Shuffle Errors& && && && && & BAD_ID=0& && && && && & CONNECTION=0& && && && && & IO_ERROR=0& && && && && & WRONG_LENGTH=0& && && && && & WRONG_MAP=0& && && && && & WRONG_REDUCE=0& && &&&File Input Format Counters&& && && && && & Bytes Read=67& && &&&File Output Format Counters&& && && && && & Bytes Written=51
查看结果，执行如下命令：
hadoop fs -text /output/wordcount/part-r-00000
结果数据示例如下：
aboutyun@master:~$ hadoop fs -text /output/wordcount/part-r-00000
aboutyun& && &&&2
first& && &&&1
hello& && &&&3
master& && &&&1
slave& && &&&2
what& && &&&1
&登录到Web控制台，访问链接http://master:8088/可以看到任务记录情况。