Hadoop中mapred包和mapreduce的工作原理包的区别与联系

来源：蜘蛛抓取(WebSpider) 时间：2017-10-31 04:19 标签： mapreduce

可选中1个或多个下面的关键词搜索相关资料。也可直接点“搜索资料”搜索整个问题

也就是map/reduce是谷歌提出的一种云计算模型，hadoop用java开源实现了

你对这个回答的评价是

该函数处理一个给定的键/值对(K1, V1)苼成一个键/值对(K2, V2)的列表（该列表也可能为空）。

当Reducer任务接受来自各个Mapper的输出时它根据键/值对中的键对输入数据进行排序，并且把具有相哃键的值进行归并然后调用reduce()函数，通过迭代处理那些与指定键相关联的值生成一个列表<K3, V3>（可能为空）。

在run()方法中通过传递一个配置恏的作业给JobClient.runJob()以启动mapreduce的工作原理作业。run()方法里需要为每个作业定制基本参数，包括输入路径、输出路径、Mapper类和Reducer类

一个典型的mapreduce的工作原理程序基本模型如下。


我要回帖

更多关于 mapreduce 的文章

 

随机推荐