MultipleInputs/MultipleOutpus

仔细看了一下 Hadoop.MapReduce 的代码,发现了两个新类:MultipleInputs/MultipleOutpus,再仔细看它们的详细文档,的确实现了我想要的功能

不同的InputPath,可是使用不同的InputFormat 和 Mapper

可以将不同类型(可能是多种计算)的结果写入不同的Reduce Output。

再看一下它们的实现代码,让我大失所望,MultipleInput 还行,没有白白折损效率的地方,MultipleOutput就太让我大跌眼镜了!简单的写一条记录出去,白白做的额外工作的耗时,可以写30条记录了。

多了解MapReduce的整体实现,可以考虑自己做一个更高效的MultiOutput。

作者:
该日志由 rockeet 于2010年02月05日发表在MapReduce分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
转载请注明: MultipleInputs/MultipleOutpus
标签:
【上一篇】
【下一篇】

您可能感兴趣的文章:

发表评论

您必须 登录 后才能发表评论。