MultipleInputs/MultipleOutpus
仔细看了一下 Hadoop.MapReduce 的代码,发现了两个新类:MultipleInputs/MultipleOutpus,再仔细看它们的详细文档,的确实现了我想要的功能:
不同的InputPath,可是使用不同的InputFormat 和 Mapper
可以将不同类型(可能是多种计算)的结果写入不同的Reduce Output。
再看一下它们的实现代码,让我大失所望,MultipleInput 还行,没有白白折损效率的地方,MultipleOutput就太让我大跌眼镜了!简单的写一条记录出去,白白做的额外工作的耗时,可以写30条记录了。
多了解MapReduce的整体实现,可以考虑自己做一个更高效的MultiOutput。