[问题] hadoop mapreduce效能问题

楼主: jimkukky (kukky)   2016-03-21 23:07:20
我是在一台实体机,用win7安装单机hadoop,
我是测试wordcount的实验,
我把reducer分成三个,跑出来的时间比一个reducer还要慢
程式设定如下
测试一个档案
1.job.setNumReduceTasks(1)-大约30秒
2.job.setNumReduceTasks(3)-大约38秒
请问有什么方法能够让单机运算的时候强制分散cpu进行同时执行,
加快效能之类的,如果不行的话就只能考虑安装虚拟机三台(不过有点麻烦),
所以想请这方面的专家是否能克服这个问题?
作者: iamnotfat (我不肥)   2016-03-29 10:36:00
Mapreduce 针对小档案 是感受不到他的power, 量要够大

Links booklink

Contact Us: admin [ a t ] ucptt.com