PTT
Submit
Submit
选择语言
正體中文
简体中文
PTT
Cloud
[问题] hadoop mapreduce效能问题
楼主:
jimkukky
(kukky)
2016-03-21 23:07:20
我是在一台实体机,用win7安装单机hadoop,
我是测试wordcount的实验,
我把reducer分成三个,跑出来的时间比一个reducer还要慢
程式设定如下
测试一个档案
1.job.setNumReduceTasks(1)-大约30秒
2.job.setNumReduceTasks(3)-大约38秒
请问有什么方法能够让单机运算的时候强制分散cpu进行同时执行,
加快效能之类的,如果不行的话就只能考虑安装虚拟机三台(不过有点麻烦),
所以想请这方面的专家是否能克服这个问题?
作者:
iamnotfat
(我不肥)
2016-03-29 10:36:00
Mapreduce 针对小档案 是感受不到他的power, 量要够大
继续阅读
Fw: [请问] 想找云端虚拟化的线上课程
newwords
[闲聊] 云端产品挑选上的疑虑
te87037
[新手] 请教关于目前市面上的云端虚拟主机?
bigbird0613
[情报] Copy 倒了, 5/1之前要把资料转出来
stanwu
[问题]关于AWS Elastic Beanstalk建置与设定
phwu007
[问题]请教关于网宿科技CDN资料
phwu007
[新手] devstack service 问题
ms0561188
[问题] 关于aws的Reserved Instances
wsybu
[情报] 幼狮职训-云端网络班招生中
YVTS
[情报] 免费AWS讲座资讯
f4111222
Links
booklink
Contact Us: admin [ a t ] ucptt.com