Re: [问题] 想在Scala的RDD物件中更新变量

楼主: popcorny (毕业了..@@")   2017-03-20 22:39:15
※ 引述《iwantstronge (...)》之铭言:
: 版友们好~
: 最近刚学Scala, 有个问题卡了很久
: 当我把档案用RDD读进来:
: val input = sc.textfile("myfile.txt")
: 接着逐行读取这个档案(RDD),
: 在里面用一个容器(HashMap, Array, List之类的)储存每一行的一些资讯
input.map(line => (line, 1)).reduceByKey(_ + _).collect
回传是一个tuple array 自己再转回HashMap
更简单的是
input.distinct().collect
作者: iwantstronge (...)   2017-03-21 10:56:00
感谢回复,其实我会想转成HashMap主要是时间效率好如果资料量太大是否就只能以RDD来处理?lookup()之类的~~ 但是时间效率很差~
作者: v9290026 (CH)   2017-03-21 20:06:00
lookup多大?有没有考虑broadcast放不放得下或nosql

Links booklink

Contact Us: admin [ a t ] ucptt.com