Re: [请益] 如何踏入Data Mining/Engineers领域

楼主: NUKnigel (简简单单)   2014-07-26 11:15:32
※ 引述《DrTech (科技博士)》之铭言:
: 最近我注意到相关职缺的公司有:
: 广告分析: Vpon、Appier
: 电信业: 远传、台湾大哥大
: 电子业: 台达电、中强光电、和硕联合
: 财团法人: III、ITRI
: 资讯服务: Trend、HTC
: 其他: 蓝科数位、新蛋
本鲁务农,CS背景,每天经手的资料,其实也不到PB等级,T等级还是有
但是在台湾,算是资料有真正落地的少数
在农场一开始是负责做ETL,资料清整
后期才帮忙做资料分析,资料模型
云端在初期,只是为了拿来叠资料(因为比起一台上亿的DB,真的很便宜)
还有用hadoop hive做一些资料汇整,分担DB的工作量
后来还上了一些报导,说加快xx处理速度xx倍...
后期有开始拿来做一些data model, data mining
常用的工具有:HBASE, MR, MAHOUT, OOZIE, Hive, STORM, IMPALA
也有接触过nutch, solr, 跟一些text mining工具
不过云端技术,还是以汇整资料为主
等资料较小量之后,会再用R, WEKA之类的工具做资料分析
Visualization也有导入一些
以下为我对一些产业的了解...
台达他们IOT在新事业部门,所以资料也还在空中
不过资料分析的需求是有的
但是主要的工作,还是以资料如何纵向串接为主
(不过有关新事业部门的资讯,可以去科技版爬文一下)
另外Vpon分析资料,因为只以行动资料为主
其实等到后期,模型成长会有限,因为资料属性变化不大
到时候"可能"公司只需维运人员即可
但去练练功应该满好玩的
Trend 有朋友的朋友在里面,听说是以HBase为主
但资料也还在空中,还没落地
要如何透过分析获利,也还在摸索
至于本农场,最近可能会开缺
但在发明家上任之后,里面的人都想走
虽然穿不暖,至少吃得饱,是唯一的好处
假如要真的分析到PB等级的资料
国外(包含中国)会比较有机会
我觉得分析久了,工具都是其次,最重要反而是domain knowhow
所以不用太追求,一定要挂big data,还是cloud
先有一些实际分析经验比较重要
以我们农场来说,资料分析出来,还是要跟前端行销人员讨论
最后也是由他们决定一先方案,我们只是辅助的性质
至于CS底重不重要,我自己会因为open source许多功能还不完全
这时候就需要用java写user define function
或者是某些运算sql语法不支援,还是mahout没有,就只好写MR
所以还是要看工作上会运用到什么为主
作者: MOONY135 (谈无欲)   2014-07-26 11:22:00
求大腿阿...
作者: Su22 (装配匠)   2014-07-26 12:17:00
先进农业
作者: normanshi (原则就是原则)   2014-07-26 13:27:00
太先进了!
作者: fr75520 (几味)   2014-07-26 14:14:00
农场给掱阿 (认真
作者: lovdkkkk (dk)   2014-07-26 14:51:00
推 工具都是其次
作者: aacs0130 (湛靈)   2014-07-26 17:41:00
请问大大在哪个农场呢?
作者: hicoy   2014-07-26 20:05:00
种花的?
作者: ryanlei (雷恩雷)   2014-07-26 23:51:00
可能开哪类的职缺啊?

Links booklink

Contact Us: admin [ a t ] ucptt.com