Re: [问卦] 大数据big data是不是过誉了

楼主: ALL4927 (喔!是927)   2017-04-05 00:46:21
看到这个小鲁也想来分享一下
本鲁目前是在某个中型金融保险产业做网站数据分析
虽然美其名是跟big data有点攀上关系
但实际上.....主管根本啥都不懂
往往在做的事都只是在检视数据,说明一下发生了什么事
一年累积的资料量大概也只有1、200万左右
而且资料准确率还是一个很大的问题,原因就是没钱很难做好追踪Q_Q
不过前两天跟一位在欧洲工作的亲戚聊了一下
他在欧洲也是做数据分析,听他分享的数据量才见识到什么叫做"大"数据
基本上一次要分析的量起跳都是百万为单位,一两千万的量也是很常见
而每一笔资料都还带有2、300个字段值
所以每次要计算跟分析资料其实都需要靠外部资源来处理
最常见的就是把资料全部先丢到AWS,再用AWS的服务器做处理
不然一般公司也不见得养得起这种规模的硬件设备
至于工作内容其实挺无趣的(据他自己所说啦XD)
无非就是针对巨量资料做处理,从里面找出一些趋势来建模型做预估
之后就是针对这个模型不停地去做优化
往往从开始分析到模型出来再开始优化大概就是半年的时间
之后....就每天爽爽做自己的事等著被挖脚XD
他是认为难的都是在一开始写算法,后面优化部分其实只是修改不难
毕竟如果一开始就做错接下来什么都不用玩了
看他LinkedIn上面资料,基本上每个工作大概都是做不到一年就被挖走
从有线电视、线上购物到博弈公司,每个产业跳来跳去
所以big data不是只适用在特定产业,只要有好好收集数据都很有潜力
而他自己是认为big data的精随是在于"预测"
那些拿过去资料整理得很精美的报表说穿了都是垃圾
重点是在于你怎么用这些资料来建立模型并提高准确度来预测接下来会发生什么事
那些政府统计报表就别出来给人家笑了
而薪水部分,这类型的职缺基本起跳大概是5、6万欧元,之后做得好被挖脚就很难说了
像他被挖四、五次了,薪水应该是爆炸高(但我也不好意思问人家年收入多少就是了)
至于前面有人回文说文组还有机会我觉得有点在误导
我这位亲戚从大学到博士都是跟统计领域相关,这块说起来其实还是偏向理组
而且到后面做建模跟分析都要用到大量数学公式
一般文组的科系要碰到的机会真的不多
以上大概就是最近跟他聊天的一些心得八卦分享
作者: a000000000 (九个零喔)   2017-04-05 00:49:00
你的意思是哈哈文组哈哈 这样吗?
作者: majorleague1 (一起加入型男的行列吧!)   2017-04-05 00:50:00
文组什么都不会然后当主管比你高薪这样吗

Links booklink

Contact Us: admin [ a t ] ucptt.com