Re: [问卦] Big data跟统计有什么差?

楼主: RonaldFisher (费雪)   2015-09-02 21:17:38
※ 引述《apple123773 (逆水)》之铭言:
: ※ 引述《Azuviir (Azuviir)》之铭言:
: : 这个名词近几年很红
: : 很多公司都想跟上这股潮流
: : 小鲁最近也研究了一下
: : 发现:干!这不就是统计分析吗?
: : 根据网络上的一些定义来看,大数据不就是样本数接近母体的统计分析而已吗
: : 为什么这个名词会突然窜红
: : 是因为从电脑投入商业以来几十年样本累积够了才窜红的吗?
: : 有没有大数据跟统计分析有什么差的八卦?
: 大数据(26名:海量数据or巨量数据)
: 基本上来说是媒体把他用烂了
: 以媒体上的大数据几乎都是传统的统计分析
: 传统的统计分析需要因果关系
: 然而在大数据来说他不太看因果关系
: 他看的是开放系统中的开头与结果
: 有时可能会直接把中间的过程当成没看见
: 甚至有些在统计分析是很严重的错误
: 例如某个完全正相关的图形在大数据看来很有可能是一个好data
: 但在统计分析上却是一个没有用的数据相关
: 因为美国人孔盖的事故率会跟电缆线年代有关系吗?(引用 大数据
: 也因此他是资料挖掘而非只专注在本业上的数据
: 使得不读书的媒体直接把两者等同
: 而本国也没有这些师资
: 所以你只要看到目前的资料处理或者大数据处理几乎都是换汤不换药
: 不过假使您真的要学可能要先有数据库管理的基础再来说
你讲的并不对
统计是统计 big data是big data
如果你将big data跟统计的相关 回归这些扯上关系 就太小看big data了
data mining是统计 time series / nonparametric / MANOVA 这些都是统计
是一种成熟的工具/手法
big data就吾人所知就是辞意上的big data , 借由大批量的数据去萃取出一些资讯
例如 时雨量 : 假设苗栗8月的观测站有每个站点的时雨量记录
假设有120个观测站 8月共有31天 总共有89280组数据
这就是一组时雨量big data
你问我这个有什么用?? 单看一个月可能没用 但是看完一整年365天共105万笔data后
运用许多资料观测手法会有些发现 : 举例某站8月上限值固定卡在200毫米就上不去了
推估: 8月该观测站雨量记录可能故障了 / 实际调阅相关资料发现果然异常并作修复
顾名思义借由分析大量资料去获得个别甚至萃取出独特资讯
需要的是强大的数据库整理手法 or bubble sort概念 而不是统计
有错再请确切使用神版友强大更正~
作者: Kirto (疯中蟾蜍)   2015-09-02 21:18:00
了解
作者: dtdon1699 (赤羽大人)   2015-09-02 21:18:00
作者: whccpl (喵派)   2015-09-02 21:19:00
这么认真干嘛
作者: thomas0229 (哩麦岔)   2015-09-02 21:19:00
就data maining嘛
作者: alan1943 (艾伦消失的旧时光)   2015-09-02 21:20:00
快推不然别人以为
作者: qui0914 (Q)   2015-09-02 21:20:00
为什么是bubble sort? 小弟不懂
作者: whccpl (喵派)   2015-09-02 21:20:00
是data mining
作者: stosto (树多)   2015-09-02 21:20:00
data mining不是统计 是统计可以用来做data mining
作者: kurakidream (随波逐流)   2015-09-02 21:22:00
资料量太大 需要不同的处理方式
作者: shadow0326 (非议)   2015-09-02 21:22:00
data mining是big data里面其中一个步骤
作者: watashiD (watashiD)   2015-09-02 21:23:00
还是请一个懂系统生物的来讲吧o'_'o
楼主: RonaldFisher (费雪)   2015-09-02 21:24:00
data mining不是big data, data mining很多大学已经
作者: ams9 (大发利市)   2015-09-02 21:24:00
讲那么多 大数据还是需要统计能力呀 分那样仔细太闲腻
作者: konanno1 (konanno1)   2015-09-02 21:24:00
水喔
作者: gn00291010 (居恩)   2015-09-02 21:24:00
推你id 不过大数据更重要的是资料是动态的
作者: liar5566 (我只是她的寝具)   2015-09-02 21:27:00
所以苗栗观测站的统计器修好了吗?
作者: iyaicharles (0.0)   2015-09-02 21:48:00
Big data bubble sort?你认真的?
作者: DIDIMIN ( )   2015-09-02 21:54:00
你这个只是主成分分析的概念而已
作者: suyuan (硕源)   2015-09-02 22:30:00
bubble sort ...... 重修吧
作者: fakespace (虚空)   2015-09-02 22:33:00
你这叫维运,不算大资料吧。

Links booklink

Contact Us: admin [ a t ] ucptt.com