以下用"数据"来回答你的问题,
因为"大数据"和"数据"有点不一样,
你的问题问关连性,其实属于数据层面问题,
还没有到大数据...
理论上做数据的人是要懂关连性的,
毕竟这也是所受的专业训练之一,
但这里有两个问题,
第一做数据的工程师不一定就懂数据,
很现实的是很多工程师是自己摸出来的,
没有"系统性"的学,
所以就不会知道数据的相关理论,
或是对数据有"不合适"的认知,
他们之所以做数据,不是因为他们懂数据,
而是因为被分到了这工作就去做,
就像自己打球随便打自己摸索也可以玩得起来,
但没人教你的话,你不会知道标准动作和战术是什么
第二就算工程师懂数据,很了解相关性,
但在现实状况下,工程师很可能用不到数据专业,
因为公司里会一堆人觉得自己"懂数据",
工程师只会被视为debug和coding的工具人,
你的PM,你的老板,甚至你的客户,
会觉得你只是工程师,所以你不懂"市场",也就不懂"数据",
他们自己就已经是满口的数据经,
所以有问题也不会咨询你,
除非你和他们关系很好,他们会找你聊天,把你当"人",
在这种状况下,当然工程师的功能就变得非常单纯,
只能评估能不能做了,能做,就做
拿你的例子来说,
就算你从数据找出出现频率第二多的单字是be,
你把这结果告诉PM或老板,他们可能会用他们的感觉说:
"屁啦,明明是and,怎么可能是be!"
你请他们看你的分析过程和方法,但他们大概就连看都不看,
你觉得最后呈现给客户看的第二多单字是be呢?还是and呢?
所以说到底就是公司专不专业问题,
公司专业的话,会有专门处理数据的人,
是真的懂相关理论和技术,
有影响力的,
职称不一定是"工程师",但有数据实作能力,不会不懂"技术"
公司不专业的话,就PM或老板压着随便找的工程师,
要做什就做什,工程师不能有意见,除非做不出来,
也就是大部份人看到的样子了
※ 引述《SHANOLINDA (shiningstar)》之铭言：
: 请教一下大数据人员需要知道数据的"关连性吗"
: 因为我之前有两个朋友都是带着数据与相关资料找.电脑工程师.
: 电脑工程师, 不需要知道数据关连.
: 只依客户要求看能不能做, 做出客户想要的东西
: 感谢指教
: EX: 从学测指考大考题, 找出教育部7000单 的 出现频率(即该相关性)