Re: [爆卦] 脸书用户IP来自台湾、中国的语言分布

楼主: cih4tw (CIH)   2019-01-07 14:43:55
我是CIH,很高兴有人问3000万FB帐号怎么取样?
以下是数据分析教学。
我们在做数据,一个最重要的是,分母的取样。
分母的取样,必须绝对完全平均分布。
若是从某粉丝页、某部份、你想的任何组合去取样,绝对完全失真。
因为全世界没人知道真正的分布。
我的撷取方式,乱数产生FB用户ID,
用爬虫跟FB Server抓取全世界3000万个乱数用户帐号(分散到全世界不同国家)。
接下来,判断用户真实IP是台湾,再判别是否是活跃用户。
从此台湾数据分析,会以这个当母体。
根据实际抓取,目前全世界FB注册帐号ID分布如下:
4 ~ 1899999999
100000000000000 ~ 100039999999999
从脸书的文件显示,目前FB帐号ID最大可以到100099999989999,
现在FB新帐号ID实际已经用到10003XXXXXXXXXX(我系统抓取实际显示数据)。
有人可能会好奇,脸书ID从4号开始,4号是谁?
可以看一下我脸书之前的贴文:
https://www.facebook.com/2691681504190564
最后,最近我重新抓取全世界脸书帐号,原因是,有些帐号会被砍,有些新帐号会出现。
需要重新让母体取样分布正确,定期需要重新抓。
另外,我之前在帮客户做‘电子商务’用户长相分析与喜爱,发现几个条件组合下,
所剩的母体取样不足,因此我必须‘加大’分母取样数。
今天已经抓到全世界6690万的用户帐号,再过一段时间,破1亿个FB帐号,就停止取样。
这些资料可以知道全世界用户社群关系,用来解析人类行为。
※ 引述《cih4tw (CIH)》之铭言:
: 数据分析:CIH 陈盈豪
: 专长:暴力型逆向工程破解、暴力型脸书爬虫
: 用爬虫扫全世界3,000万笔脸书用户帐号,抓出其中IP来自台湾、中国的帐号
作者: r02182828 (觉醒的米虫)   2019-01-07 14:45:00
楼下说跟我想的一样
作者: YJM1106 (YM)   2019-01-07 14:45:00
有神快拜
作者: nicehsing   2019-01-07 14:46:00
推~ 毒王
作者: SupCat (空空)   2019-01-07 14:46:00
先推
作者: VVizZ (我很穷)   2019-01-07 14:46:00
看不懂
作者: pnsboy (mmm)   2019-01-07 14:48:00
是当年大同那一位吗 神人
作者: popobbs ()()   2019-01-07 14:48:00
神人推
作者: geordie (Geordie)   2019-01-07 14:49:00
真正的资料探勘
作者: widec (☑30cm)   2019-01-07 14:50:00
神人
作者: luck13406 (ONFK)   2019-01-07 14:50:00
在此跪拜
作者: legendmtg (CLANNAD)   2019-01-07 14:53:00
原来你换新帐号了 sketch不见还以为你不用PTT了
作者: kuanyuu (鲁蛇哭霸主)   2019-01-07 14:59:00
太神啦!
作者: pooznn (我~~~是来被打脸滴!!!)   2019-01-07 15:00:00
这种爬法 不会被BAN吗?!
作者: node1 (我是主节点)   2019-01-07 15:02:00
写CIH病毒的那个吗?
作者: shala (沙罗)   2019-01-07 15:19:00
大数据要run好久,辛苦了
作者: sd2567 (starseed)   2019-01-07 15:36:00
毒王
作者: sxskr1001 (kerker~)   2019-01-07 15:37:00
作者: a181w   2019-01-07 15:49:00
猛猛
作者: galusx (galusx)   2019-01-07 15:53:00
大同之光 cc

Links booklink

Contact Us: admin [ a t ] ucptt.com