1.转录网址︰
https://www.facebook.com/tsemin.lin.9/posts/3575251552496620
2.转录来源︰
Facebook Tse-min Lin
UT Austin 林泽民教授
3.转录内容︰
纽约时报于10/27-10/31在佛罗里达州实施民调, 其样本中可能投票的选民数为N=1,451,
纽时报告的抽样误差为3.2%. 民调结果拜登领先川普47-44, 这领先程度有统计显著性吗?
关于对比式选举民调的抽样误差, 我曾写过一篇科普文章指出一般媒体在报导时的错误解
读. 此因媒体通常只报告单一比例的抽样误差, 而对比式民调着重的不是单一比例, 而是
两位候选人所获支持度比例的差距. 此差距的抽样误差可达单一比例抽样误差的两倍, 但
必须用特别公式来算. 这篇文章请见:
<对比式选举民调的错误解读>
http://blog.udn.com/nilnimest/24057891
然而, 这里还有一个附带问题, 那就是有效样本数的问题. 这里所谓“有效样本数”
(effective sample size)并不是统计分析中除去遗漏值之后的“有效N”(valid N),
而是在调整受访者代表性之后的“加权样本数”(weighted sample size) 下面我会说明
纽时所报告的抽样误差其实是根据“有效样本数”调整过的单一比例抽样误差. 要算两个
比例差距的抽样误差也必须用 “有效样本数”来算.
一般民调样本因为不是使用“简单随机抽样”(simple random sampling)得到的结果,
母体中每人被抽到的机率并不一致. 因此, 样本中某些族群的代表性并不能反映它们在
母体中的代表性. 为了让各族群在样本中的代表性和母体一致, 样本必须经过加权处理.
这个加权步骤所使用的权重通常会存为资料中的一个变量, 其数值代表样本中每个受访者
所代表族群的权重.
例如在TEDS2020合并档中便有这样的一个权值变量w, 它的值介于0.295至3.474之间, 其
变异范围反映了各族群在原样本中的代表性与它们在母体中的代表性差异的程度.
由于加权的关系, 原来的样本数已不能有效反映加权后的样本数, 因此有所谓“有效样本
数”(effective sample size)的概念, 有效样本数的计算方式因加权方式而异, 一个最
简单的算法是
ESS = (所有受访者w之和的平方)/(所有受访者w之平方和)
加权后的有效样本数会比原样本数小. 以TEDS2020原样本数N=2,847为例, ESS=2,359,
也就是加权后的有效样本数只有原样本数的83%.
我们如果以加权后的有效样本数来计算抽样误差, 则调整后的抽样误差会比根据原样本数
算出的抽样误差还大. 这个差异, 可以说是因为实际样本之抽样设计与简单随机抽样不同
而造成的, 我们定义“设计效应”(design effect)为:
DE = (加权后抽样误差/简单随机抽样误差)^2
由于抽样误差之平方与样本数成反比, 上式也可导出
DE = 原样本数/加权后之有效样本数
再以TEDS2020为例, DE=1/0.83=1.21. 换算可以得到加权后的抽样误差是原抽样误差的
1.1倍.
纽约时报报告其于10/27-10/31在佛罗里达州民调可能选民数为N=1,451, 抽样误差为3.2%
这抽样误差是加权后抽样误差. 这是因为以标准的公式来算简单随机抽样的抽样误差
(margin of error)应为
MOE = 1.96(π(1-π)/N)^(1/2)
其中π为母体比例; 在无其他资讯时, 通常会假设为0.5. 若以此公式来算, 则佛州民调
的抽样误差应为2.6%. 纽时所报告的抽样误差要高出很多, 应为加权后的抽样误差 如果
真如此, 我们可以根据加权前后的抽样误差来算佛州民调的设计效应:
DE = (0.032/0.026)^2= 1.51
有了设计效应的估计值, 我们就可以算有效样本数了: 它只有ESS = 961
佛州民调结果拜登领先川普47-44. 我们现在可以用有效样本数来算拜登领先差距的抽样
误差了. 我在网上有公开的试算表欢迎下载使用:
https://tinyurl.com/y4evsyl5
计算的结果是抽样误差高达6.03%: 拜登领先的差距其实还在误差范围之内.
佛州的胜负还在未定之天!
注意: 如果以原样本数N=1,451代入试算表, 则抽样误差为4.91%, 比6.03%要小得多.
后记:
台湾的媒体在报导对比式民调的结果时, 似乎都还在报告以“简单随机抽样”为假设的
单一比例抽样误差, 而未考虑设计效应. 这个抽样误差本来就太小, 再加上对比所产生
的问题, 可以说是双重的误导! 美国媒体的民调报导近年来有进步. 除了纽时一向就报
告根据设计效应调整过的抽样误差以外, 有些民调机构也报告了对比式民调抽样误差的
正确解读方式. 有兴趣的读者可以参考Pew Research Center这篇解释抽样误差的文章:
“5 Key Things to Know about the Margin of Error in Election Polls”
https://tinyurl.com/y4kmkjf4
4.附注、心得、想法︰
帮觉得TL;DR的人做个简单摘要
纽时公布的佛州民调，抽1451人，抽样误差3.2%
这里的抽样人数是受访人数，抽样误差则是加权后的误差值
以该误差值回算加权下的有效样本数为961
另外根据文中连结的<对比式选举民调的错误解读>
解读对比式民调，两人支持度差距要达统计显著性，
不能只看两人支持度差距是否大于抽样误差
因为对比甲乙两人的支持率
甲的支持率p，乙的支持率1-p，两人差距是 p - (1-p) = 2p-1
2p-1的误差，是单一p抽样误差的两倍
另外还要考虑调查的不完全表态
95%信心水准下的支持率差异的抽样误差为
https://i.imgur.com/4YqQDJ2.png
两人支持率差值要大于上述公式算出的误差
才能称得上是具有统计显著性
综上，纽时这份民调，川拜两人支持率的差距在统计上是不显著的