来源:https://www.thenewslens.com/article/178461
电话、网络民调的数字可信吗?年轻族群比例过低时,加权数据会带来什么问题?
我们想让你知道的是
每到选举年,民调数字几乎每周都会出现。媒体报导的焦点,往往是哪位候选人领先、哪
位候选人落后。毕竟这种赛马式的民调数字,最容易引起民众的关注。然而这些数字起伏
之间,其实潜藏着诸多“猫腻”...
文:俞振华(政治大学选举研究中心研究员、政治学系教授)
Take Home Message
科学性的民调必须具备信、效度高的问卷题组、标准化的调查方式、代表性的样本,以及
严谨的资料分析。
市话调查的样本具涵盖率的问题,但在成本考量下能改善的空间相当有限,而网络调查也
有自愿性样本造成的偏误。
民调的结果势必存在各项偏误,唯有理解民调的各项限制,才能更全面地解读数字背后呈
现的民意。
每到选举年,民调数字几乎每周都会出现。媒体报导的焦点,往往是哪位候选人领先、哪
位候选人落后。毕竟这种赛马式的民调数字,最容易引起民众的关注。不过,这些数字起
伏之间却潜藏着诸多“猫腻”,我们应该要对不同的民调方法有初步的了解,才能正确地
解读民调数字真正代表的意义。
民意调查能诚实呈现调查数据吗?
透过问卷调查的方式搜集资料,是社会科学研究最常使用的研究方法之一。现代的民意调
查借由设计好的问卷题组,依既定的调查方式询问具代表性的样本,进而以受访样本的回
答推论出母体的态度或行为。换句话说,一个科学性的民意调查研究,必须具备:
信、效度高的问卷题组(注1)
标准化的调查方式
代表性的样本
严谨的资料分析
上述项要素缺一不可,也是我们用以检视各项民调数据良窳的重要基准。
以一般选前的民调来说,我们在解读数据前应该注意:问卷题组是否可以探知民众真正的
投票意愿及支持倾向?不论采何种调查方式,是否依照既定的标准程序?是不是每一位选
民(20岁以上的民众)被抽到成为受访者的机率都相等?以及在资料处理、分析的过程当
中,是否采用适当的统计方法,诚实地呈现调查数据?本文主旨是盘点各种选举民调方式
的差异,主要聚焦在调查方式与样本代表性这两项要素。
电话民调的潜藏问题
目前我们最常看到的民调方式就属电话民调了。近年来,由于“唯手机族”(即只使用手
机而不使用市话)的人口快速增加(约已超过30%),尤其是年轻、都会族群几乎都以手
机为主要通讯工具,因此许多电话调查都已加入手机样本,藉以增加年轻族群的涵盖率,
所以在一波调查当中会同时包括市话及手机的样本。
但这种结合市话与手机样本的调查方式,在今(2022)年地方选举的调查中却不常见。主
要是因为手机调查没有区域号码,无法得知受访者究竟位于哪个地区,必须要多增加一个
题目来过滤,例如访问一开始就问:“请问您的户籍是否在台北市?”由于这样的过滤方
式大幅增加访问成本,因此并不常见。导致目前针对地方选举的电话调查,仍以传统的市
话调查为主,无法涵盖唯手机族。
只用市话调查最还存在一个显著的问题 年轻受访者的比例过低。以台北市为例,20~29
岁的民众约占全体市民的12~13%。但一般市话调查在没有加权的情况下,样本当中20~
29岁受访者的比例如果有6~7%就不错了。在此情况下我们能透过加权让样本的分布比例
和母体相当,等于是将每个年轻受访者意见当成两个来用(即权重约为2)。
虽然事后加权已是调查实务界普遍的作法,但这是奠基于一个很强的假设:受访者的态度
与未接受访问的态度并没有显著的不同。如果接受市话调查的年轻族群与其他年轻族群(
例如唯手机族)在态度上有很大的不同时,加权两倍等于让样本的偏差更大(注1)。
此外,由于市话调查中的年轻样本数太少,我们在解读年轻选民的态度时须更注意,毕竟
若存在少数几个极端的样本,加总起来后就有可能让整群年轻选民的态度产生相当大的偏
误,加权后甚至影响全体民众的估计,不可不察。
另外,市话调查的抽样单位是“户”,并不是“个人”。在成本考量下,目前坊间已很少
有调查会进行户中抽样,多半采任意成人法,即接听电话者就是年轻族群比例过低时,加
权数据会带来什么问题? 受访者,而不再从家户中再抽出特定个人来回答问题。
这等于假定每户中所有人接电话的机率是一样的,但显然这样的假定在人人有手机的情况
下更不切实际。毕竟许多人(特别是年轻族群)就算家中有市话,也是以手机为主要对外
联系工具,几乎不会接起家中市话。因此,市话调查的涵盖率不足,已是目前调查界共同
的隐忧,但在成本的考量下,能够改善的空间相当有限。就算加入手机调查来解决市话调
查涵盖率的问题,也有很多限制与作法上的差异。
目前还有一种常见的“双底册调查”,往往是市话、 手机各打一半的样本数,加总起来
后再加权。然而,这样的作法其实并没有理论依据。试想,有大约六成的民众同时有手机
及市话,他们被抽到的机率和只有市话或只有手机的民众是不一样的。再加上手机使用者
和市话使用者接听电话的机率,又与诸多人口变量(包括性别、年龄、教育程度)相关。
所以,两种样本间存在的诸多差异,都使得双底册调查的事后加权方式更加复杂。
目前不论是学界或是实务界,仍未找到“最佳”或是“标准”的样本合并模式来解决上述
问题,只是在不同的理论假定及成本考量下,因地制宜找出相对“较佳”的样本配置模式
。
Photo Credit: 科学月刊
年轻族群比例过低时,加权数据会带来什么问题?
举例来说,假设某调查单位经过随机抽样程序,透过电话调查访问了1000位受访者后再依
年龄加权, 结果如表一。
加权前,有57%的民众对于某个政策表示赞成,43%的民众表示反对。但其中问题显而易
见:60岁以上受访者的比例多达40%,
年长者又多持赞成态度,20~39岁年轻族群的态度则被低估,因为样本比例仅为母体的一
半。透过加权重新调整分布比例后,
20~29岁及30~39岁不赞成者分别从5%、6%增为10%、12%,加总后有51%的民众表示
不赞成这项政策。加权前后双方从快六成的民众赞成转变为正反各半的两极分布。此外,
假设这次接受电话访问的是少数年轻受访者,对于该政策多抱持不赞成态度(表二),则
加权后造成的偏差显然会更大:即20~39岁年轻族群在表一中不赞成的比例有22%,表二
加权后增至30%