时间：2015年7月23日

地点：上海交通大学闵行校区光彪楼1楼多功能厅

主讲人：哈筱盈（Louisa Ha）

传媒领袖大讲堂（第六辑）

哈筱盈（Louisa Ha）

哈筱盈（Louisa Ha），美国俄亥俄州Bowling Green州立大学传播学院教授，美国《新闻与大众传播》（Journalism and Mass Communication Quarterly）主编。2007年，著作Webcasting Worldwide：Business Models of an Emerging Global Medium获得AEJMC Robert Picard奖，美国Bowling Green州立大学传播学院“新媒体研究部”创始人，主任。美国国际广告资源中心网站（International Advertising Resource Center）创建人，获美国National Association of Broadcasters，National Cable Center and英国Emerald研究基金。

1986年毕业于香港中文大学新闻传播系，获学士学位。1988年，获得香港中文大学传播学硕士学位。1994年，获得美国密歇根州立大学大众传播学博士学位。博士论文获得美国广告研究基金Lysaker奖，成为第一位获得此奖项的华人学者。1988～1991年，任李奥贝纳国际广告公司中国市场部媒介经理。1994～1995年，任美国K& L Associates市场研究顾问。1996～1997年，任美国Oklahoma大学助理教授。1998～2000年，担任国际研究机构“盖立普组织”（Gallup Organization）研究主任。2000年至今，任美国俄亥俄州Bowling Green州立大学传播学院教授。主要学术研究方向有：媒介管理、新媒体、在线广告、媒介多样性、国际传播与受众研究。独立出版著作有Essentials of Advertising Media Planning、Webcasting Worldwide：Business Models of an Emerging Global Medium等。

哈筱盈：我今天讲的题目是《2001～2010年国际顶级大众传播期刊文献调查方法使用及调查误差范例》（Use of Survey Research in Top Mass Communication Journals 2001-2010 and The Total Survey Error Paradigm）。这项研究已经发表在Review Communications期刊的一月刊中。虽然论文发表的时间不是很久，但是这项研究做了很长时间，是在2012年、2013年已经写好的论文，之后又修改了很多次。现在，我还在做一些研究，等会儿我会跟大家讲讲我最新做的研究，可以让大家了解目前研究的最新进展。

每一个人都有机会跟调查研究有关系。因为即便你不做研究，也会遇到做调查研究请你回答问卷的情况，你会成为调查研究的关键，因为所有的调查如果没有受访者的配合是不可能完成的。做调查需要很重视受访者的感受，要根据受访者的生活方式或者是答题方法去设计自己的问卷。这和其他的研究方法不一样，比如观察法，你可以偷偷地观察、研究你的研究对象，获得一些资料，而不用管对方是不是同意。但是如果你是做调查研究的，就一定需要征得受访者的同意才可以。因为受访者是你的王，你要照顾受访者的兴趣，知道他们的想法、感受，你才能调查成功。

我讲一讲为什么我花很长的时间去做这个课题。刚刚我和一些同学交谈过，有一些同学本科不是学新闻专业的，也不是学社会科学的，可能不太了解我们这方面的研究，所以我先做一些背景介绍以及为什么做这项研究。

我之所以进行这项研究，主要有以下几点原因：第一，在大众传播研究中，调查法是最常用的。虽然有很多研究使用调查方法，但还没有一个研究是了解大众传播研究中调查方法是怎么使用的以及它的使用情况。第二，我自己也教研究方法，所以看了很多讲怎么进行调查研究的教科书。但是我发现他们都用社会学、心理学等其他学科的文章或者研究作为例子，完全没有举大众传播研究的例子。这说明大众传播学研究中调查法的使用是很薄弱的，我觉得应该多做这方面的研究分析。第三，研究方法对于研究结果的确信性和可靠性很重要，所以，我们应该更深入地去了解研究方法。第四，因为传播科技的发展，调查法也在不断地演化。之前我们进行面对面的访谈，后来通过电话调查，也有邮寄问卷调查等方法，再后来是在网上填写问卷进行调查，现在最新的方式可以用平板电脑或者手机做问卷调查。第五，总体来说，做这个研究是为了推动调查方法提升质量，特别是在我们大众传播研究领域中。因为比起很多其他的人文社会科学，大众传播学还是比较新的学科，所以，我们需要建立自己的一套体系、方法，从事一些令别人信服、有权威性的研究。所以，我想做这个方面的研究。

那么，什么是调查？调查的一个很大的特点就是由受访者自己报告他们的情况。还有一个特点是调查问卷是结构性的，不是随机的，而且对所有受访者提的问题都是一样的。另外，成功的调查，其研究者一定包括有三方面的知识储备：一是要懂统计学。为什么要懂统计学？因为不同的问题有不同的结果，对不同的数据有不同的统计分析。比如问：你多少岁？如果答案是20岁，这对统计学来说就是最好的数据。但也可以问：你的年纪大概在什么区间，比如18～25岁或者26～30岁，选项有很多不同的分类，这样的话，数据就不是准确的，统计分析也不能那么准确，因为是分为不同的区间。当然，分的范围也可以更广泛一些，比如老、中、青等。所以，不同的问法会得到不同的数据。如果不懂统计学，分析问卷的时候就会有很多局限。二是对认知心理学的了解。也许你会说，我是研究传播学的，为什么要懂得认知心理学？因为你的受访者在回答你的题目的时候是要先认知你的问卷，然后给你答案。如果你不了解他们是怎么理解你的问题的，你就不能研究出一个好问题去问他们。所以，一些敏感性的题目，比如关于政治、性教育或者是青少年谈恋爱的问题，更加要求你懂得如何设计问题。如果问得不好，可能就拿不到你需要的答案。三是懂得项目管理。很多人做不好调研是因为时间管理不当、人手分配得不好等，这样就会出来很多问题，调查效果就不好。所以做调查对这三方面的知识储备都是有要求的。

另外，还要区分调查和实验。比如，先让你看一个新闻，然后让你填写问卷，请问这个算调查吗？不是的，这不是调查。因为问卷只是实验里面的一个工具，它本身不是一个目的，只是一个手段，所以不要把实验和调查连在一起。此外，还要清楚深度访谈和调查的区别：深度访谈没有固定的题目，题目通常是因人而异的。还要注意，有一种情况是：做调查，但是它的目的与实验一样。因为在美国，我们做的所有调查都要经过学校的一个单位——Human Subject Review Board，即人类研究审查委员会的评估，它要确定你做的调查没有带来负面的影响。比如，我想了解一下看色情刊物的读者对性有什么不一样的看法。因为我不能给我的参与者去看一些色情的东西，这对他们有害，所以我不能做实验。但是，我还是想研究这个问题，那我就要改变我的研究方法。我不做实验，不强迫他们看色情刊物，而是问受访者是否看过色情刊物，看过之后的情况等，这样来进行我的调查。所以，虽然它是一个调查，但是目的和实验一样。

下面我们来看，之前有没有人做过调查方法使用情况的研究。我认为这是很重要的一个研究题目，但是我和我的研究生找了很久，只能找到2008年Marcias做的这方面的研究。但Marcias的研究有一些问题，一是他用的检索词是“调查”，很多文章虽然用了调查法，但没有在关键词或者题目中写出来。那么，他用“调查”进行搜索就会漏掉很多文章。二是他挑了54个所谓的传播学的学刊。但是我发现这中间的一些学刊根本不是传播学的学刊。比如Health Affairs，怎么都联想不到它是传播学的学刊，可能偶尔里面有一两篇是传播学的论文。所以，我觉得他的研究中的样本很有问题，不能作为标准和参考资料。这就是为什么我们看文章要批判性地看，要分析它有什么缺点，然后去改善它的缺点，进行自己的研究，怎么改进研究是最重要的事。

下面讲总体调查误差范例，这是一个重要的调查研究评估框架。这个理论框架的目的是在研究者的成本限制内最大化地提高调查数据的质量，但是要考虑到成本的限制。因为很多时候调查做得不好可能是受到经费的限制，所以，在经费紧张的情况下你怎么尽量降低调查误差很重要。比如说，我在询问在座的每一位同学后，得出你们的平均年龄是23岁，这是一个准确的数字。但是我在没有时间的情况下，我抽取你们中间的30个人以估算整体的平均年龄，这样得出的平均年龄是28岁。28岁和23岁有5岁之差，这个差距是因为我们没有问每一个人，只是问了其中的一部分人。如果这部分人的代表性不够，就会和实际情况有差距。如果这部分人的代表性足够，那得出的结果应该和实际情况差距不大。所以，我们的调查要尽量接近实际情况。但因为成本的限制，所以要找一些方法去得到非常接近真实情况的数据，降低调查误差。

接下来讲一讲总体调查错误的范例的基础和历史来源。1944年，社会学已经有这方面的研究，指出有13个不同的因素影响调查的效果。在1979年，Anderson、Kasper和Frankel三个人讲到了total error这个概念，也就是“总体调查错误”。他们指出，总体调查错误基本上有两个部分：一个错误是representation errors，代表性的错误，就是说数据代表性不够。这又分为三个方面：一是coverage errors，包容性错误，要包容的样本没有包容；二是sampling errors，样本错误，样本选得不对或不好；三是non-response errors，无回应错误，就是受访者不搭理，没有收到受访者的回答。总体调查的另一个错误是measurement errors，即衡量时的错误，包括construct validity，问的问题是不是有效，以及processing errors，运作过程中产生的错误。

下面详细来讲一下。一个是construct validity，结构效度，是否找到合适的群体询问问题。举个例子，现在很多网上调查的最大问题是你已经假定了你的受访群体都可以上网。但是中国大陆还有很多地方的人没有上网，如果你用网上调查的方法就会把他们漏掉，他们的意见就不能反映出来了。另一个是sampling errors，样本的错误，这包括你抽的样本的大小是否足够。如果是足够的样本，有多样性的样本，那么，你可以得出一些结论。如果样本量不够，那么，你就不容易得出正确的结论。还有样本的来源，怎么去找调查的样本，是在班上找学生调查还是在大街上找人调查？这都会对sampling errors产生影响。non-response error，无回应错误，其发生的情况是有一些人没有回复你答案。有些人是因为没有时间，有一些人则是永远都不填调查问卷的人，他们认为要保护自己的隐私，还有的是用电话调查或邮递调查时，可能会因为地址改变而找不到受访者。再说measurement errors，衡量时的错误，这有很多方面的原因。有时候是受访者本身的问题，有时候是调查者本身的问题，有时候是问卷设计的问题，有时候是其他访问因素的影响。举个例子，通常女生做调查比男生更容易成功，为什么？因为男生通常不会拒绝女生请他做调查问卷。但是，女生会不会拒绝女生呢？一般也不会，因为女生更有亲和力，而且没有威胁性，受访者就不会那么防范、那么顾忌，所以，通常面谈访问比较成功的是女生。这就是说访问者的一些特点影响访问的效果，一般男生去做访问通常的回收率会比女生低很多。另外，如果你的问卷设计得不好，比如问卷很复杂，受访者不知道你要问什么，也是拿不到好的数据的。

然后我们再来看impact of survey mode on survey results，调查模式对调查结果的影响，是指调查模型或者通过什么渠道做调查对调查结果的影响。survey mode，调查模式，是指怎么去接触你的受访者，是通过电话、互联网还是邮递等。通常不同方法之间最大的区别是pace，即调查节奏，不同的调查节奏会影响到heuristic processing of survey questions，调查问题的启发式处理。比如说电话调查，它有很多好处，可以直接和受访者解释一些问题，而且可以做大量样本。但是它也有一个很大的问题，当你用电话调查的时候，受访者也许是随便给你答案，如果再问他，他可能就会给你其他答案了，因为他没有机会去看到这个问题，而是听你讲这个问题。电话调查还有一个问题是，虽然调查者和受访者不是面对面地进行调查，但是受访者也不会回答一些社会不接受的答案。我举个例子，一个有关电视暴力的调查，调查者发现如果是用电话调查，受访者会说电视暴力对他们影响很大；如果是通过面对面调查，受访者则会说没有影响。这说明调查的渠道也会影响调查的结果。还有一个是social desirability bias，社会接受度偏见，受访者是根据社会的接受程度做出回答，电话调查跟面对面的访谈都会有这样的情况，特别是你的题目是比较敏感的，比如关于政治或性方面的问题，这种调查最好不要用电话调查或者面对面访谈，因为你一般拿不到真正的答案。

下面再来说样本还有回收率。调查基本上有两种抽样方法：一种是probability sampling，概率性调查。概率性调查可以做很多统计分析，估计调查的误差有多大。但是概率性的样本调查也有很多问题，最大的弊端是需要很多资源。因为概率性调查需要先知道调查群体的总体人数、特征等，你要先拿到这些资料才可以进行抽样。这个资料可能要用钱买，而且会花很多时间，通常回收率也比较低。比如，我现在做一个概率性调查，如果我是问前排的几个人，那么我给你小礼品，你帮我做一些调查。但是，我想请后排的人回答问题就很难了，他可能看不到我，我也不容易去找他，这样调查的回收率就降低了。所以，有些调查没有做概率性调查，就是因为这个原因，研究者要考虑回收率低的问题。另外要注意的是，受访者不一定跟你合作。但是，我们做调查最大的目的就是拿到大量的数据、有代表性的数据，所以为了减少non-response，无回应错误的情况，鼓励受访者去接受你的问题很重要。美国民意调查协会（The American Association of Public Opinion Research，AAPOR）提供了回收率计算的四个不同标准，并把回收率分化为合作率、拒绝率和接触率。

讲了这么多背景，我们回到这项调查的目的和问题。第一，我想了解一下最顶尖的传播学刊中涉及的调查的情况。顶尖刊物的文章是经过重重的评审才可以发表的，通过这项研究可以了解高质量的调查是怎样做的，特别是他们怎么去检验调查研究中的四种常见的调查错误。另外，我还想看看这四个学刊（Journal Communication、Journalism and Mass Communication Quarterly、Journal of Broadcasting and Electronic Media、Communication Research）的项目赞助情况、调查样本情况等，因为这四本学刊代表了四个不同的学会，想看看它们之间有什么分别。我们用内容分析的方法，把2001年到2010年所有调查的文章拿过来，不抽样，看每一篇文章。第二，我们想了解一下有足够资金做的研究项目是比那些没有资金的项目错误率低还是高。第三，媒体传播科技的发达对调查研究的影响如何。

关于时间的选择，因为顶尖的学术期刊通常要两三年之后才能出版，也就是说从我投稿到发表要二至三年。所以，2001发表的文章可能是1998年写的。2001年到2005年，互联网还不是很普及，而2006年到2010年，互联网已经很普及了，所以我们的研究按照这样划分时间节点。我们挑了四个顶尖的传播学学刊，一是Journal Communication，它是国际传播学会的刊物；二是我主编的Journalism and Mass Communication Quarterly，是新闻和教育传播学会的期刊；三是Journal of Broadcasting and Electronic Media，是广播电视学术学会的刊物；四是Communication Research，它不属于任何一个学会，在往期杂志中，它刊登的教育调查研究是最多的。

这一时间段内四本期刊刊登的文章总数是1493篇，这样我们有足够的样本去做统计分析，避免样本错误。但是分析的文章太多也是不行的，我们首先挑选了2001年到2010年的文章，然后我们挑一些用调查作为研究方法的文章，最后共挑选479篇文章作为我们的研究样本，我们详细地分析它是如何使用调查法的。

分析的时候，我们把调查中使用的渠道分为八类：face-to-face，面对面调查；telephone，电话调查；mail，邮寄调查；self-administered paper and pencil without mailing，自填调查；Web，互联网调查；E-mail，电子邮件调查；Interactive Voice Response System（IVR），交互式语音应答系统调查；mixed mod，混合模式调查。

具体怎么去分析呢？

首先是看有没有用概率性的样本，概率性抽样有以下方法：simple random sample，简单抽样，是把所有的样本从1开始编码，其次随机抽样，也可以在电脑上随机抽样；stratified random sample，分层抽样，比如男女分开抽样；systematic sample，在需要分地区收集数据的时候使用；convenience sample，方便抽样，对研究者比较方便；snowball sample，滚雪球抽样，就是说我找到你之后，请你再找一个朋友，你的朋友再去找朋友，靠认识的人去找样本；还有quota sample，配额抽样和purposive/judgmental sample，目的/判断抽样。

还要分析抽样框，我要了解这些调查的抽样名单从哪里来，它是怎么去搜集样本的。一般来说，有以下抽样框：public and private databases，公共和私人数据库；college class rosters，大学的班级花名册；school district high school or elementary school student list，高中或小学的学生名单；geographic cluster，地理集群；telephone book，电话本；all eligible phone numbers as in random digital dialing，所有符合条件的电话号码，如随机电话拨号；membership directories，会员目录；mailing list from commercial vendors，商业供应商的邮件列表；online panels，在线面板；specific web site/online forum users，特定的网站/在线论坛用户；consumers on location，地方消费者等。

另外要分析研究的资金来源。我主要分析是政府出资还是大学出资，或是私人出资。而且私人投资要看它是非谋利的基金资助，还是一些公司企业资助的，因为公司企业的赞助通常是为了他们公司自己的利益，可能有谋利的目的，会影响调查。

此外要分析回收率。在做这个研究的时候，我发现很多文章对回收率讲得并不清楚。有些文章提供了回收率。有些文章没有报告回收率，如果文章中有相关材料，那我们就把它算出来。但是如果文章没有足够的资料计算回收率，我们就不再分析。

在分析时还要看文章是用什么方法鼓励受访者回答问卷。比如用重复打电话的方法或者是靠社区领袖影响人们参与调查。同学们，我想请问你们的老师有没有靠给你们分数鼓励你们答问卷？这种做法在美国很普遍，一些同学不给鼓励就不回答问题，分数不是钱，但也是一种鼓励。

我们还关注了研究者在文章里谈到的缺陷，以及他们是否为此做出了改变。他们在文章中是否提到他们在方法上的问题，为解决问题，他们有没有增加或减少什么调查？有没有使用多种媒体的调查方法？有没有增加或减少二手数据的使用？有没有增加或减少回收率？有没有用更多的方法去鼓励受访者参与？等等。

研究结果如何呢？研究发现，全部文章中，32.4%的文章使用调查方法；其中，81.8%的文章只用了调查法，而没有用其他研究方法；18.2%的文章在使用调查法之外还用了内容分析法等。

根据研究结果还可以发现，不同的学刊刊登的文章用到的调查方法也是很不一样的。Journal of Broadcasting and Electronic Media（JOBEM）使用最多的是多种媒体调查，比例达到4.6%。所以，如果以后你们要了解multimedia service，多媒体服务方面的内容，应该去看这本杂志。Journal Communication（JOC）刊登的文章使用的最多的调查方法是电话调查。

我们的研究还发现，有差不多一半的文章是全国性的调查，占比46.6%。全国性的调查之所以这么多，是因为这些都是有影响力的顶尖刊物，它们比较喜欢一些全国性、有代表性的调查研究。另外，从研究内容看，这些文章绝大部分是对观众的研究，占比56.5%；其次是对媒体的社会影响的研究，占比38.6%；最后是对媒体的个人影响的研究，占比24.25%。在资金方面，19.3%的研究有赞助。在有赞助的研究中，43.6%是大学赞助；其次是政府部门赞助，占比35.1%。其中，使用电话调查的研究获得赞助的占比最高，为37.8%。

最后讲一讲样本。61.9%的文章用的是非概率性的抽样方法，只有38.1%的文章使用了概率性抽样。Journalism and Mass Communication Quarterly是使用概率性抽样最多的期刊，有51.6%的文章使用的是概率性抽样。而对于Communication Research，这一比例为21.7%，占比最小。

我认为调查作为一种方法，从以前到现在、到未来应该还是一个主流，短期之内不会改变。我们发现从2006年到2010年有一个变化是，越来越多的研究在调查法之外还使用了实验法，以前比较多的是调查法和内容分析法一起使用。现在免费的数据越来越多，但是很多人都没有使用免费数据，基本上是自己做调查做研究。此外，研究也发现很多文章的调查法还不是很严谨，很多用的不是概率性的样本。很多时候学者是用大量的样本去弥补很多抽样的问题、错误，但很多时候没有建立它的可信性。

下面时间回答大家的提问。

听众：老师，您好！我是广西艺术学院的学生，我想研究新闻客户端用户使用率和满意度情况。我现在要找到使用这款软件的对象，那么，我想问老师什么样的抽样方式合理一些？

哈筱盈：你这个软件普及程度高吗？如果不是特别普及，你就不能做概率性抽样，要用非概率性抽样，做一些初步的研究。因为是要了解这款软件的一些情况，是可以使用非概率性抽样的。另外，如果要做非概率性抽样可以在网上发问卷，也可以通过手机上的软件发问卷。

听众：老师好！我是新疆大学的学生，我们也正在做一个社会化媒体与政治姿态的调查，目前面向全国发放了5000份问卷。我们遇到的问题是，我们在全国分发5000份问卷时，不知道应该按照什么份额来分发？肯定不能按照等额分配，因为社会化媒体在每个省的使用情况不一样。而且，就算我们这个份额设定好以后，我们找到的对象也不一定关注政治。请问老师如何保证我们的信度和效度？您能不能给一些建议？

哈筱盈：首先你要考虑回收率的问题，如果你发5000份问卷，估计能回收到1000份问卷的话，那么，这1000份够不够你做研究分析？如果1000份问卷够的话就可以做研究。其次，有一个关键问题就是你怎么找到那些受访群体？我认为面谈或邮寄等方式都可以，也可以和一些单位合作，请他们支持你们做这个研究。

听众：老师好！我也是来自新疆大学的，我的问题还是集中在数据处理上面，传播学跟经济、管理学在数据处理方面最大的区别在于我们只做简单的频次分析，例如统计数量、个数，或者计算所占的百分比，很少引用比较复杂的方法，但这样就很容易造成数据误差。我就想问，怎样平衡复杂的数据方法的引入和数据误差的出现？

哈筱盈：首先，我不同意你说传播学不用比较复杂的方法，如果你看我们学科顶尖的学刊，他们都用很复杂的统计方法。关于怎么减少误差，这涉及很多方面。比如问卷本身要设计好，这样获得的数据才可靠。我建议大家好好学习调查研究方法，学好方法就可以拿到可靠的数据，拿到可靠的数据就可以做出好的研究。

听众：老师，您好！我是武汉市中国地质大学的一个学生。我有一点疑问，刚才您说面对面访问和电话调查会得到不同的结果，尤其是关于一些敏感话题的调查。但之前我去过一个化工厂做环境污染的调查，用面对面访问和电话调查得到的结果是一样的。那我想问下这两者在什么时候的差异很大？

哈筱盈：你刚才说的环境问题，在社会上争议性不大，所以答案没有很大区别。但是如果是性教育的问题或者其他争议性比较大的问题，你用电话调查和面对面访问就会有很大的差别。所以，如果调查的题目争议性不大，就没有什么分别；如果是争议性大的题目，两者就有分别。

听众：您好，老师！我是来自河南大学的。我想问什么样的问题适合我们采用问卷调查法研究？国外学者和中国学者在运用问卷调查法时有没有什么不同？在中国社会用问卷调查法是不是真的适用？谢谢老师！

哈筱盈：第一个问题，如果你要知道某些人的心态、态度、心里想什么东西，而不是他的行为，一定要用问卷调查，因为其他的方法都不能得到你想要的东西。第二个问题，国内外有什么区别，这个我不能一概而论。我跟一些国内的学者合作，发现他们不是很讲究客观性的调查。另外，美国现在越来越注重研究怎么让别人愿意回答你的问卷。我会要求我的学生把问卷做得非常漂亮，非常吸引人，这样人家答的时候很开心，就愿意回答你的问题。但是，国内学者好像还没有注意到这一点。关于第三个问题，我觉得是可以的，因为调查可以依靠很多媒体，你可以采用面谈的方式，也可以采用互联网，我觉得调查法是任何人都可以用的。

听众：老师好！我是来自湖南大学新闻与艺术学院研一的学生，我主要想问一下关于问卷调查的问题，怎么选取抽样方法会使我们最后的信度更高？比如说，我们调查全国大学生阅读现状，涉及不同的地区，而且大学生有很多不同的类型，是集中于湖南这个地区，按照全国大学生的比例来抽样，还是到全国不同的地方，按照不同的比例抽样？

哈筱盈：这要看你有多少资金，多少时间。如果你没有资金，全国调查几乎是不可能的，而网上调查的回收率很低。你可以在你自己的大学做，但是不需要全部找传播学院的学生，最好和其他学科的学生联系做这个调查。抽样方法其实和你的研究课题很有关系，比如你的课题是研究不同地区大学生的看法，样本抽取就要照顾到不同的地区。但是，如果你的主题是不同专业的人的看法，那专业就很重要，样本抽取要照顾到不同专业。