数据会"说谎"的几个案例

林伯海

前参议员乔治·J·米切尔（George J. Mitchell）提交报告指出罗杰·克莱门斯（Roger Clemens）等其他80多位美国职业棒球大联盟（Major League Baseball）球员使用违禁药品以提高自己在球场上的表现。与此同时，这位前赛扬奖（Cy Young）得奖投手继续为自己进行辩护以证清白。在克莱门斯提交国会山立法者的证词中，还包括了一份由一家市场营销机构根据统计数字所撰写的长篇累牍的报告，以求证实克莱门斯的无辜。
　　但沃顿商学院的四位教授在2月10日出版的《纽约时报》（New York Times）上联合撰文表达了另一种观点：统计分析的有效性只适用于其中的组成个体。这一论点将会得到更多的重视，因为今天的机构和个人都试图在那些越来越庞大、复杂和密集的信息量中获取意义。

　　“现在，信息的消费者们都深陷数据之中，”沃顿商学院商业与公共政策教授贾斯廷·沃尔弗斯（Justin Wolfers）说。“对企业、工人、政府和其他活动所进行的不断测量产生了大量的数据，并且存在众多的方法来从原始数据中得出结论。遗憾的是大部分方法都引向了错误的方向。”

　　他举例说，零售连锁商店可能会对其一段时间内的运营情况进行分析，并且发现他们降低销售价格的时间段正好和整体销量下滑的时间段相一致。“那可能会让这家连锁店得出结论说低价会导致销量的减少，”沃尔弗斯说。“但可能存在真正的更深入的因果关系。在这家零售商计划提高价格以促进销量之前，他们应该对其他因素进行分析，以明确在那段时间内整体需求是否受到其他因素的影响。例如，也许该公司在滞销时期内正好在进行半年度的促销活动。如果是这样的话，那是低销量导致了价格下滑，而不是价格降低导致了销量下滑。”

　　沃尔弗斯称这正说明了将统计分析应用到商业、社会科学和其它领域所存在的固有的关键性难点。“当研究者面对实验或自然科学数据时——如医学——隔离和排除无关数据一般来说相比更容易，”他指出说，“在实验中，制药公司可以随机将药物使用到一组实验对象上，并且将无效对照剂应用到另一组对象上。如果研究人员在挑选药物的实验对象上遵循了随机的原则，那么他们可以分别得出关于药物或无效对照剂效果的结论。”

　　但要应用在商业环境并非那么容易。“在连锁商店的案例中，要孤立出其它种种因素的影响更加困难，”沃尔弗斯说。关于销售价格的变化，“有必要考虑天晴或下雨，或者天气炎热和寒冷等因素对销量和购物者行为的影响。”

　　沃尔弗斯与沃顿的统计学教授谢恩·延森（Shane Jensen）、亚伯拉罕·怀纳（Abraham Wyner），以及市场营销学教授埃里克·布莱特劳（Eric Bradlow）共同撰写了《纽约时报》上这篇关于罗杰·克莱门斯案件的文章。文章的标题为《支持克莱门斯的报告对数据进行了精心挑选》（Report Backing Clemens Chooses Its Facts Carefully）。

　　亨德里克体育管理公司（Hendricks Sports Management）撰写了那份报告以支持克莱门斯所宣称的未使用任何类固醇药物。但在《纽约时报》的文章中，学者们对该公司所采用的方法提出了质疑。“在这份克莱门斯的报告中，他们企图将克莱门斯与在1993年46岁时退役的诺兰·莱恩（Nolan Ryan）进行对比，以将这件事情化解。”作者们写道。“在这份对比中，克莱门斯的行为看起来没什么不一样：两者都在他们40多岁时收获了巨大的成功。但是如果将克莱门斯与另外两位同时代的投手蓝迪·詹森（Randy Johnson）和科特·席林（Curt Schilling）相比，也可以得出同样的结论。”

　　沃顿商学院的研究人员们称那些对比并不完全。“报告仅仅将克莱门斯与那些在职业生涯第二阶段获得成功的投手相比较，而不是与那些同克莱门斯一样在最初就取得成功的所有投手相比较。通过这个方法，报告人为地缩小了克莱门斯的数字会显得不正常的机率，”他们写道，“统计学家将这个问题称为‘选择偏向’。”

　　沃顿商学院的研究者们认为，正如零售商需要在一个价格对比分析中考虑其他选择因素对销售的影响一样，克莱门斯的表现也应该同“所有职业生涯持久的投手”进行对比。如果进行那个对比，克莱门斯在“事业第二春的表现就显得不同寻常了”，他们写道。大部分投手在他们职业生涯的早期的球场技艺会稳步得到提高，并且在30岁达到高峰，之后表现会缓慢下滑。相反，克莱门斯的职业生涯在他20来岁后期就开始下滑，并且之后在他40多岁中期时得到了提高。

　　沃顿商学院的研究者们指出，“雇佣统计学家”们倾向于选择那些会对自己客户有利的对比对象。但如果分析结果不服务于任何特定观点时，统计分析会得到如何的使用呢？金融分析、计量经济学、审计、生产和运营是其中的几个领域。在这些领域，各利益方寻找无偏置的数据，以能够在面对不确定性时做出正确的决策。

可口可乐和共同基金

　　喝可口可乐就能减肥吗？这也是一场法律诉讼的中心问题。这场集体诉讼案所针对的是可口可乐公司生产的含咖啡因的绿茶饮料Enviga的广告宣传。向新泽西州卡姆登联邦地方法院（U.S. District Court）所提出的诉讼中称，Enviga的广告宣传说“该产品能够燃烧的热量超过了饮料本身所含有的热量，从而能够减少人体热量”。

　　诉状称可口可乐所宣称的内容是基于“一份小型的短期研究的摘要，这次研究由可口可乐公司提供资金……”。诉讼文件称该次临床研究的对象是相对偏瘦的个体，并且他们的平均体重指数（Body Mass Index，BMI）为22，但“绝大部分美国人都偏重或者肥胖，”他们的BMI达到了25甚至更高，他们很可能无法通过使用Enviga来达到减肥的效果。但可口可乐的发言人称公司的研究和其结果都是有效的。

　　另一个在统计方面颇具争议的案例是三月份《华尔街日报》（Wall Street Journal）上关于德莱弗斯基金（Dreyfus Funds）的广告。北卡罗来纳州三角研究中心（Research Triangle）的独立统计顾问，也是美国统计协会（American Statistical Association）成员的大卫·彼得斯（David Peterson）说，广告宣传该公司中期收益基金（Intermediate Term Income Fund）在晨星（Morningstar）的评级中获得了四星。

　　“广告中小心地指出过去的业绩并不代表未来，却没有指出德莱弗斯基金旗下至少有19支共同基金，”彼得斯说。“即使这19支基金本质上并没有任何不一般的地方，其中最好的一支很可能一直都表现优秀。同样，最差的一支——在广告中并未提到——一般也会表现很差。”

　　他说，如果采用同样的原则考虑问题，那么制药公司“可以就新药的效果进行10次独立的不相干的测试，然后仅仅使用最有效的那一次实验结果来进行广告宣传。”

　　不信任与错误表达

　　沃顿商学院的延森教授说，在所有研究中，产生非故意误差的机率同样也引人担忧。

　　“即使所选择的样本非常优秀，但也可能会产生令人误解的结果，”他指出。“一个常见的问题就是数据挖掘。如果说分析一个大数据组的时间足够长，他们就肯定可以找到某些变量在统计学上具有的显著效应，或者不同变量组之间的差别。”但他说，遗憾的是，研究者们经常只是简单地报告他们个别显著的发现，而没有提到“在他们得到那个结果之前进行了许多次效应不显著的试验”。

　　延森认为，“对整个试验流程进行适当的报告是有必要的，以保证各种类型的试验结果都得到了表达。”但至少有两股力量经常对效应分析产生负面影响。“第一就是对统计分析的不信任，第二就是在学院派统计学家和实践者之间缺乏对话。”延森说。实际上，“我曾阅读了众多在医药、经济和社会科学领域的研究，如果他们能够与统计学家就所收集数据的分析，以及数据收集本身进行更多的探讨，这些研究就能够从中受益。”

　　布莱特劳同样对统计结果的阐述表达了担忧。“我经常告诉自己的学生说以数据为驱动的解决方案不一定能告诉你正确的答案。相反，他们能够告诉你可以排除哪些（答案），因为数据无法支持那些答案。”统计分析的真正价值在于能帮助使用者正确地辨别不确定性而不是“最佳猜测”，以了解哪些结果具有统计显著性，并且能就特定的假设情况给出答案。

　　“关键问题就在于代表性，”他说。他再次回到关于罗杰·克莱门斯的研究。“研究者们和使用者们应该关心数据是如何取得的，这些数据是否是通过随机抽样获得。如果不是，那么就应该小心其研究结论了。”

　　布莱特劳认为即使研究人员没有任何预谋，也应该对其研究结果持谨慎态度。“在20世纪90年代末期，我们在一个具有20年历史的公墓收集人口数据。数据显示相比于埋葬在该公墓内多年的人，那些埋葬时间较晚（即越靠近研究时间）的人平均死亡年龄较小，” 布莱特劳说。他将研究结果写入了一篇为《机率》杂志（Chance）所撰写的文章：《异象选择谈》（A Selection of Selection Anomalies）。

　　“数据很容易让人得出结论说年轻人的死亡率已经提高，但这个结论并不正确。”相反，他指出，如果对该研究中的数据进行分析，就会发现在公墓内所葬人群的样本必定会更多地包括那些较年轻死亡的人，这只是因为他们的出生日期更靠近调查日期，而死亡年龄只是参数之一。

　　沃尔弗斯认为要减少统计学上的错误使用，关键在于直觉的合理性，或者对研究者所使用的方法以及对各种力量之间的相互影响的了解。“重要的是了解在不同变量之后的驱动因素，”他说，“只有在了解这些之后，研究者才能更好地理解和建立因果关系。”

　　延森举了另外一个例子。“我正在参与一个为美国职业棒球大联盟外野手的守备能力建立模型的研究。研究中的一种假设是说如果球被击到他们身后的话，外野手的守备会更加困难，因为这样他们必须倒退地奔跑，而如果球被击到他们前方的话，他们只需要向前奔跑，这样会相比更加容易。”

　　但是研究结果与所假设的情况相反：在任何给定距离下，外野手倒退奔跑能接住更多的球。“这个结果看上去完全违背我们的直觉，”延森说。“但如果考虑到滞空时间（即球在空中停留的时间）你就会觉得合理了。因为球被击打得更远，那么它在空中停留的时间就会越长，这样外野手就会有更多的时间来接球，即使球被击打到他们的身后。这是一个很有意思的案例，因为案例中数据清楚地表明了我们之前推理所存在的缺点。”