为什么不要买彩票？为什么不要去赌场？为什么商家会知道你怀孕了并给你寄来纸尿裤优惠券？如何科学看待基金公司令人炫目的业绩公告？《赤裸裸的统计学》将为你揭开谜底。

作者：查尔斯·惠伦，长期担任《经济学人》杂志记者，现任芝加哥公共电台WBEZ节目财经记者。曹槟译，2013年11月，第一版。

第一章   统计学是大数据时代最炙手可热的学问

我注意到一个有趣现象，学生们在课堂上常常抱怨统计学多么的难学和无关紧要，可一离开教室，他们也会开心的讨论某位球星的击球成功率，他们会指出美职联传球效绩指数的不当之处。传球效绩指数反映了描述统计学的优势和劣势，仅一个数字，你就可以知道运动员在比赛中的大致表现，但你无法从这个数字中读出运动员在比赛中的运气是好是坏，不知道他是否传了一个漂亮的过人球，却被愚蠢的队友错过了。

再来看基尼系数，实际上它和传球效绩指数没有多大区别，都是将一系列复杂数据浓缩成一个数字的工具。基尼系数用于衡量一个国家财富分配的公平程度，最小为0，最大为1，在一个财富均等的国家里，基尼系数是0。相反，如果一个国家的所有财富都集中在一个家庭，那么这个国家的基尼系数等于1。根据美国中情局（顺便说一句，这是一个数据收集机构）统计，美国的基尼系数为0.45。来看其他国家，瑞典为0.23，中国为0.42，南非为0.65，我们能感觉到美国在收入公平分配方面相对落后。1997年美国的基尼系数为0.4，但在接下来的十年里，基尼系数就上升到0.45（该数据为中情局2007年统计）。这就客观的告诉我们，在这十年的时间里，美国虽然变得更加富裕，但财富的分配也变得更加不公平。那么，基尼系数是否就是最完美衡量社会分配公平程度的指标呢？绝对不是，不过它是一种便捷易懂的形式，为我们提供了一个重要社会现象的一些宝贵信息。

学习统计学的意义是什么？总结大量数据，做出正确决定，回答重要社会问题，认识并运用那些能够改善我们日常做法的模型，卖出更多的纸尿片，抓住更多的罪犯。

某个学生数学考试成绩是43分，这一绝对分数并没有太多的意义，但是将原始分数带入所有学生的数学成绩中做对比，那么含义将会得到大大的丰富。

标准差也是一个能够帮助我们在一大堆杂乱无章的数字中发现真理的统计数字。我们用它来衡量数据相对于平均值的分散程度。根据标准差，我们可以知道所有观察数值的分散情况。方差和标准差是测量描述数据分布的离散情况最常用的统计学技巧，体现各个数值距离其平均值的距离远近。值得注意的是，在计算时需要对具体数值和平均值之差进行平方，然后再用平方数之和除以数值的个数。由于在计算方差时对每个数值和平均值之差都进行了平方，因此那些远离平均值的数值及异常值就会被放大。在描述统计学中，方差很少被直接应用于结论当中，而是作为计算标准差的一个中间环节，而标准差才是一个更为直观的描述性数据。标准差就是方差的平方根。

现在向大家隆重介绍统计学中最重要、最常见的分布之一：正态分布。数据分布一般来说都是对称的，以平均数为中轴，呈现出类似“钟”的形状。比如，美国成年男性身高分布是对称的，要么比70英寸的平均身高略高，要么低，而且越接近平均值人数越多。

描述统计学为我们所关心的现象打开了一扇窗，让我们更接近事实的真相。下面我们来看过去30年美国工资水平的变化统计数据，我们可以得出有关中产阶级经济状况的各种结论，但都不会共同指向一个唯一正确的答案。可以看到典型的美国工人挣着中位数的工资，原地踏步将近30年，但处于第90百分位的富人们就好的多。

虽然统计学是扎根于数学土壤的，而且数学又是一门以准确著称的学科，但是使用统计学来描述复杂现象，这一过程并不是精确无误的，这就为掩盖真相创造了大量空间。马克吐温有一句名言是这样说的，谎言有三种：谎言，该死的谎言以及统计学。

首先，我们应该弄明白精确和准确这两个词之间至关重要的区别，这两个词不可相互替代。精确反映的是我们描述事物的精度，比如在描述你从家到公司的距离是41.6英里就比大约40英里更精确，将精确和准确混为一谈是要付出代价的。

我们的老朋友平均数和中位数同样会被心术不正的人利用，平均数就是所有数据求和之后再除以个数，中位数就是一组数据，最中间的那个点，有一半数据位于这个点之前，另一半数据位于这个点之后。所以如果出于某种考虑想要让这组数据描述时显得数大一些，那么我们会选择求它的平均数。如果我们想让数字看上去小一些，肯定会将关注点放在中位数上。举个例子，美国前总统小布什推行减税政策，根据小布什的说法，政策将惠及绝大多数的美国家庭，相关政府官员指出，将会有9200万美国人享受减税待遇，人均减税额超过1000美元。但是9200万美国人都可以少缴纳1000美元的税款吗？不是的，实际上减税额的中位数还不足100美元，只有数量较少的巨富们才有资格享受到减税。

统计学的一个重要角色就是描述数量，我们经常使用百分率来描述这些变化，因为百分率能够让我们相对直观的有一个比例和背景的感受。百分率不会撒谎，但他们会夸大其词，让增长出现爆炸的方法之一就是与一个非常低的起点进行百分率比较。除此之外，百分率的另一面也是很可怕的，那就是一个庞大数额的微小比例也会是一个很大的数字。同时，只要是对一段时间内的数字变化进行比较，肯定离不开一个起点和一个终点，但有时候我们能够通过操纵这些点了影响表达。

有一段时间，每当我打开（NFLX），就会弹出一条收看提示，建议我观看纪录片《布托》，一部关于巴基斯坦前总理的生平与悲惨遭遇的电影。毫无疑问，这些影片是我非常喜爱的。奈飞（NFLX）公司如何做到这一点？他掌握了一些非常复杂精密的统计学手段，他甚至根本不知道我是谁，但却知道我过去喜欢看什么类型的电影，因为我曾经在网站上为这些电影打过分。基于这一信息，再加上其他用户的评分，以及一台电脑，奈飞（NFLX）公司对我电影品味的预测精准的令人震惊。最重要的一点是，所有这一切都基于相关性。相关性作为一个统计学工具的魅力就在于将两个变量的关联精炼成一个描述性数据——相关系数。相关系数越接近1或-1，变量间的关联性就越强。如果相关系数为零或接近零，则意味着变量之间不存在有意义的联系。相关系数不受变量单位的限制，我们可以计算身高和体重之间的关联性，哪怕是身高和体重的单位不同。

我们必须牢记一点，那就是相关性并不等于因果关系，两个变量存在正相关和负相关的关系，但这并不代表其中一个变量的改变是由另一个变量引起的。举个例子，学生的SAT成绩和家里的电视机数量呈正相关，但这句话并不是说望子成龙的家长们多买电视，孩子的成绩就能提高，也不是说学生在家里看电视有助于提高学业成绩。美国教育委员会提供的数据显示，家庭年收入超过20万美元的学生，他们的SAT数学平均分为586，而家庭年收入低于2万美元的学生，他们的SAT数学平均分仅为460。与此同时，年收入高于20万美元的家庭也极有可能拥有多台电视机，电视机的数量势必要多于年收入低于2万美元的家庭。

1981年，美国施利茨啤酒公司斥资170万美元巨资开展了一场大胆的市场营销活动，在美国橄榄球超级杯大赛中场休息时间，当着全球亿万电视观众的面，现场直播一场别开生面的啤酒品鉴会，施利茨啤酒挑选的对手不是别人，正是死对头米切罗啤酒，参加品鉴会的不是别人，正是100名米切罗啤酒的忠实用户。你肯定会觉得施利茨啤酒的口感一定很好，否则哪里会有勇气这样干。那可不一定, 施利茨只需要生产出口感平平的啤酒，再掌握一些扎实的统计学知识，就能确保成功。可以假定的是，如果在街上随机找几个喜欢喝啤酒的人，他们基本上分不出是百威英博还是施利茨啤酒，因此取任意两种品牌啤酒进行盲品测试，猜对品牌的概率基本上和扔硬币差不多。施利茨的高明之处在于，只邀请那些声称自己偏爱另外一个品牌啤酒的消费者来参加测试，如果盲评的结果正如抛硬币一样，那么就会有1/2的百威英博或者米切罗的啤酒爱好者最终选择了施利茨！通过二项分布计算,100位盲评者都选择米切罗啤酒的概率比这些人在中场休息时被陨石砸中的概率还低，至少有40人选择施利茨的概率为98%，至少有45人选择施利茨的概率为86%。从这个例子中，我们可以得到两个重要的启示：第一，概率是一个非常强大的统计学工具。第二，20世纪80年代许多畅销品牌的啤酒确实在口感上没有什么区别。

概率学是一门研究不确定性事件和结果的学问，投资股市存在不确定性，抛硬币同样也存在不确定性，因为有时候你得到的是正面，有时候是反面，连续四次抛一枚硬币更是增加了这种不确定性。事实上，如果弄清楚了为什么连续四次抛同一枚标准硬币，结果都是正面的概率为1/16，那么你就能理解生活中那些与概率相关的现象，从保险业的运作原理到橄榄球的排兵布阵。

举个例子，澳大利亚运输安全局发布了一份有关乘坐不同交通工具致死风险的量化报告，大家都觉得飞行非常可怕，但实际上商业航空的风险是微乎其微的。澳大利亚在20世纪60年代起就再也没有发生过一起商业航空致死的事故。因此，航空旅行每1亿公里的致死率基本为0，而汽车每1亿公里的致死率为0.5%，真正吓人的是摩托车，它的致死率比汽车整整高出35倍。概率不会确凿地告诉我们将会发生什么，但我们通过概率计算能够知道很可能发生什么，不太可能发生什么。聪明的人会使用这种数据为自己的事业和生活指明方向。

史蒂芬的《魔鬼经济学》中，提到了一个惊人的发现，那就是后院的游泳池远比柜子里的枪来的更危险。十岁以下的儿童在游泳池溺死的概率要比在枪击事故中意外身亡的概率高100倍。康奈尔大学的三位研究人员证明，可能有数以千计的美国人在911恐怖袭击发生之后，由于害怕坐飞机而死于非命。该效应随着时间的消退逐渐减弱，这是因为大家对恐怖主义的恐惧在慢慢消退。

概率有时候还可以告诉我们什么情况有可能发生，什么情况最没有可能发生。比如DNA分析，如果医学专家证实DNA样本吻合，就说明检方的取证工作取得重要进展，但还不是全部。从犯罪现场收集回来的DNA样本必须与犯罪嫌疑人身上的DNA相配，但警方同时还必须证明这两个DNA样本吻合不是一个巧合。人类DNA序列中有很多片段是相同的，如果研究人员只获得一小部分样本，那么这上面的基因数量也是有限的，很有可能有数百万人的基因片段与实验室中这部分DNA样本完全吻合。因此，基因数量越多，上面的遗传变异也就越多，取证的准确率也就越高。但是，很多时候我们的资源是有限的，可能收集到了的样本太小，也有可能是样本已经被污染，无法检测出全部13个基因片段。亚利桑那州一个犯罪实验室的分析员在测试本州DNA数据库时发现，两个没有血缘关系的重罪犯在DNA序列中第九组基因相吻合，这一发现引发了轩然大波。在随后的调查中，其他州的数据库也出发现了第九组基因甚至更多组基因相吻合的人数量超过1000对。头戴科技耀眼光环的DNA分析，归根结底原来是一个概率问题。

很多时候了解多种事件同时发生的概率是很有价值的，这就是为什么电脑总会弹出一个对话框，提醒你提高开机密码的安全级别。假设你的开机密码为六位，而且全部是数字，那么总共有10的6次方种数字排列组合，不要以为这种组合很复杂，对计算机来说，不到一秒钟就可以将这些数字排列组合全部都试一遍。如果你终于同意将字母加进到密码设置的范围，可能出现组合的密码数量也上升到36的6次方，超过20亿个。如果系统要求将密码长度增加到八位，而且强烈建议你使用特殊符号。那么可能组合的密码数量为20万亿。有一点必须强调，这一公式只是用于相对独立的事件，也就是说一个事件的发生及结果对另一个事件不会造成任何影响。你第一次抛硬币得到正面朝上的概率并不会影响你第二次抛硬币得到正面朝上的概率。相反，今天下午下雨的概率和昨天是否下雨并不是相互孤立的，因为下雨作为一种天气现象有具有连续性。同样的，你今年出车祸的概率与明年出车祸的概率也不是相互孤立的，这也是为什么你的车险费率会在发生车祸后上升，并不是仅仅因为保险公司想从你这里挽回一点他们为你支付的赔偿金，更重要的是他们拥有了关于你未来发生车祸概率的新信息——它上升了！

通过概率计算，我们还可以得到所有管理决策中，尤其是在金融领域最实用的统计工具:期望值。期望值是基础概率学的升级版，某个事件如买彩票的期望值或收益，实际上就是所有不同的结果的和,其中每个结果都是由各自的概率和收益相乘而来。比如，你参加一个掷骰子游戏，游戏的规则是1点得1美元，2点可以获得2美元，3点3美元，以此类推。那么这个游戏中的期望值= 1/6（1美元）+ 1/6(2美元)+ 1/6（3美元）+1/6（4美元）+1/6（5美元）+1/6（6美元），即3.5美元。期望值是一个非常有用的参考数据，通过比较成本投入和期望收益，你就能知道做这件事是不是值得的。如果在上述游戏中，每投1次骰子需要缴纳3美元，你还会玩吗？

应用与上述例子相同的基础分析，我们可以解释为什么永远不要买彩票。在伊利诺伊州，每张彩票的背面都印有不同玩法和等级的中奖概率，我们将每一个等级的中奖概率乘以奖金额度，并最后将得到的结果相加，计算出购买此类彩票的期望值，结果是1美元彩票的回报期望值约为0.56美元，所以这绝对是一项糟糕的投资。但我的运气还不错，居然中了2美元，虽然我中了2美元，但依然无法改变购彩票是一种愚蠢行为的事实，这就是概率教给我的重要经验之一。我们也可以用大数定律来解释，为什么赌场长期来看总是挣钱的，因为赌场内所有项目的概率都有利于赌场老板。如果赌场经营的时间足够长，吸引的下注人数足够多，那么赌场赚到的钱肯定要比付出的多。

作为消费者，你应该知道，从长远来看，保险并不能为你省钱，保险能为你做的是：当你遭遇一些难以承受的巨大损失时，如价值4万元的汽车被盗，35万美元的房子被烧毁时能为你提供赔付，帮你渡过难关。从统计学的角度来看，购买保险是一项糟糕的投资，因为平均来看，你支付给保险公司的钱永远要比得到的赔付更多。但如果想防止一些足以毁掉你生活的结果出现，保险就是一个理性的工具。讽刺的是，一些富翁如巴菲特倒是可以不用买车险，房屋险，甚至医疗保险，从而省下钱。因为就算是再糟糕的事情发生在他身上，他都能承担得起。

有些事情可能会在不同时间段出现各种不同的意外状况，在面临这类复杂的选择时，预期值同样能够帮助我们理清思路。假设你的一个朋友建议你向一家研究中心投资100万美元，用于开发男性防脱发产品。由于这是一个试验项目，因此研发团队研制成功的概率只有30%，如果最终研制产品失败了，那么你将收回25万美元，因为这部分资金是市场推广的费用。即使最终产品研制成功，美国食品药品管理局批准进入市场的概率只有60%。到了那个时候，依然还有10%的概率会出现一个强劲的竞争对手。如果一切顺利，产品安全有效，而且竞争对手没有出现，那么你将获得2500万美元的投资回报。你动心了吗？通过计算，该项目的期望值等于422万美元，如此来看，这项投资的预期回报是非常诱人的，但是我们并不建议你用辛辛苦苦积攒的准备将来给孩子读大学的钱，用来投资。观察决策的树形图，你会发现预期回报大大高于一开始的投资额，但不要忘记，最有可能发生的结果是研发失败。

大数定律给出的建议是，对于一家投资公司或者像巴菲特这样富可敌国的个人投资来说，应该尽可能地发掘上述这类结果不确定，但预期回报很丰厚的投资机会，而且数量越多越好，几百个项目里肯定会有一些成功，如果预期收益对你有利，那么涉足的项目越多，赚钱的机会就越大。

有时候我们能够借助概率发现一些可疑的事情，美国证券交易委员会在稽查内幕交易行为的过程中也是使用了类似的方法，动用计算能力超强的电脑来分析数亿美元的股票交易，试图寻找可疑行为，如公司收购信息即将披露之前进行的大额度股票购入，公司正准备宣布亏损前的大量抛售等，那些常年取得超高收益的基金经理们也是美国证券交易委员会的重点调查对象，因为无论是经济理论还是历史数据都告诉我们，每年收益都超过平均水平对一个投资者来说几乎是不可能的。当然，聪明绝顶的投资者总是能够预测到市场的走势，在法律允许的范围内设计出完美的投资策略，获得高于市场平均数的收益。

信息的收集和积累能够让我们更好地理解相关事件的概率，在充满不确定性的商业世界里，商人总是能够希望将他们的风险量化。像好事达这样的保险公司之所以成功，是因为他们知道并重视那些在别人眼里可能毫无关联的随机事件，比如年龄20-24岁的司机最有可能造成致命的交通事故，再比如在伊利诺伊州最常失窃的车是本田思域，而亚拉巴马州则为雪佛兰皮卡。信用卡公司一直处于这一分析法的前沿，原因有二，这些公司数据库里保存了大量有关消费习惯的数据，而他们的商业模式离不开这些信用风险适中的客户，那些最佳信用记录的客户每个月都能准时付清账单，信用卡公司没法从他们身上赚利息，那些账单数额巨大而且经常忘记按时还款的客户才是信用卡利润的来源，只要这些客户不违约就行。通过对加拿大轮胎联名信用卡的消费交易进行数据分析，发现了一些有趣现象，选择购买价格便宜、通用汽油的消费者有错过信用卡还款日期的可能，而那些选择高档名牌商品的消费者倒是经常按时还款，那些会为家里添置一氧化碳探测器或者脚套防止刮伤地板的人几乎从来不会延期还款，所有购买骷髅头造型汽车挂饰或者对汽车排气系统进行大排量改装的人，基本上不会按时还款。

当我们在生活中遇到不确定性因素时，概率学是一个可靠的参考工具，你不应该购买彩票，如果你有一个长远的投资视野，那么你应该把钱投入股市，因为股票是能够带来长期收益的一种典型投资品种，你应该为某些东西买保险，其他东西就算了，概率学甚至还能助你在游戏竞赛中扩大赢面，但是还要再说一句，概率并不是确定的，你不应该买彩票，但你依然有可能通过购买彩票发财。

蒙提霍尔悖论是一个著名的概率难题，1963年美国电视游戏节目《让我们做个交易》中，参赛者都会面临这个问题。最后一个脱颖而出的参赛者会站在主持人身旁，在他的眼前有三个巨大的门，编号分别为123，主持人蒙提霍尔告知参赛者其中的一扇门的背后摆放着极为诱人的大奖，比如说一辆小轿车，而另外两扇门的后面站着一头羊。参赛者需要在这3扇门中选择1扇门并获得那扇门后面的奖品。游戏刚开始时中奖的概率一目了然，两头羊和一辆车，参赛者各有1/3的概率选中。但这个节目还有一个精心的安排，当参赛者选择一扇门后，主持人会打开剩下的两扇门中的一扇，向观众和选手展示这扇门背后的一头羊。然后，主持人会再次询问参赛者是否要改变当初的选择，也就是在最初选择的那扇门和剩下的那扇门中再选择一次。

参赛者应不应该改变最初的选择？答案是肯定的，如果他坚持最初的选择，那么中奖的概率大概为1/3，如果该选剩下的那扇门，那么中奖的概率就是2/3，如果你不相信的话，请往下读，问题的关键在于主持人蒙提霍尔本人是知道每一扇门背后的奖品的。

如果参赛者选择了1号门，而恰好小轿车就在这扇门的背后，那么蒙提霍尔就可以在2号或者3号门中，随便选一扇门打开向观众展示一头羊。

如果参赛者选择了1号门，小轿车停在2号门后，那么蒙提霍尔就会打开3号门。

如果参赛选择了1号门，而小轿车停在3号门后，那么蒙提霍尔就会打开2号门。

通过改变之前的选择，参赛者就能从两次选择中获益。为了说服大家，我将三种不同的方法来证明：

第一种是从经验主义角度出发的，《让我们做个交易》每期的统计结果证明，改变选择并得到大奖的参赛者是坚持最初选择并中奖的参赛者的两倍。2008年《纽约时报》专门就此现象写了一篇文章，随后还在网站上开辟了一个互动专题，读者可以亲身体验这个游戏，包括提示你是否要改变选择，这个游戏会记录下你改变和坚持最初选择的成功率。你可以试一下，我特意让我的小女儿玩了100次这个游戏。每次都改变最初的选择，然后又请她的哥哥玩了100次，每次都坚持一开始的选择，我的女儿有72次中了大奖，儿子只中了33次。

第二，蒙提霍尔实际上是给你提供了两个选择，要么坚持最初选的那扇门，要么选择剩下的两扇门，只不过其中有一扇后面是羊的门被打开了。在这个过程中，蒙提霍尔还告诉你另外两个门中哪一扇门后面没有大奖，因此在如下两种情况中，你中大奖的概率是相同的：1、选择一号门，然后在任何一扇门打开之前同意换成二号或三号门。2、选择一号门，然后在打开有羊的三号门之后，同意换成二号门，或者在蒙提霍尔打开有羊的二号门之后同意换成三号门。在这两种情况下，通过改变选择你中奖的概率都由原来的一扇门增加到两扇门，因此你的赢面也从1/3上涨为2/3。

第三，更为极端的解释，假设摆在你前面的不是3扇门，而是100扇门，当你选择其中一扇门之后，蒙提霍尔在剩下的99扇门中打开了98扇有羊的门，就剩下两扇门没有打开了，一扇是你最初选择的47号门，一扇是蒙提霍尔剩下的比如说61号门，你要换吗？绝对要换！小轿车有99%的概率藏在你没有选的99扇门后面，蒙提霍尔还好心为你打开了其中98扇门，他知道这98扇门后面都没有小轿车。也就是说，如果你坚持最初的选择，那么你开小轿车回家的概率仅为1%，牵一头羊回家的概率却高达99%。这个例子告诉我们，你对概率的本能理解时候会将你引入歧途。

归根结底，数据还是数据，肯定没有数据使用者聪明，但有些时候数据也会让聪明绝顶的人干蠢事。最近几年最不负责任的数据使用案例就是2008年金融危机爆发之前华尔街的风险评估机制了。那时，整个美国金融行业都使用同一个风险价值模型VaR，理论上说，它既是一个简洁的指标，又有强大的概率学支撑，是一个不可多得的投资工具。在分析以往市场变动的数据后，公司的数量分析专家（这是这个行业内的称呼，但在其他地方人们一般称他们为有钱的呆子），会给出一个数字，用来表示一项投资在一个特定周期内让公司承受最大损失可能出现的概率为1%。也就是说，这项投资在99%的情况下不会造成重大损失，但还有1%的概率造成重大损失。

请记住上一段内容里的最后一句话，这句话最关重要。2008年金融危机爆发之前，各大公司对VaR信任有加。更妙的是，该投资部门在任何时候都可以得出全公司的风险指数，只要在上述基础稍微向前推进一步就可以。摩根大通公司是VaR模型的创始者，经过不断开发和完善，每日的VaR如今已经有一个新的名称——4:15报告。因为在每天下午4:15，每一位公司高管桌子上都会出现VaR报告。按理说这是一件好事。不幸的是，VaR模型的风险档案里隐藏着两个巨大的问题。第一，模型构建的概率基础参照的是过去的市场行为，而金融市场和啤酒盲品会不一样，前者的未来不一定是历史的重复，没有任何的理论证据可以保证1980—2005年间的市场动态，是2005年之后市场表现的最佳预测参照物。这一缺乏想象力的行为总是认为即将开始的战争与上一场战争的情况差不多。

即使通过基本数据，我们能够借助VaR准确地预测未来的风险，这99%的保证依然存在着失效的危险，因为真正把事情搞砸的正是剩下的1%。华尔街的数量分析专家们犯了三个最基本的错误：第一，它们混淆了精确和准确的概念。第二，他们对基础概率的估算方式是错误的，不应该用只用2005年以前相对平稳和繁荣的经济数据来预测接下来几十年的市场表现。第三，公司忽略了尾部风险，VaR模型预测的是那些发生概率为99%的结果，这也是概率的工作原理，即使是不可能的事件也有发生的可能。事实上，放眼望去，他们并没有人们想象的那样罕见。每天都有人被雷击中，甚至我的妈妈打高尔夫球一杆进洞的情况都出现过三次。

华尔街的那些狂妄自负的统计学家，促成了20世纪30年代大萧条以来最严重的全球金融危机，在美国导致了无法估量的美元币值蒸发，将失业率数字推高到了10%以上，引发了一个又一个房屋止赎潮，还让世界各国政府都陷入了巨大的债务危机中。面对这样一个悲惨结局，类似于VaR模型这样旨在减少风险的金融工具给人们留下了除了讽刺，别无他物。

概率学提供了一系列强大而实用的工具，其中有很多工具都能为我们所用，如果使用得当，我们能够更好的辅助我们认识世界，如果使用不当，后果会不堪设想。接下来介绍一些最为常见的与概率有关的错误。

1、想当然的认为事件之间不存在联系。20世纪90年代的英国检方正是由于对概率的不当使用，他们做出了严重的误判，错误源自一种名为婴儿猝死综合征的疾病，具体表现为健康的婴儿无明显病症突然死亡。英国检方和法庭认为，如果一个家庭中先后发生多起婴儿猝死事件，那么就可以认定婴儿是疏忽致死的，这使得很多已经遭受婴儿夭折打击的家庭再次遭受打击。2004年，英国政府宣布对258起已经结案的家长谋杀婴儿的案件进行重审。

2、对两个事件的统计独立一无所知。假设你正在一家赌场里，轮盘中的球已经连续五次停在黑色区域了，有人就会想当然的认为下一次肯定停在红色区域，大错特错，停在红色区域的概率一直都没有变，这就是赌博。

3、成群病例的发生。你或许从报纸和电视上看过某些地区的居民接二连三患有某种罕见的癌症，这在统计学上被认为几乎是不可能发生的事的意思。所有人都要矛头指向当地的水源，发电厂或者移动信号发射塔。当然，我不能排除这其中的某个因素就是罪魁祸首的可能性，但成群病例同样可能只是单纯的巧合.的确，在同一个学校或者工厂里，同时有五个人患有某种罕见的白血病的概率可能只有百万分之一，但不要忘记，学校或工厂的数量也有好几百万。

4、检方谬误。假设你是法庭陪审团的一名成员，听到如下事实：犯罪现场找到的DNA样本与被告的DNA相吻合，除了被告以外，该DNA样本与其他人相吻合的概率为百万分之一。你会认为被告人有罪吗？但愿你投的不是赞成票。这是因为通过100万次的数据库样本对比，找到第二个人的概率相对提升了。

5、回归平均数。你曾经听到一个叫做《体育画报》封面诅咒的说法，既成为《体育画报》封面的运动员或团队，在之后的比赛中的成绩会出现不同的程度的下滑，在统计学上更加说得过去的解释是，能上封面杂志通常是那些近期表现尤为出色的运动员或者队伍，而他们之后的比赛成绩只不过是回归正常水平。

6、统计性歧视。概率会告诉我们某个事件发生的可能性有多大，那么面对一个很有可能会发生的情况，我们到底应不应该做出反应？一个更为纠结和危险的现实是，有时候正确无误的计算会将我们带往一个危险浮躁的方向，我们可以摧毁金融体系，也可以骚扰一个恰好在某个时间出现在某个街头的22岁白人男子，因为根据我们的统计模型几乎可以确定他就会去买毒品。

每一项重要的研究成果都离不开优质数据的默默支持，那么每一项糟糕研究的背后隐藏的是什么呢？人们通常会说，统计数字会撒谎，以下举几个常见的例子：

1、选择性偏见。一个不合格的样本会产生一个误导性印象,如果人口中的每一个人被选入样本的概率是不均等，那么由这个样本推导出来的结论也会存在问题.

2、发表性偏见。肯定性的研究发现相比否定性的研究发现来说，更有可能被发表，而从而影响我们对事实真相的判断。

3、记忆性偏见。我们总以为现在和过去是具有逻辑关系的，有因才有果符合人类的思考方式。但问题是，我们试图解释当前一些特别好或者特别坏的结果时，我们的记忆便会出现“系统脆弱”的尴尬。比如患有乳腺癌的女性，总是倾向认为自己食用了过多的脂肪，但实际上并没有这么高，而没有患上乳腺癌的女性则没有这一倾向。

4、幸存者偏见。当样本中有一些或者许多数据缺失,导致样本组成发生改变从而影响分析结果时，幸存者偏见就出现了。共同基金正是抓住了幸存者偏见，来使自己的业绩看上去比实际要好。共同基金通常会把他们的表现与股票市场的某个关键基准进行比较，比如标准普尔500指数。如果某年标准普尔500指数上升了5.3百分点，某只共同基金便会宣传自己的涨幅超过了标准普尔500指数的涨幅。如果标准普尔500指数在这一年出现了下跌，那么共同基金便宣传自己的跌幅低于标准普尔500指数。如果作为投资者的你不想花钱请一个共同基金经理，一个低廉便捷的选择就是买入标准普尔500指数基金。共同基金经理总是觉得自己有能力在茫茫股海中挑选出那些优于指数基金的股票，但事实上想要一直战胜标准普尔500指数并不是一件容易的事。标准普尔500指数基本上是所有交易中的大型股票的平均值。因此，从数学的角度来考虑，我们可以预期有1/2共同基金的表现会超过标准普尔500指数，1/2共同基金表现不如标准普尔500指数。共同基金公司一般都会怎么做呢？操纵数据永远是救心丸，某家大型共同基金公司会同时开放许多共同基金。举个例子，假设一家基金开放了20只新基金，概率学告诉我们，该公司第一年有10只新基金表现能够打败标准普尔500指数，连续两年打败标准普尔500指数的5只，连续三年打败只剩下2到3只，最精彩的内容马上就要来了。届时，那些收益不够理想的基金已经被悄无声息地关闭了，该公司接下来就可以大肆打广告宣传这2、3只表现始终优于标准普尔500指数的基金了。而事实上，他们在这三年的良好表现相当于连续三次抛硬币都得到正面朝上的结果，他们接下来很可能会回归平均值。但此时投资者的钱已经被成功的骗进来了，真正能够在相当长一段时间里对标准普尔500指数保持不败战绩的共同基金少的可怜。

5、健康用户偏见。定期服用维生素的人更有可能不受疾病的困扰，其原因并不在于维生素，主要是由于那些按时吃维生素药的人一般也保持着健康的饮食习惯，这就是问题所在。

有时候，统计学就像魔术一样，能够从少量数据中得出不可思议的结论，我们只需要对1000个美国人进行电话调查，就能够洞悉美国总统大选的得票数，这些一概而论的强大能力到底是从何而来?绝大部分来自中心极限定理，这些活动存在一个共同的特点，就是使用样本对一个更大的数量进行直接推理，看上去似乎充满神秘感，但事实上，他们只是我们已经探讨过的两个工具相结合的产物——概率和抽样调查。中心极限定理的核心要义就是一个大型样本的正确抽样与其所代表的群体存在相似关系，如果我们掌握了某个群体的具体信息，就能推理出从这个群体中正确抽取的随机样本情况。中心极限定理告诉我们，这些样本平均值会在群体平均值周围呈现一个正态分布，也就是一条形似“钟”的曲线，有68%的数值位于平均值的一个标准差的范围之内，95%的平均值在两个标准差范围之内，以此类推。不论所研究的群体是怎样分布的，上述结论始终都成立，就算样本所在的群体不是正态分布，也不影响其样本平均值的正态分布形态。取样的次数越多，样本数量越大，分布就越接近正态分布。有一个经验是，样本数量必须达到30，中心极限定理才能保证成立。

标准误差被用来衡量样本平均值的离散性，我们如何评价样本平均值在群体平均值周围的聚集程度？为了避免混淆，我们首先需要对两个概念进行区分，标准差和标准误差。标准差是用来衡量群体中的所有个体的离散性，标准误差衡量的仅仅是样本平均值的离散型。标准误差就是所有样本平均值的标准差。如果标准误差差很大，这意味着样本平均值在群体均值周围分布的极为分散，如果标准误差差很小，意味着样本平均值之间的聚集程度很高。

如果你从某个群体中多次随机抽取数量足够的样本，那么这些样本的平均值会以整体平均值为中心,呈现正态分布。不论该群体自身分布的情况是怎样，绝大多数样本平均值都会紧紧围绕整体平均值的周围，通过计算标准误差就可以知道这些样本平均值到底是离得近还是离的远。通过中心极限定理，我们便可知道样本平均值与整体平均值之间的距离及其概率。样本平均值距离其整体平均值两个标准误差的概率相对较低，三个或者以上标准误差的概率基本为零。如果出现某个概率较低的结果，我们便可以推测是不是有一些其他因素介入，而且概率越低其他因素介入的可能性就越大。

统计学无法确凿的证明任何东西，相反，统计推断的力量在于先发现一些规律和结果，然后再利用概率来证明这些结果背后最有可能的原因。当然，有时候最有可能的解释并非正确的解释，极端罕见的事情总会发生。加利福尼亚州一位女士是被闪电击中了四次，根据联邦应急管理局的统计数字，被闪电击中的一次概率只有1/60万。

到之前为止，我们对统计推断的功能有一个较为积极的认识，统计资料能够帮助我们解决许多重要的问题。统计学的意义并不是进行无数次高深的数学计算，而是在于更好地洞察社会现象背后的成因。统计推断，正是我们之前已经讨论过的两个概念的合体——数据和概率。

统计推断过程中最常用的工具之一就是假设检验，更为精确地说，任何统计推断都是由或含蓄或直接的零假设开始的，先假设一个结论，然后通过统计分析对其进行支持或反驳。如果我们证明零假设不成立，那么相当于承认其反面结论与真实情况更接近。

研究人员推翻零假设最常参考的门槛是5%，如果一个零假设想要成为真，其支撑数据的结果必须至少达到0.05这个显著水平，才能保证该假设具有意义。假如我们把“显著性水平”定在0.05，也就意味着如果某个零假设成立的概率不5%的话，我们就可以将其推翻。

2011年下半年《纽约时报》头版报道了美国陷入对未来的深深忧虑和怀疑之中：有高达89%的美国人不相信政府会做正确的事，有2/3的美国公众认为财富应该在美国得到更加公平的分配；43%的美国人大体认同占领华尔街运动所宣扬的观点；仅有9%的美国公众认可美国国会的工作；46%的美国人认可奥巴马作为美国总统的工作表现。但是，总会有人忍不住要问，我们如何知道这些情况，答案当然是四个字，民意测验。

民意调查和其他形式的抽样之间最根本的区别就在于，我们所关心的前者的样本数据不是平均数，而是一个百分比。当进行一项民意测验时，我们应该问问自己，如下几个涉及方法论的关键性问题：这个样本能正确地反映目标群体的真实观点吗？采访过程中的问题设置能得出对研究课题有用的信息吗？受访者说的一定是实话吗？

历史上最触人神经的一次民意测验来自芝加哥大学全美民意研究中心的一个研究项目：美国人的性行为。他们的调查方法非常引人注目，抽查样本为3342名成年人，这些人代表了全体美国成年人群体，每一位受访者都要经过长达90分钟的采访，其中有将近80%的受访者完成了全部问题。研究人员在此基础上得出了一份有关美国人性行为的准确报告。结论是：人们通常与自己的同类做爱，90%的夫妻都来自于相同的种族，拥有相同的宗教信仰、社会阶层和相仿的年纪。大多数人的性生活频率为一个月若干次，至于是多少次，范围就大了；有的人没有性伴侣，有的人的性伴侣高达1000个，绝大多数人性伴侣人数在这两者之间；有差不多5%的男性和4%的女性有过同性性行为；80%的受访者在过去一年内只有一个甚至没有性伴侣；拥有一个性伴侣的受访者要比那些没有或同时拥有多个性伴侣的人更快乐；25%的已婚男性和10%的已婚女性承认自己曾经出轨；男女之间最有吸引力的做爱方式依然很传统。

工作压力会致人死亡吗？答案是肯定的，有大量证据表明，工作压力会导致早逝，尤其会导致心脏病猝死的概率陡增。公司高管几乎每天都要作出重要决策，这些决策关系到公司的前途命运，但他们所承受的风险要远远小于他们的秘书，后者必须兢兢业业的听电话，完成上级布置的各种任务。这怎么可能呢？其实最危险的一项工作压力来自于对自己的工作任务缺乏控制力。针对数千名英国公务员的多项调查表明，发现那些对自己的工作没有支配能力的雇员死亡率更高，正是那种等的上司给你布置任务，自己又没有权利决定怎么完成这些任务的压力把人拖垮了。

研究人员是如何得出这样的结论？多年来，研究员一直观察英国的公务员群体，发现岗位层级和心脏病死亡率之间的关联，研究对1700名公务员进行了长达七年半的连续观察，发现低级别的男性雇员比高级别的男性雇员来说身高较矮，体重较重、血压较高、血糖较高、健身活动较少。考虑到这些因素以及高血脂对健康的危害，研究人员用回归分析方法对其进行了控制。但即使如此，工作控制力与死亡率之间的负相关关系还是十分明显，这就告诉我们，在健康因素相同的条件下，在一个低级别岗位工作真的可以致人于死地。这项研究有两个非常突出的特点，称得上是当之无愧的最佳研究，首先其研究结论在其他地方能够找到佐证。其次，研究人员探索并发现了相关生物学证据，甚至连动物研究都为其病变原理做了解释。研究人员发现，地位低的猴子和狒狒与地位高的同类在某些生理指标上存在差异，使得前者更容易患上心脏血管疾病。所以，最好还是不要做一头地位低下的狒狒，我经常向我的孩子们灌输这样一个观点，尤其是我的儿子。

在进行回归分析时，要记住最重要的一点，就是尽量不要杀人。从20世纪90年代起，许多医学家机构相继支持一个观点，上了年纪的女性可以通过摄入雌激素来预防心脏病、骨质疏松及其他更年期有关的疾病。截至2001年，差不多有1500万件女性正在服用雌激素。一项针对12.2万女性的纵向调查显示，定期摄入雌激素的女性，突发心脏病的概率只有其他女性的1/3。该项目是由哈佛大学医学院和公共卫生学院共同主持的，数百万女性听从了医生的建议开始接受荷尔蒙补充疗法。同时，雌激素也进入了最为严格的科学审查阶段，此次临床试验与之前不同，临床试验包括了控制实验，一组样本服用雌激素补充片，另一组样本只是服用安慰片剂。结果显示，摄入雌激素的女性患有心脏病、中风、血栓和其他疾病的风险要高于对照组。从2002年开始，医生被建议尽量避免开具雌激素类药物。《纽约时报》杂志提出了一个敏感但有深刻社会意义的问题，有多少女性因为服用了雌激素药品患上乳腺癌过早离世，回答是，合理估计至少有上万人。

回归分析可以说是统计学弹药库中的氢弹。无论是谁，只要有台电脑和一个大型样本数据库就能成为一个研究员，这样做会不会有什么错呢？常见的有七个错误：1、用回归方程式来分析非线性关系。两个变量之间不存在线性关系时应禁止使用回归分析。2、相关关系并不等同于因果关系。回归分析只能证明两个变量之间存在关系，至于是不是其中一个变量发生变化就能导致另一个也发生变化，仅凭数据我们无法得出证明。3、因果倒置。4、变量遗漏偏差。5、高度相关的解释变量。在一个回归方程式中，假如两个或两个以上解释变量彼此之间高度相关，那么回归分析的结果将有可能无法分清每一个变量与因变量之间的真实关系。6、脱离数据进行推断。我们的结论仅仅是对所分析样本相似的人口有效。7、变量过多。

本章所精选的所有警示其实都可以浓缩为两个基本经验：第一，设计一个好的回归方程式，想清楚应该考虑哪些变量，应该从哪里开始收集数据。优秀的研究人员能够对变量进行逻辑思考，决定哪些变量可以加到回归方程式之中，还有哪些遗漏的变量，以正确解读最终的分析结果。第二，与绝大部分统计推断一样，回归分析始终以样本观察为立足点。对于任何回归分析来说，都需要在以下方面得到理论支持：为什么方程式要有这些变量？通过其它学科领域是否也能解释这个分析结果？

出色的研究者之所以出色，主要是因为他们作为个人或团队总是能够找到有创意的方式来控制变量，使得对照实验能够进行下去。重要的启示是，我们要需要开动脑筋就能够回答很重要的社会问题，下面就来介绍一些最常用的方法：1、随机控制实验。最直接的方式就是创造一个试验组和一个对照组。2、自然实验。当某个事件自然而然发生时，恰好营造出一个接近于随机、对照的试验环境。3、非对等对照实验。有些时候研究治疗效果最佳且可行的方式，并非完全随机的分配实验组和对照组，一个非对等对照组依然可以成为非常有用的工具。4、差分类差分实验。观察原因和结果的一个最佳方式就是放手去做，然后看看会发生什么，因为这就是婴儿和小孩认识世界的途径。5、不连续分析实验。实验组和对照组还存在一种设置方式，就是将那些刚好符合介入或治疗条件的对象，以及以毫厘之差错过治疗机会的对象进行比较。

就在不久之前，数据收集还是一件非常困难的事情，需要高昂的费用，但在今天，我们甚至可以对某个区域超过100万张信用卡的交易数据进行分析。在大萧条时期，美国政府对数据的缺失使得美国对经济问题的严重程度认识模糊。那时的美国政府安全在一片漆黑中制定政策，如今各种数据几乎要把我们淹没，但总体上看，这是一件好事。

Facebook已经成为世界上最有价值的公司之一，但这家公司基本上没有什么实物资产。Facebook拥有一个庞大的无形资产数据，就是注册用户每一次点击鼠标，都能在不经意间泄露他们的信息，住在哪里，去哪里购物，买什么东西，认识什么人，以及如何打发空闲时间等。Facebook副总裁考克斯告诉记者，信息时代的挑战就是如何处理这些信息。说的太到位了，如今世界各地的城市都在公共场合安装了大量的摄像头，其中有一些摄像头将在不久的将来拥有脸部识别功能。与此同时，世界各国还掌握大量的DNA数据，并以此作为破案的有力工具。那么这些数据库的信息都是哪些人的？所有被判决的罪犯，所有被捕的人，还是我们中的每一个人！

我们正好站在科技与个人数据的十字路口，不得不提高警惕，世界上任何角落的人，都能够借助互联网看到这些信息，这就是问题的严重性。统计学比任何时候都更加重要，因为现在有更多的机会来充分利用数据，但统计学并不会告诉我们怎样使用数据是合理的，怎样是不合理的。因此我想用一组词语联想结束全书，火、小刀、汽车、脱毛膏。每一样东西都有一个重要的功能，每样东西都会让生活变得更好，但每样东西如果被滥用，都会造成严重的后果。从今天开始，请好好使用数据。