人们的误解，却不会因此受到指责。 本书是一本如何利用统计以达到瞒天过海目的的入门读物。看上去，它很像骗子的行骗指 南。但或许我可以模仿一个已退休的窃 在加何不 鬼不觉地撬开一把锁的方面 的回忆录达到了研究生课程的水 替这本书说句公道话：毕竟，骗子早就掌握了行骗的技 巧，而诚实的人出于自卫也应该学会它。 6
- 6 - 人们的误解，却不会因此受到指责。 本书是一本如何利用统计以达到瞒天过海目的的入门读物。看上去，它很像骗子的行骗指 南。但或许我可以模仿一个已退休的窃贼——在如何神不知、鬼不觉地撬开一把锁的方面，他 的回忆录达到了研究生课程的水平——替这本书说句公道话：毕竟，骗子早就掌握了行骗的技 巧，而诚实的人出于自卫也应该学会它
第一章 内在有偏的样本 -7
- 7 - 第一章 内在有偏的样本
“1924级的耶鲁毕业生平均年收入有25111美元。”《时代》(Time)杂志在评论纽约《太 阳报》(sun)的某篇报道时曾经指出。 哇，他们干得真不赖 可是，等一等，这个令人印象深刻的数据到底意味着什么？是否像表面看到的那样，足以 证明如果你把你的孩子送进耶鲁大学，那么在老年时你就不用辛苦地上班，甚至他年老时也不 用上班？ 在充满怀疑的惊鸿一瞥后，我们发现这个数据的两点可疑之处：它惊人地精确：它大得令 人难以置信。 任何一群分布很广的人其平均收入能精确到以元为单位都不太可能。就算是自己去年的收 入，除非全部来自薪水，否则也很难知道得如此准确。但对于年收人25000美元的阶层而言， 多种投资渠道使得收入不可能完全来自于薪水。 而且毫无疑问，这个可爱的平均数出自耶鲁人之口。即使1924年他们在纽哈芬(Nv Haven)接受过良好的教有，也很难保证四分之一个世纪后，他们还能坚持说真话。当问及收 入时，有些人出于虚荣或天生乐观而夸大数据：有些人却故意缩小数字，特别当涉及计征所得 税问题时，往往会犹豫不决，生怕与其他文件填报的数据不符，谁知道税务员又看到了什么？ 也许这两种趋势一一夸大与缩小将相互抵消，但这种可能性极小。一般而言。一种趋势总会强 于另一种趋势，但我们无从猜测哪种趋势较强。 0. 常识告诉我们单凭某一数据很难反映实情，这是我们得到的结论。那些实际收入也许只有 25111美元一半的人们最终会形成如此高的平均收入，最大的误差来源在哪儿？接下来，让 我们来揭开这神秘的面纱。 这是一个抽样过程。在你所遇到各种各样的课题中，大部分统计问恩的核心便是抽样。抽 样的原理本身很简单，但实践中对其进行的加工导致了许多副产品，有些是不正确的。举个例 子，如果你有一桶豆子，有红色、有白色.那么，红色的豆子到底有多少呢？解决的办法只有 一种：数豆子。然而，用一种更简单的方法，你也可以得到红豆数目的近似结果：抓一把豆子， 计算其中红豆的比例，这把豆子中红豆的比例与一桶的比例基本相同。只要样本足够大，并且 具有代表性，在多数情况下，样本的信息可以很好地代表总体。但如果条件不满足，抽样的结 果比 个臆想的结果好不到哪儿 「会形成 种 分科学精确的 虚假印象意外， 法分本不值得推荐。然而，令人悲伤的事实是，在我们看到的或自以为知道的事物中，充斥着 许多从类似的样本，即有偏的或过小的或两者都满足的样本中得出的结论。 耶鲁毕业生的收入也来自于样本。处于理智，我们可以很肯定地认为，没有人能够掌握所 有仍活若的1924级学生的情况，25年后，许多人已经地址不详。 -8
- 8 - “1924级的耶鲁毕业生平均年收入有25111美元。”《时代》(Time)杂志在评论纽约《太 阳报》(sun)的某篇报道时曾经指出。 哇，他们干得真不赖！ 可是，等一等，这个令人印象深刻的数据到底意味着什么？是否像表面看到的那样，足以 证明如果你把你的孩子送进耶鲁大学，那么在老年时你就不用辛苦地上班，甚至他年老时也不 用上班？ 在充满怀疑的惊鸿一瞥后，我们发现这个数据的两点可疑之处：它惊人地精确；它大得令 人难以置信。 任何一群分布很广的人其平均收入能精确到以元为单位都不太可能。就算是自己去年的收 入，除非全部来自薪水，否则也很难知道得如此准确。但对于年收人25000美元的阶层而言， 多种投资渠道使得收入不可能完全来自于薪水。 而且毫无疑问，这个可爱的平均数出自耶鲁人之口。即使1924年他们在纽哈芬(New Haven)接受过良好的教育，也很难保证四分之一个世纪后，他们还能坚持说真话。当问及收 入时，有些人出于虚荣或天生乐观而夸大数据；有些人却故意缩小数字，特别当涉及计征所得 税问题时，往往会犹豫不决，生怕与其他文件填报的数据不符，谁知道税务员又看到了什么？ 也许这两种趋势——夸大与缩小将相互抵消，但这种可能性极小。一般而言。一种趋势总会强 于另一种趋势，但我们无从猜测哪种趋势较强。 常识告诉我们单凭某一数据很难反映实情，这是我们得到的结论。那些实际收入也许只有 25111美元一半的人们最终会形成如此高的平均收入，最大的误差来源在哪儿？接下来，让 我们来揭开这神秘的面纱。 这是一个抽样过程。在你所遇到各种各样的课题中，大部分统计问题的核心便是抽样。抽 样的原理本身很简单．但实践中对其进行的加工导致了许多副产品，有些是不正确的。举个例 子，如果你有一桶豆子，有红色、有白色．那么，红色的豆子到底有多少呢？解决的办法只有 一种：数豆子。然而，用一种更简单的方法，你也可以得到红豆数目的近似结果：抓一把豆子， 计算其中红豆的比例，这把豆子中红豆的比例与一桶的比例基本相同。只要样本足够大，并且 具有代表性，在多数情况下，样本的信息可以很好地代表总体。但如果条件不满足，抽样的结 果比一个臆想的结果好不到哪儿去——除了会形成一种十分科学精确的虚假印象意外，这种方 法分本不值得推荐。然而，令人悲伤的事实是，在我们看到的或自以为知道的事物中，充斥着 许多从类似的样本，即有偏的或过小的或两者都满足的样本中得出的结论。 耶鲁毕业生的收入也来自于样本。处于理智，我们可以很肯定地认为，没有人能够掌握所 有仍活着的1924级学生的情况，25年后，许多人已经地址不详
并且，在能够取得联系的那些人中，许多人根本不会回答问卷，特别是一个内容涉及隐私 的问卷。一般的问卷，5%~10%的回收率己经是相当可观了。也许这个调查的回收率会高 些，但不可能达到100%。 因此，这个收入数据是建立在一个由能够取得联系并愿意回答问卷的耶鲁学生组成的样本 之上的。那么，这个样本具有代表性吗？也就是说，能否假设这个样本与样本未被包括的人具 有同样的收入水平？ 那些在耶鲁大学毕业生通讯录上被注明“地址不详”的迷路小羔羊是谁呢？他们是高收入 阶层吗？他们是华尔街的金融家、公司领导层，抑或是制造企业或公用事业的执行总裁？不， 富人的地址是不难找到的。这个班级最富有的人，即使忽略了与校友办公室联系，他们的地址 也可以通过查《美国名人录》(Who's who in America)或其他参考资料找到。因此，我们 可以较合理地猜测 那些被遗漏的人是获取耶鲁文学学士学位之后的25年来没能实现自己光 辉梦想的人，他们是小职员、技工、流浪者、失业的酒鬼、仅仅得以糊口的作家或艺术家. 六七个甚至更多这样的人将其收人相加才可能达到25111美元，他们不经常在班级的联谊会 上注册，仅仅因为他们支付不起路费。 我们是可价的建愧的小里旱 paa. a 9
- 9 - 并且，在能够取得联系的那些人中，许多人根本不会回答问卷，特别是一个内容涉及隐私 的问卷。一般的问卷，5%~10%的回收率已经是相当可观了。也许这个调查的回收率会高一 些，但不可能达到100%。 因此，这个收入数据是建立在一个由能够取得联系并愿意回答问卷的耶鲁学生组成的样本 之上的。那么，这个样本具有代表性吗？也就是说，能否假设这个样本与样本未被包括的人具 有同样的收入水平？ 那些在耶鲁大学毕业生通讯录上被注明“地址不详”的迷路小羔羊是谁呢？他们是高收入 阶层吗？他们是华尔街的金融家、公司领导层，抑或是制造企业或公用事业的执行总裁？不， 富人的地址是不难找到的。这个班级最富有的人，即使忽略了与校友办公室联系，他们的地址 也可以通过查《美国名人录》(Who’s Who in America)或其他参考资料找到。因此，我们 可以较合理地猜测，那些被遗漏的人是获取耶鲁文学学士学位之后的25年来没能实现自己光 辉梦想的人，他们是小职员、技工、流浪者、失业的酒鬼、仅仅得以糊口的作家或艺术家. 六七个甚至更多这样的人将其收人相加才可能达到25111 美元，他们不经常在班级的联谊会 上注册，仅仅因为他们支付不起路费
又是谁会将调查问卷丢进最近的废纸篓？我们不太肯定，但是猜想这种人中大部分都没有 赚到足以自夸的数目是合理的。这有些类似于第一次领取薪水的小职员，当他发现薪金条上粘 着一张建议对同事保密工资的数额并不要以此作为谈资的小纸条时的心态，“别担心，”他对 老板说， “我与你一样，对这么低的工资感到羞愧。 很明显，样本遗漏了对平均收入起降低作用的两种人。现在我们可以了解25111美元的 庐山真面目了，如果它是一个真实的数据，它也仅仅代表了1924级耶鲁学生中可以联系到的， 并愿意站出来说出所嫌数目的这个特殊群体。当然，它的真实性还建立在这样一个假定基础之 上 一这些绅士说的都是真话。 是否能过于轻率地做出这样的假定呢？来自抽样理论的一个分支，即市场研究的经验告诉 我们，人们会说真话的假定往往是不可靠的。以前曾经搞过一项旨在了解杂志阅读量的上门调 查，其中的一个主要问题是：你和你的家人阅读什么杂志？当将调查结果制表并分析后发现 份。 调查的设计者所疑惑的，或许他们问错了对象？但这不可能， 因为 上门调查走讨 美国各式各样的居民这。惟合理的解样是许多被调查者设有说实话，导致调查结果偏离7 事实。 最后你将发现，当你想了解人们到底在读什么时，询问是无济于事的。直接上门收购旧杂 志看看他们能提供什么或许能得到更多的信息。 你所要做的就是点 点《耶鲁评论》(Yale Reviews)和《爱情罗曼史》(Love Romances)各自的份数。即便是这种方法也并不确定， 它只能说明人们曾经有过什么，而不是现在有什么。 同样，当你下次在阅读时看到普通美国人（这个词最近频繁出现，但大多数情况下是不现 实的)每天刷牙1.02次 这个数据是我瞎编的，但它与其他任何数据一样有用 个问面.任何一个人么可能发而这个？ 个妇女在看了无数宜传不刷牙者是对社会冒 犯的广告之后还会向陌生人承认自己不经常刷牙吗？这个统计数据只能对那些关心人们如何 谈论刷牙的人才有价值，却根本不能反映牙齿接触牙刷的频率。 我们知道，一条河永远不可能高于它的源头。但如果在河的某处藏有水电站，却可以做到。 同理，对样本研究后得到的结论不会好于样本本身。当数据经过层层统计处理，最后简化成 个小数形式的平均数时，结论似乎被确定的光环所笼罩，但只要再仔细留心整个抽样过程，这 个光环就会破灭。 我正在牙 -10
- 10 - 又是谁会将调查问卷丢进最近的废纸篓？我们不太肯定，但是猜想这种人中大部分都没有 赚到足以自夸的数目是合理的。这有些类似于第一次领取薪水的小职员，当他发现薪金条上粘 着一张建议对同事保密工资的数额并不要以此作为谈资的小纸条时的心态，“别担心，”他对 老板说，“我与你一样，对这么低的工资感到羞愧。” 很明显，样本遗漏了对平均收入起降低作用的两种人。现在我们可以了解25111美元的 庐山真面目了，如果它是一个真实的数据，它也仅仅代表了1924 级耶鲁学生中可以联系到的， 并愿意站出来说出所赚数目的这个特殊群体。当然，它的真实性还建立在这样一个假定基础之 上——这些绅士说的都是真话。 是否能过于轻率地做出这样的假定呢？来自抽样理论的一个分支，即市场研究的经验告诉 我们，人们会说真话的假定往往是不可靠的。以前曾经搞过一项旨在了解杂志阅读量的上门调 查，其中的一个主要问题是：你和你的家人阅读什么杂志？当将调查结果制表并分析后发现： 大部分的人喜欢《琴师》(Harper’s)，而没有多少人喜欢《真实故事》(True Story)。但出 版商提供的数据却很明显地表明：《真实故事》的发行量是几百万份，而《琴师》只有几十万 份。正如这项调查的设计者所疑惑的，或许他们问错了对象？但这不可能，因为上门调查走访 了美国各式各样的居民区。惟一合理的解释是许多被调查者没有说实话，导致调查结果偏离了 事实。 最后你将发现，当你想了解人们到底在读什么时，询问是无济于事的。直接上门收购旧杂 志看看他们能提供什么或许能得到更多的信息。你所要做的就是点一点《耶鲁评论》(Yale Reviews)和《爱情罗曼史》(Love Romances)各自的份数。即便是这种方法也并不确定， 它只能说明人们曾经有过什么，而不是现在有什么。 同样，当你下次在阅读时看到普通美国人（这个词最近频繁出现，但大多数情况下是不现 实的）每天刷牙1.02次——这个数据是我瞎编的，但它与其他任何数据一样有用——请自问 一个问题：任何一个人怎么可能发现这个事实？一个妇女在看了无数宣传不刷牙者是对社会冒 犯的广告之后还会向陌生人承认自己不经常刷牙吗？这个统计数据只能对那些关心人们如何 谈论刷牙的人才有价值，却根本不能反映牙齿接触牙刷的频率。 我们知道，一条河永远不可能高于它的源头。但如果在河的某处藏有水电站，却可以做到。 同理，对样本研究后得到的结论不会好于样本本身。当数据经过层层统计处理，最后简化成一 个小数形式的平均数时，结论似乎被确定的光环所笼罩，但只要再仔细留心整个抽样过程，这 个光环就会破灭