按键盘上方向键 ← 或 → 可快速上下翻页，按键盘上的 Enter 键可回到本书目录页，按键盘上方向键 ↑ 可回到本页顶部！
————未阅读完？加入书签已便下次继续阅读！
澳大利亚的大学没有数学方面的研究生院。”一些大学为优秀学生提供奖学金，到英国继续上研究生，但是墨尔本大学没有。“当我学习4年后离开墨尔本大学时，我尚未接受过研究方面的训练，但是我想我已经学会该怎么去学习和使用数学，可以去就应付所碰到的任何问题……”然而，首要的问题是要赚钱来养活自己。
塔斯马尼亚大学正要找人教数学，皮特曼去应聘而成为了一名数学教授。整个系就两个人，一位新来的教授和一位兼职计量。该系要为所有其它系的本科生上数学课，因此新教授忙着讲课，占去了几乎所有的时间。当理事会决定招聘一位全职的数学教授时，一位理事曾听说过数学有一悠闲的的分支叫做统计学，因此问应聘者是否准备讲统计学的课程（不管统计学到底是什么东西）。
皮特曼回答：“我并不能说我具备统计学的专业理论知识，但是如果被聘用，我将稍做准备，在1927年开出这门课。”他不具备统计的专业知识，也不具备统计理论的任何其它相关知识。在墨尔本大学，他学地一门高级逻辑学的课程，老师用了几次课来介绍统计学。正如皮特曼所指出的，“当时，也就是在那里，我认定统计学并不是我所感兴趣的东西，也永远不会为它而苦恼。”
年轻的E？J？G？皮特曼在1926年秋天来到了塔斯马尼亚州的霍巴特（Hobart），只不过是一个本科生而已，却顶着教授的头衔。这是一个偏远的省级学校，根本感受不到身处伦敦和剑桥那种学术圈内的骚动。他写道，“直到1936年我没有发表过任何东西。之所以迟迟没有东西发表，主要有两个原因：一个是工作负担繁重，另一个是我所受教育背景的限制。”他的意思是说，他在数学研究方法上的训练不够。
到了1948年，当他将那篇非凡的论文投到《数理统计学年报》的时候，塔斯马尼亚大学数学系队伍有所壮大，已有一位教授（皮特曼）、一位副教授、、两位计量和两名助教。他们所开的数学课名目众多，既有应用数学方面的，也有理论数学方面的。皮特曼每周上12次课，周六也上课，同时获得了一些研究资助。从1936年开始，联邦政府为了促进澳大利亚高校的科学研究，每年拨出30000英镑进行资助。这些经费按人口在各州分配，因为塔斯马尼亚是一个较小的州，因此全校每年总共能得到2400英镑的资助。至于皮特曼能分到多少，他没有说。
慢慢地，皮特曼开展了多方面的研究，他发表的第一篇论文是关于流体力学中的一个问题。随后的3篇论文研究假设检验理论中几个特别的问题，这些论文本身倒并不怎么值得称道，但却是皮特曼的习作，探讨如何来发展自己的观点，怎样将数学的不同分支想到联系起来。
直到他开始撰写1948年那篇论文，皮特曼才建立起有关统计假设检验的性质以及过去的检验（参数方法）与新的检验（非参数方面）之间相互关系的一个清晰的逻辑框架。凭借着新方法，他解决了上述两大难题。
他的发现令人惊讶，甚至当原来的假设为真时，非参数检验也几乎与参数检验一样的棒。皮特曼成功地回答了第一个问题：当我们知道参数模型和本应使用特定的参数检验时，如果还使用非参数检验，结果会有多差呢？皮特曼的答案时，根本不差。
第二个问题的答案更让人吃惊。如果数据不适合用参数模型，得差多远时使用非参数检验才会更好呢？皮特曼的计算表明，只需稍稍偏离参数模型，则非参数检验将远远地胜过参数检验。看起来，曾经深信别人早已做出了这个简单发现的化学家弗兰克？威尔科克森，似乎也是在无意中碰到了统计学中一块真正的点金石（philosopher’s stone）。皮特曼的结论表明，所有的假设检验都应该是非参数方法的。K？皮尔逊发现了带参数的统计分布，这仅仅是第一步，现在，统计学家们在解决统计分布的问题时，无需再为参数而烦恼了。
数学这东西往往是玄而又玄。在那些看似简单的方法背后，威尔科克森、曼、惠特尼和皮特曼对数据的分布作了一系列的假设，要理解这些假设或许又得花上一个25年的时间。第一个烦人的问题是由芝加哥大学（the University of Chicago）的R？R？巴哈杜尔（R。 R。 Bahadur）和L？J？萨维奇（L。 J。 （“Jimmie”） Savage）在1956年提出来的。几年前，当我将巴哈杜尔和萨维奇的论文给我的一位来自印度的朋友看时，他拿他们两人的名字匹配当戏谑，“Bahadur”一词在印度语是“勇士”（warrior）的意思，率先质疑非参数统计检验理论的是一名勇士和一个野蛮人（savage）。
巴哈杜尔和萨维奇所提出的那些问题实际上也正是源于异常值的问题，威尔科克森正是由该问题而首次提出了非参数检验方法。如果异常值极少，并且是完全“错误”的观测值，那么非参数方法将降低它们在统计分析中的影响。但是如果异常值系统性地污染了数据，采用非参数方法可能只会使分析更糟糕。我们将在第23章讨论有瑕疵数据分布（contaminated ditributions）的问题。
第17章 当部分优于总体时
在K？皮尔逊看来，概率分布是可以通过收集有关数据来验证的。他认为，若收集足够多的数据，那么可以用来代表总体的相关数据。《生物统计》杂志的记者们从古墓中搜集到了数以百计的颅骨，灌入颗粒状物以测定颅腔的容量大小，然后将得到的几百个数据送给K？皮尔逊。一名工作人员还深入中美洲的丛林中，测量了成百上千个当地土著居民的胳膊长度，这些数据也送到了K？皮尔逊的生物统计实验室。
然而，K？皮尔逊所使用的方法存在一个根本性的缺陷。他获得的数据现在被称为“便利样本”（opportunity sample），都属于那些最容易得到的数据，并不能真正代表总体分布。他们测定的颅腔大小，都只是来自那些碰巧被他们发现而打开了墓穴，那些没有被发现的可能会与之大相径庭。
20世纪30年代的早期，印度发现了一个便利抽样的典型案例。大包大包的黄麻堆到了孟买（Bombay）的码头上，准备装船运往英国。为了估计黄麻的价值，便从每包中抽取一些，黄麻的质量就由样本来确定。抽样是将一把中空的圆形刀片插入包中，再拔出来，刀片中央的空处便带出了少量的黄麻。在包装和上船过程中，外层的黄麻开始变质，而里面的被压得越来越紧，冬天的时候常常冻得结得一块。取样员将空心刀片插入包中时，由于中央更硬而发生偏离，所取的样品更多的是外层已经变质的黄麻。这种使得样本就会产生偏差，样本的质量偏低，实际上整包黄麻的质量要高出许多。
加尔各答市（Calcutta）总统学院物理系的普拉桑塔？钱德拉？马哈拉诺比斯（Prasanta Chandra Mahalanobis）教授经常引用这个例子（这是他在铁道公司工作时发现的，该公司将黄麻运往码头），说明为什么使得样本不可信。马哈拉诺比斯生于一个富裕的商人家庭，因此能够供他上本科和研究生，并且选择学习自己感兴趣的科学和数学。20世纪20年代，他来到了英国，师从K？皮尔逊和费歇尔。他的同学如F？N？大卫只能靠奖学金生活，他却能一边上学，一边过着大地主般的生活。回国后，他担任了总统学院物理系的系主任。接着不久，他又在1931年用自己的钱，在自家的一处房产中建立了印度统计研究所（Indian Statistical Institute）。
在印度统计研究所，他培养出了一批卓越的统计学家和数学家，其中不少都在这一领域做出了重要的贡献，如S？N？罗伊（S。 N。 Roy）、C？R？拉奥（C。 R。 Rao）、R？C？博斯（R。 C。 Bose）、P？K？森（R。 K。 Sen）和马丹？普里（Madan Puri），等等。马哈拉诺比斯的研究兴趣之一在于如何生成一个合适的、有代表性的样本数据。很明显，在许多情况下，几乎不可能得到一个总体的所有数据。例如，印度的人口是如此庞大，多少年来也没有人试图在一天之内搞一次全国性的普查，而这样的人口普查在美国曾经开展过。与此不同，印度的人口普查是在一年内完成的，全国不同地区分别在不同的月份开展。这样一来，印度的人口普查数据就不可能精确，在普查过程中会有出生和死亡、人口迁移，人口的自然状况也会发生变化。因此，没有人能确切地知道在特定的一天印度到底有多少人口 。
马哈拉诺比斯推断，如果能够收集到一个具有充分代表性的小样本，那么可以用它来估计总体的特征。在这一点上，我们有两种可能的方法：一是构造所谓的“判断样本”（judgment sample）。在判断样本中，所有关于总体的信息都被用来选择一个小的个体集合。这些个体分别代表总体的不同部分。有关多少人在看某一电视节目的尼尔森收视率排行榜（the Nielsen ratings），就是依据判断样本来排定的，尼尔森媒体研究所（Nielsen Media Research）根据社会经济状况和生活地区的差异，选择不同的家庭作为样本。
初看起来，判断样本似乎是获得大总体的代表性样本的好方法，但它有两个主要缺点。第一个是只有当我们确信对大总体具有充分的了解，可以将总体划分为能用一些个体来代表的几个子总体（specific subclasses）时，判断样本才具有代表性。既然我们希望通过样本来了解的问题，正是据以将大总体划分为几个匀质组（homogeneous groups）的依据，如果我们对大总体已经了解得这么清楚，可能就无需再进行抽样了。第二个问题更加麻烦，如果判断样本的估计结果是错的，我们无法知道该结果与真值到底相关多少。2000年夏天，有人就批评尼尔森媒体研究所抽取的样本中西班牙裔家庭太少，因而低估了西班牙语电视的观众人数。
马哈拉诺比斯的解决办法是采用随机样本（random sample）。我们采用随机原则从大总体中抽取个体，由随机样本得到的数据很可能会错，但是我们可以用数理统计学的理论确定该如何最优地抽取样本并测定数值，以确保长期来看我们的数据将比其它数据更接近真值。并且，我们知道随机抽样概率分布的数学形式，可以计算总体那些待估参数的置信区间。
可见，随机样本要优于使得样本或者是判断样本，当然，这并不是因为它会保证得到正确的结果，而是因为我们可以计算一个数值区间，以较高的概率保证真值落入这一区间内。
新政与抽样
抽样的数学理论在20世纪30年代得到了迅速发展，其中一部分应归功于由马哈拉诺比斯领导下的印度统计研究所；一部分应归功于20世纪30年代后期奈曼发表的两篇论文；还有一部分应归功于一群年轻而富有朝气的大学毕业生，他们在美国实施新政的早期汇集于华盛顿。正是在这群在联邦政府商务部和劳工部任职的年轻人，热心于新政，提出了关于如何从总体中抽取样本的许多实际问题，并成功地解决了这些问题。
在1932年到1939年间，拿到学士学位的青年男女在跨出大学校门时，很难找到工作。这一切都是经济大萧条所造成的。在纽约州扬克斯市（Yonkers）长大的玛格丽特？马丁（Margaret Martin），毕业于巴纳�