随机测试是什么测试 (随机测试系统)

只有天空才是极限。所有可以随机应用于一些人、不应用于另一些人的政策都可以进行随机化测试。随机化测试不适用于联邦储备局的利率设置——因为你很难对一些人实行高利率、对另一些人实行低利率。随机化测试也无法帮助我们设计太空飞船。我们不会让一些飞船使用塑料密封圈,让另一些飞船使用金属密封圈。不过,大量企业和政府政策完全可以采取随机分配。

到目前为止,我描述了企业和政府的分析师是如何有意识地通过随机分配测试影响的。不过,超级数据分析师也可以对那些用于其他目的的随机化程序加以利用。实际上,各州有超过3,000部法律明确要求使用随机程序。有时,我们可以观察由其他人独立创造的随机化过程的效果,而不是通过抛硬币创建数据。一些大学随机分配室友,因此我们可以测试室友在饮酒方面的相互影响。加利福尼亚对于选票上的候选人出现顺序进行了随机化处理,因此我们可以测试名字排在第一位的影响(事实证明,名字排在第一位在初选中帮助很大,但在普选中作用不大,因为人们此时更愿意按照*党**派投票)。

不过,到目前为止,对于已有随机化的最佳使用是在为法官随机分配刑事案件方面的。多年来,向辖区法庭审判官随机分配案件一直是联邦法院的标准程序。和字母表彩票类似,随机案件分配被当作确保公平(和震慑腐败)的手段。

在乔尔·瓦尔德弗格尔(Joel Waldfogel)手中,犯罪审判的随机化成了回答犯罪法律一个核心问题的工具——增加刑期对于囚犯再次犯罪的概率有何影响?

瓦尔德弗格尔有着红褐色的头发,是个有些秃头的淘气鬼,是圈内最有趣的数据分析师之一。他有着最为古怪的头脑。乔尔常常关注社会上被人忽视的角落。瓦尔德弗格尔曾研究游戏节目参与者是怎样从前一季节目中吸取教训的。他曾估计圣诞节的“累赘损失”——比如你的姑姑买了一件很贵的毛衣,但是你根本不想穿。他那种人会根据附加价值为商学院排名。附加价值指的是不同学校对于学生预期收入的提升。

在我看来,瓦尔德弗格尔最重要的数据分析是对于法官判决倾向的研究。和我们之前反复看到的情况类似,随机分配意味着特定地区的每位法官应该接到同样种类的案件。堪萨斯法官接到的案件可能与哥伦比亚特区的法官不同,但案件的随机分配可以保证任何特定地区的法官接手的民事和刑事案件比例大致相同,而且可以保证他们接手的被告应当获得很长刑期的犯罪案件比例大致相同。

瓦尔德弗格尔的发现是,由于审判分配的随机性,他可以对法官的判决倾向排序。如果某个地区的法官接到同样种类的案件,那么地区内部刑事判决的差异就应该归结为审判倾向的差异。当然,某些法官可能碰巧接手了一批邪恶的被告,这些人的确应该关上很长一段时间。不过,统计学可以很好地区分噪声和基本趋势。

虽然联邦法官需要遵循审判指导原则——这些标准为犯下某些罪行的被告事先确定了狭窄的刑期范围——但瓦尔德弗格尔还是在不同法官之间发现了很大的判决差异。一些法官类似于古代的“绞刑法官”和“老好人”,他们找到了操纵指导原则的方法,可以增加或减少刑期。

如果我们想让国家提供“法律下的平等保护”,这些判决差异就会很麻烦。不过,瓦尔德弗格尔等人看到,这些差异至少有一个优点——它们可以很好地衡量较长刑期对于再次犯罪的影响。

犯罪学家一直在研究监狱对于罪犯究竟具有“塑造”作用还是“改造”作用。对于强奸犯来说,10年和5年刑期对于出狱后再次犯罪的可能性有何影响?这个问题很难回答,因为获得10年刑期的人与获得5年刑期的人是不同的。10年期囚犯的再犯率可能更高—这不是因为监狱使他们变得更坏,而是因为他们一开始就是更加糟糕的家伙。

沃尔德弗格尔的随机化思想可以绕过这个问题。为什么不能考察每个法官判决的罪犯的再犯率呢?由于不同法官会接手相同类型的罪犯,因此法官的再犯率差异一定可以归结为法官的判决差异。将罪犯随机分配给严厉或宽厚的法官相当于为他们随机分配较长或较短的刑期。通过随机化,沃尔德弗格尔可以根据被告出狱后的表现为法官排名,就像他根据学生的就业表现为商学院排名一样。

那么,答案是什么?最佳证据表明,辩论双方都是错的。把人们送进监狱对于他们出狱后的犯罪概率没有影响。布鲁金斯学院经济学家杰夫·克林(Jeff Kling)发现,严厉的法官判决的人出狱后的收入与宽厚的法官判决的人出狱后的收入没有统计差异。罪犯出狱后的收入是再次犯罪的有力指标,因为被抓并再次入狱的人没有可以缴税的收入。随后,政治学家丹东·贝鲁比(Danton Berube)和唐纳德·格林直接考察了由判决倾向不同的法官判决的罪犯再犯率。他们发现,严厉的法官的较长刑期并不会提高或降低囚犯出狱后的再犯率。支持监禁的群体可以感到安慰,因为较长的刑期不会使囚犯变坏。另一方面,较长的刑期也不会有效制止未来的恶行。在随机分配的帮助下,我们可以把关于刑期长度的辩论焦点从具体的震慑和改造问题上移开,考虑较长刑期是否会制止其他人犯罪,或者单纯为了使坏蛋失去犯罪能力而判处较长刑期是否值得。

不过,这个例子最大的意义与数据借用的可能性有关。我们有时可以对已经存在的随机化加以利用,而不是通过随机干预创建数据。犯罪学家正是以这种方式对于法官的随机分配加以利用的。我也对我们本地学区的随机分配进行了同样的利用。纽黑文大约20%的学生会申请进入热门学校。热门学校通过抽签选择孩子。你能看出我是如何对此加以利用的吗?我可以考察申请阿米斯特德学院的所有孩子,然后对进入该校的学生和没有进入该校的学生进行成绩对比。这种对于随机化的利用使我获得了超级数据分析所需要的信息,可以对学区内几乎所有学校的附加值进行排名。