预测的基本原则连贯性原则 (预测的原则有)

最近团队参考的一篇文章,来自,沃顿商学院和University of South Australia Business School and Ehrenberg-Bass Institute的两位商学院的教授,所创立的网站http://www.forecastingprinciples.com/index.php/about-121?id=34。

关于预测方法、场景、模型挑选的一些常见问题。http://forecastingprinciples.com/index.php/faq

翻译如下:

a .预测领域

1. 预测的范畴

预测涉及领域:确定未来会是个什么样子。预测的表现和使用。 也就是说,如果用策略A,则X将会发生。

经常预测未来值 时间序列 ;例如,某一年的婴儿的数量;小型汽车的需求。

另外,预测可以是一次性事件,

如管理联盟争端的结果,或新招聘新人的绩效。

也可以 预测分布,如恐怖袭击的位置,或心脏病的发生在不同的年龄同期人群。

预测包括领域研究和应用的判断以及量化或统计方法。

2. 预测知识是从哪里来的?

研究预测推荐实践中产生了很多变化,尤其是1960年代。 我们将推荐或最佳实践 原则 。 大多数原则都源于经验选择预测方法的比较。 最具影响力的论文描述这类研究的结果是论文,见原文链接。

强调实证发现可能似乎显然是可取的。

然而,这种方法并不总是采用, 共同信仰经验证据有时冲突如何预测。

例如,建议基础预测回归模型符合历史时间序列数据对精度产生不利影响。 有时研究成果已经扰乱学者,如发现相对简单的模型更准确的在很多情况下比复杂的 (贺加斯,2010) 。

这个网站和一本书,预测项目的输出 。 项目是为了总结所有先前的研究发现一种很容易被研究人员,教育工作者、学生和从业者。

3. 预测与计划什么关系

预测:未来 将 看起来像;

计划: 未来应该 的样子。

通常会先 规划。局势的情况,作为预测的一个输入。

如果组织不喜欢预测的结果,,它可以生成其他计划,带来可接受的结果。

当然,许多组织走捷径,仅仅改变预测。

更多的计划和预测的角色

B 各类预测问题

4. 你能给我不同的预测问题的例子吗?

举例。 有多少婴儿出生在宾夕法尼亚州匹兹堡的未来五年吗?

将现任总统当选连任吗? (见 政治预测 。 )

将3.5%的支付提供避免*工罢**的威胁吗? (见 冲突预测 )。

多少库存应该我们的目标是在这个月底的532件吗?

将经济增长率在未来三年?

考虑到技术问题和一些社区,要多长时间才能完成一个计划管道?

在哪些地区治安工作应集中在以对财产犯罪有最大的效果? (见 犯罪预测 )。

什么是最普遍的疾病在十年后英国呢?

5. 你应该如何结构化一个预测问题?

预测是关心如何收集和处理信息。

例如,什么时候分解一个问题和地址?

预测包括平淡的事情,比如获取相关的最新数据、检查数据中的错误、调整通货膨胀调整、工作日和季节性等事情。

预测错误,有时候依赖于如何得到更准确的信息。

还需要什么信息、如何最好的利用信息,取决于“预测方法的选择"。

6. 使用最新的数据很重要吗?

是的。 研究也支持这个常识;虽然在实践中往往是违反了。

7. 使用大量数据很重要吗?

重要的是,数据跨越了很长一段时间、或广泛的类似情况。

这样做会减少你会错误的短视的风险,比如,偏离了基本趋势、或者通常情况的局部特殊表现。

我应该收集尽可能多的不同类型的数据?

令人惊讶的是,研究表明,

信息过载的时候,预测准确率反而下降了。( 阿姆斯特朗1985年,100 - 102。 )

因此,有有时候忽略一些信息是对的。

例如,如果一个人只有有限的时间和有限的资源,妥善考虑所有相关信息 (戈尔茨坦&吉仁泽2009) 。

然而,如果你使用通常的方法来预测,你应该收集不同类型的相关数据。

8. 我需要知道我预测的变化的原因是什么?

也不一定。

只有历史数据的时候。

例如,航空公司呼叫中心的交通可以预测使用 外推法 方法。

如图所示,推断法很多情况下是有用的。

9. 我知道模型的预测是错误的。 我应该调整吗?

人们认为比来自于定量方法的预测,知道更多、修改预测,通常结果反而降低了准确率。

然而,结构化的判断调整可能是有用的,如果

(1)最近的事件并没有完全反映在数据

,(2)专家拥有好的对未来变化的领域知识,

或(3)模型中不可能包括关键变量。

一般来说,轻微的修订应该避免。

上面三种情形,应该:

写下用书面的任务指导、

书面的确切的调整,请求专家调整,

记录修改的原因,

并检查之前预测错误。

有关详细信息,请参见 古德温 (2005)。

10. 我怎么能把专业知识情况, 特别是知识的因果关系, 结合到我的预测中?

人们常常对一个特定问题的有用的知识,这称为领域知识。

有效的利用领域知识的一种方法,

包括为判断预测、提供图形化的决策支持(Edmundson,1990)。

基于规则的预测 ,是另一种方法,

结合专家领域知识、和推断时间序列的统计技术。

在使用用基于规则的预测的时候,

大部分系列特征可以自动识别,

但是一部分特征需要领域知识,

特别是因果力作用的趋势( Collopy和阿姆斯特朗 ,1992)。

因果模型

如果”已知的有作用的变量“有可用的数据的话,就可以有因果模型。

理论、前的研究,和专家领域知识

可用提供,关于”预测的变量之间的关系和因果变量“的信息。

因果模型,可以将”规划“和”决策与预测“关联起来,

所以,如果一个人想要“根据环境的不同状态,创建预测”的话,因果模型很有用。

更重要的是,因果模型可以用来预测:不同的政策的影响。

回归分析

适用于如果只有少数相关变量

和有许多可靠的观测、包括因果变量的相互独立的改变。

回归分析,包括,从历史数据,评估因果模型的相关系数。

模型包含一个或多个回归方程、用于表示一个因变量和自变量之间的关系。

回归模型或计量经济学模型,的重要准则:

(1)利用先验知识和理论,而不是统计,选择变量、用于指定方向的影响

(2)使用简单的模型,

和(3)丢弃变量,如果之前估计的关系、与理论相或之前的证据、有冲突的话。

索引法

如果有许多变量、关于”变量如何影响一个结果“的领域知识也很多。

许多预测问题,观测很少、相关变量很多

像这样的问题,用索引方法更现实一点。

指数得分,计算通过增加解释变量的值,这可能是主观评估,例如,0或1。

如果有好的先验领域知识,

解释变量可能是加权相对于它们的重要性.

指数评分,用于预测的"相关事件的可能性"。

它们也可以用来预测数值结果

,例如,通过回归指数, 利用历史数据,对于量化的相关变量因变量,进行打分。

细分

当一个异构整体可分为同质的部分,

以不同的方式,

以应对变化的因果变量,

这比整个可以预测更准确。

例如,在航空业,价格对企业和个人旅行者有不同的影响。

适当的预测方法可以用来预测各个部分。

例如,可以估计每段单独各自的回归模型。

阿姆斯特朗(1985,第287页)报道了三个细分的比较研究。

段是通过外推或回归分析预测。

所有这三个研究表明,细分会提高准确性。

c .常识和预测

1.常识不就足够了吗?改进好的判断,不是很难吗?

直接判断的方法,通常要比定量方法更昂贵。

如果每周需要对50000个物料做库存控制预测,逐个判断不可行。

另一个原因是,他们通常不如正式的方法准确。

研究表明,主观预测有很多偏见,如乐观和过于自信。

奈杰尔·哈维 (2001)描述了如何克服这些偏见。

瑟夫和Navasky (1998)证明了专家常常做出糟糕的判断。

例如,1956年的约翰·冯·诺依曼说,¢“数十年后,能源可能是免费的——就像un-metered air.

泰特罗克(2005) 分析了82000多名专家的预测政治和经济事件。 发现专家还没有,更简单的规则预测的准确。

2.常用的预测方法是什么?

请看:方法树。

3.我如何学习预测方法?

很多书已经出版关于预测。 1990年以来发表的所有有关的清单,以及评论,看到的 文本/贸易书 。 一个更受欢迎的 Makridakis、做和Hyndman 一个¢‚¬一„¢年代(1998年);现在的第五版,它描述了如何使用各种方法。 预测国际研讨会 汇集了从业人员、学者和软件参展商在每年的6月或7月。

4.软件可以帮助人们实现预测方法?

有很多好的专用预测程序。 为描述,评论,和调查,去 软件 。 一些程序帮助用户进行验证的事前预测,使其易于使用的连续更新和通过提供各种误差的措施。 Delphi软件允许用户进行多个回合调查匿名专家之一 。

5.我怎么能找到预测使用条款的含义吗?

预测方法和原则已经发展在许多不同的领域,

如统计、经济学、心理学、金融、市场营销、和气象。

研究人员在每个领域的主要关心的是在他们的领域与其他学者交流。

可以查看,预测的字典,开发支持团体之间的沟通。

d. 选择最好的方法

6.什么方法最适合我的情况?

取决于你的目标,

你所面对的情况(比如什么类型的数据可用)。

找到一个方法使用框架基于之前的研究,使用 选择树 。

通常情况下,并没有单一的最佳方法。

事实上,最好使用不同的方法和结合他们的预测。

7.如果证据尚不清楚哪些方法是最好的,我该如何决定选择哪个方法呢?

在一般情况下,不要试图找出最好的方法。

多种方法都适用的话,结合多种预测。

看起来相关的方法,各自预测,然后平均。

这个建议是基于发现30所描述的比较研究“结合预测”。

这样通常会改进预测和错误减少了12%。

如 Graefe et al。(2010) ,

你将最有可能实现更高收益准确性

如果你把预测,使用不同的方法和利用不同的数据。

如果你还想知道哪种方法是最好的,你可以就像研究者做的那样:

做自己的比赛或其他预测方法之间的竞争。

许多预测软件包进行比赛是有用的。

这样做成功你需要满足三个条件:

1)基于“事前绩效”进行比较 。

“事前绩效”:(预测的准确性,而不是他们如何适应历史数据);

2)比较预测与普遍接受的方法;

3)使用一个适当的样本的预测。

这个过程中可以找到的一个例子 Collopy Adya,阿姆斯特朗 (1994)。 细节 阿姆斯特朗 (2001)。

8.普遍接受的方法应该被用来作为“基准预测”?

最简单的“ 时间序列”预测方法是随机漫步。

它假定时间序列的未来价值就等于当前值。

换句话说,

一个没有有用的信息对未来的变化系列:同样可能会上升或下降。

随机漫步提供相对准确的预测在很多情况下,也可以作为一个比较性能的基础。

从简单的预测、指数平滑法方法也用作基准

在长期趋势建立系列

(如股票市场的长期推断)。

横截面数据,可以使用一组平均(或 基准利率)作为一个预测。

可行的时候,市场也会提供良好的基准。

市场价格是基于大量的人把钱花在他们的预测。

例如,1930年代以来的研究表明,如果没有内部信息,不可能改进在预测股票市场的价格预测。

预测市场,基于聚合信息的基本目的,使用结合了人类判断的一个市场的价格系统,并将它转化为一个数值估计( 沃尔弗斯和兹特维茨 2004)。

许多公共预测市场的预测(如。 谁将是下一个总统,周末电影票房,

或政府是否会通过救助,或攻击某一个国家)

很容易获得、几乎没有成本,可以提供良好的基准。

不过,机构以此牟利则是受限的。

目前可用的实证研究回顾发现,

预测市场不比其他预测方法更准,

而且和他们很难实施( Graefe &阿姆斯特朗 2010)。

9.(平均)综合预测是一个好主意吗?

还经常听到建议,每个人都应该寻找一个正确的现实模型,

以便准确预测会发生什么,

平均预测只有平均表现。

为什么人们不组合预测,在 Graefe et al (2010)中描述了。

大量的研究证实,结合从不同的方法和独立专家而来的预测,提高了准确性。

一个完美的模型很少适用于管理和社会科学。

结合预测,有助于预测准确率,通过去除偏见、包括多样化的信息和模,每个捕获现实的不同方面( 阿姆斯特朗 ,2001 b,Graefe et al。(2010))。

e .评估程序的优点和缺点

10.如何判断我的组织将受益于一个正式的预测方法?

你可以 进行审计 你的组的流程。

大约两小时来做审计,

根据问题的复杂性、和你的专业擅长程度。

f .预测的准确性

11.预测不是,一般错的比对的多吗?

这是一个有陷阱的问题。

有些东西本来就很难以预测,当预测数值化,预测者很少能完全正确。

预测者必须提供,比随机更准确的预测。

良好的预测过程是比其他合理的替代方案,更好的预测。

企业盈营收、新产品,销售,和就业,都有基准预测错误。

12.预测的准确性应如何相比?

通过度量错误,来比较。

一般来说,度量错误的方法,应该是最接近决策的近相关的。

理想情况下,比较“从改进预测而来的受益”和“获取这个改进所需要的成本”。

不幸的是,这是很少可行,

往往,我们只是简单的使用了更准一些的预测。

一些常用的错误措施:MAD, 均方误差(MSE) , R2(或平方) , 平均绝对误差百分比(日军) , 平均绝对误差百分比(MdAPE) , 平均绝对相对误差(MdRAE) 。

度量的选择取决于分析的目的。

例如,比较一组时间序列的准确率,重要的是要控制规模,预测每个系列的相对困难,预测接受检查的数量。

有关更详细的信息,请参见论文发表在《集 国际期刊的预测 8(1992),69 - 111。

警告:应避免两种流行的措施。

第一个, R 2 ( 和实际数据相关的预测模式),对预测者并不是特别有用,

在时序数据的时候弊大于利。

第二,MSE均方误差,不应使用,因为它是不可靠的;

此外,很难对决策者解释( 阿姆斯特朗 2001年)。

13.我怎么能评估预测的“可信度”?

在很多情况下说,一个“confident”实际价值将X和Y之间,或将是z .

不幸的是,预测区间的不确定性,通常,很难从历史数据做的近期的拟合预测中,预估得到。

关于预估时间序列上的不确定性,可以看Chatfield (2001)。

一般来说,尽可能接近未来预测情景的模拟。

因此,要看一个人可以好的预测未来两年,可以抽样,过往的回顾预测。

不能使用,事后获得的知识和信息。

g .检查替代政策

14.这里的“政策”是什么意思?

例如政府应该采用什么样的卫生策略。

政策,可能是对于政府雇员的法律、法规或指令。

我们使用"政策“这一广义术语,大致包括,产品定价,工作空间,董事会向股东提供信息的类型,在多大程度上农药残留监测,隔夜现金利率的设置等。

您可能希望预测,最好的备选策略,或外部政策变化对组织的影响。

15.什么方法常用来预测不同政策的效果?

判断引导 , 专家系统 , 联合分析 和因果方法

(见 Allen &菲尔德斯 2001年后者)是主要的方法。

16.我需要了解“推断所处的情景“吗?

简而言之,您需要了解相关的因果关系。

理论是有帮助的。

例如,在很多情况下,知道”涨价往往会导致需求量下降,反之亦然“的经济学理论,是有用的。

专家会知道从先前的研究证据,

比如,哪些因变量、自变量是重要的,

和方向(量级)的关系。

什么条件下,适用于做出有用的政策推断?

有很强的因果关系,政策和你感兴趣的预测,

可以估计的关系;

政策可能大幅改变的预测基线

或已经改变了你想预测效果;

你决定政策将是什么

或者你可以预测政策将是什么,

或者你希望制定应急计划。

h .新产品

17.没有历史时,可以做什么?

在没有历史的情况下,必须使用评判方法。

这些包括 专家意见 ,

客户的 意图 或 预期。

一般来说,结构化方法提供比非结构化的预测更准确。

一个结构化的方法是德尔菲法( 罗和赖特 1999)。

德尔福是问从5到20独立,异构的、无偏见的专家进行独立预测并提供理由。

管理员提供匿名反馈统计数据的形式和理由,并重复这个过程,直到下一轮的预测的变化越来越小。

德尔菲预测的结果,是中位数。

如果有类似的情况下,可以使用这个信息(Green and Armstrong 2007).。

预测问题的结构化,对于预测有很大的影响。

问题分解的论文在特定条件下很有用( 麦格雷戈 2001)。

18.”生长曲线和扩散模型“用于预测新产品?

” 扩散 模型“被认为和许多类型的产品的需求的预测相关,

和数以百计的研究已发表的主题。

然而,验证研究很少,因此很难判断,事实上是否有帮助。

Meade and Islam’s (2001) review.

i. 行为冲突,如谈判和战争

19.在谈判或战争等复杂的情况下,可以做有用的预测吗?

这是一个实证问题。

答案为no,如果用的是没有专业的判断的。

幸运的是,有两种方法,可以关于”冲突情况下的行为“提供有用的预测。

他们是

结构化的类比

和 模拟交互 (角色扮演)。

前一种方法 Green and Armstrong (2007),

后一种方法Green (2002) and Green (2005).。

20.如果不平凡的人参与冲突会怎么样?

人们普遍相信,”人们的决定决定反映了他们的个性,而不是对情景的通常的反应“,被称为”基本归因错误“。

又是一个实证问题,对冲突已有科研、通过其中有不少非凡的人,

结构化的类比、和模拟交互,也都很好的预测了 。

真实的描述,但在某些情况下伪装,用于研究可用的冲突 conflictforecasting.com 。

j .变化着的技术的作用

21.试图”预测未来技术的发现和影响“的价值何在?

预测未来的技术是一个危险事情。

Schnaars(1989)研究了数百个技术预测。

他发现有一个近视,即使在专家中,导致他们用现在的眼光,看待未来。

Cerf和Navasky(1998)有趣的例子,专家对于技术未来的错误的判断。

也许著名的是1899年与由美国专利委员会,要求废除专利局,理由是没有什么可发明的了。

k .股票和大宗商品

22.可以准确预测股市的变化吗?(或者,如果预测员是那么聪明,为什么预测员还是没有钱呢?

股票的市场价格,如任何市场的价格,

代表大量的无偏的预测的组合,

专家访问可用的信息。

自1930年代早期就有的研究,表明,我们不太可能找到改进的预测市场的方法。

不过,我们可以预测,将永无休止的一些人声称他们或他们的模型可以比市场做得更好。

我们需要记住,如此多的专家预测,一些仅仅通过运气就能做对了。

记住这个事实,我们应该避免被"数学可以揭示机会或预言家的确存"盲目信仰驱动。

23.人花钱买股票市场预测,你是说他们是不合理的?

有不同的方式看问题。

一个是关于股票的信息,通过这些预测扩散。

另一个原因是,人们想要避免预测的责任,所以他们把这项工作交给一个有药方的人 。

l. 获得认可

24.我已经坚持预测原则;现在我如何让管理使用我的预测吗?

通常的方式‚"告知、推销"似乎并不很有效,当预报员带来坏消息,就意味着改变是必要的。

如果可能的话,事先从预测用户获得对预测方法的同意;获取对于接受“约定的预测过程”的承诺。

取得成功的一个方法是使用场景 。

例如,g·t·切斯尼写了一个生动的描述"英国战败的德国人"在1872年的战斗,为Blackwood杂志。

发表于1871年的场景中,带来了感性的变化和政策变化。

注意,”场景“不代表”备选“,这个术语通常用于流行管理和电子表格:

场景是详细的"发生"在未来的故事;

写场景的原则,总结在格雷戈里和杜兰 ( 2001)。

25.我怎样才能最好的回应对我的预测的批评呢?

遵循良好的预测实践并不能保证准确的预测在每一个场合。

一种方法你可以回答批评家,把”你的预测的准确性,和基准进行比较。

不幸的是,不是所有类型的预测,都能方便的找到基准。

如果没有基准相关预测,您将需要表明,你遵循了最好的预测实践。

要做到这一点,你可以对”使用的 预测过程“进行审计,

如果你坚持相关原则,你会得到一个很好的报告。

26.我们预测,会影响人们的决定?

有时,预测会影响被预测的对象。

例如,公开宣布的预测短缺可能会导致人们囤积,从而真的短缺了。

另外,预测第三季度销售额的减少,可能导致制造商的促销活动来增加销售。

在这种情况下,您需要依赖于学术研究的证据、可以 进行审计 。

27.在多大程度上,应该考虑极端、不寻常的事件?

在加州的地震,恐怖分子袭击一个旅游胜地,或意外死亡的一位政治领袖可能会导致巨大的预测错误。

基准比率 (历史频率)可能会提供这类事件的预测。

例如,可以咨询保险精算的生命表来评估”一位57岁不抽烟男性政治领袖的接下来的三年会死"可能性。

如果可能事件对于预测的影响高,但基准比率确实低,

你可能想要考虑坚持你的预测,但以保险的方式、支付事件的预期成本保险费(概率*经济损失)。

另外,在组织计划中以备万一可能更便宜。

m .保持前沿更新

28.从业者如何最好的与新发展保持同步?

如果你像大多数从业者,你可能不会阅读研究文献。 没有必要感到内疚。

最近的一项研究发现,只有3%的预测是有用的论文发表( 阿姆斯特朗& Pagell 2003)。 这些论文,几乎所有的学者,是很难找到。

我们估计,平均而言,每个月一个有用的论文发表。 不幸的是,它可能需要几个月的所有其他文件中找到它。 一旦发现,他们很难阅读和他们经常忽略关键信息,比如在什么情况下该方法有效。 因此,阅读一个独立的文章可能不是非常有用。 项目预测原则旨在减轻你的责任做阅读和解释。

它发现和解释研究成果,把它们的形式原则(在这种情况下,执行以下操作),让他们免费提供在这个网站上(forecastingprinciples.com)。 预测的原则 描述的原则,总结了证据支持他们。 简短的回答是,一旦你速度,检查在本网站来了解新的发展。

n .阅读学习更多

o .帮助预测

29.谁可以预测吗?

任何人都可以自由练习预测、对于大多数产品和在大多数国家。

也有例外。

公元357年,罗马皇帝君士坦提乌斯法律禁止任何人咨询一个预言家,数学家,或预测。 他宣称:“可能预示未来的好奇心应该永远沉默。”

练习预测的人、为了“他们面临的问题”训练最合适的方法,是明智的。

做预测的专家,应该检查他们熟悉的方法。

要看是他们是否有在他们要求的专业领域,有出版物。

在最近的美国最高法院的裁决,出版,不是作为专家证人的必要条件,

这被认为是一个重要的资格。

有效的预测方法的发展,改进了预测专业的状态。

诺贝尔奖经济学奖去的经济学家,包括恩格尔格兰杰,克莱恩,里昂惕夫,莫迪里阿尼,普雷斯科特,萨缪尔森、和Tinbergen,都对于预测方法有贡献。

30.预测主题的,组织和出版物,有哪些?

一些组织提供 预测 。

因为预测来自许多学科的研究,自1980年以来一直在努力统一。

有一个学术研究所( 国际研究所的预测者 ),

两个学术期刊( 杂志的预测 和 国际期刊的预测 )和从业人员( 远见-€œ应用预测的国际期刊 )。

31.我怎么能找到一个人帮助我吗?

几乎每个商学院都有人预测感兴趣。

国际研究所的预测 (IIF)会员列表和列表 顾问。

p .额外参考预测

阿姆斯特朗,j·斯科特(2001), 预测的原则:研究者和实践者的手册 。 波士顿:Kluwer学术出版商。 (可在 amazon.com )

瑟夫,克里斯托弗和维克多Navasky(1998), 专家们说 ,第二版。 纽约:维拉德。 (可在 amazon.com )

Edmundson,罗伯特·h·(1990),“分解:一个战略判断预测,“ 杂志的预测 ,305 - 305。

丹尼尔·卡尼曼,Paul Slovic和阿莫斯·特沃斯基(1982), 下判断的不确定性 。 剑桥:剑桥大学出版社。 (可在 amazon.com )- - - 审查

Makridakis Spyros et al。(1983),“推断的准确性(时间序列)方法:预测比赛的结果,” 杂志的预测 1(1982),111 - 153。 这项研究发表在《评论 杂志预测, 2,259 - 311。

奥德,基斯,m .核黄素四丁酯& s Makridakis(2000),“M3-Competition。” 国际期刊的预测 ,433 - 433。

Schnaars,Steven p .(1989), Megamistakes 。 纽约:自由的新闻媒体。 (amazon.com )

Surowiecki,詹姆斯(2004), 群众的智慧。 纽约:双日出版社。 (可在 amazon.com )

j·斯科特·阿姆斯特朗 市场部,宾夕法尼亚大学沃顿商学院

Kesten c .绿色 ,国际商学院和低音营销科学研究所、南澳大利亚大学、阿德莱德、南澳大利亚

Andreas Graefe 技术评估和系统分析研究所,卡尔斯鲁厄理工学院,德国

致谢

弗雷德Collopy 信息系统部门,韦瑟管理学院,凯斯西储大学,最初提出的常见问题的发展和帮助在第一版,大约十年前。

多年来,这一直是最经常阅读的网站。 它已经更新很多次。 每一次我们都惊讶以来一直学到多少以前的更新。 预测继续受益于实验和准实验研究。