最近团队参考的一篇文章,来自,沃顿商学院和University of South Australia Business School and Ehrenberg-Bass Institute的两位商学院的教授,所创立的网站http://www.forecastingprinciples.com/index.php/about-121?id=34。
关于预测方法、场景、模型挑选的一些常见问题。http://forecastingprinciples.com/index.php/faq
翻译如下:
a .预测领域
1. 预测的范畴
预测涉及领域:确定未来会是个什么样子。预测的表现和使用。 也就是说,如果用策略A,则X将会发生。
经常预测未来值 时间序列 ;例如,某一年的婴儿的数量;小型汽车的需求。
另外,预测可以是一次性事件,
如管理联盟争端的结果,或新招聘新人的绩效。
也可以 预测分布,如恐怖袭击的位置,或心脏病的发生在不同的年龄同期人群。
预测包括领域研究和应用的判断以及量化或统计方法。
2. 预测知识是从哪里来的?
研究预测推荐实践中产生了很多变化,尤其是1960年代。 我们将推荐或最佳实践 原则 。 大多数原则都源于经验选择预测方法的比较。 最具影响力的论文描述这类研究的结果是论文,见原文链接。
强调实证发现可能似乎显然是可取的。
然而,这种方法并不总是采用, 共同信仰经验证据有时冲突如何预测。
例如,建议基础预测回归模型符合历史时间序列数据对精度产生不利影响。 有时研究成果已经扰乱学者,如发现相对简单的模型更准确的在很多情况下比复杂的 (贺加斯,2010) 。
这个网站和一本书,预测项目的输出 。 项目是为了总结所有先前的研究发现一种很容易被研究人员,教育工作者、学生和从业者。
3. 预测与计划什么关系
预测:未来 将 看起来像;
计划: 未来应该 的样子。
通常会先 规划。局势的情况,作为预测的一个输入。
如果组织不喜欢预测的结果,,它可以生成其他计划,带来可接受的结果。
当然,许多组织走捷径,仅仅改变预测。
更多的计划和预测的角色
B 各类预测问题
4. 你能给我不同的预测问题的例子吗?
举例。 有多少婴儿出生在宾夕法尼亚州匹兹堡的未来五年吗?
将现任总统当选连任吗? (见 政治预测 。 )
将3.5%的支付提供避免*工罢**的威胁吗? (见 冲突预测 )。
多少库存应该我们的目标是在这个月底的532件吗?
将经济增长率在未来三年?
考虑到技术问题和一些社区,要多长时间才能完成一个计划管道?
在哪些地区治安工作应集中在以对财产犯罪有最大的效果? (见 犯罪预测 )。
什么是最普遍的疾病在十年后英国呢?
5. 你应该如何结构化一个预测问题?
预测是关心如何收集和处理信息。
例如,什么时候分解一个问题和地址?
预测包括平淡的事情,比如获取相关的最新数据、检查数据中的错误、调整通货膨胀调整、工作日和季节性等事情。
预测错误,有时候依赖于如何得到更准确的信息。
还需要什么信息、如何最好的利用信息,取决于“预测方法的选择"。
6. 使用最新的数据很重要吗?
是的。 研究也支持这个常识;虽然在实践中往往是违反了。
7. 使用大量数据很重要吗?
重要的是,数据跨越了很长一段时间、或广泛的类似情况。
这样做会减少你会错误的短视的风险,比如,偏离了基本趋势、或者通常情况的局部特殊表现。
我应该收集尽可能多的不同类型的数据?
令人惊讶的是,研究表明,
信息过载的时候,预测准确率反而下降了。( 阿姆斯特朗1985年,100 - 102。 )
因此,有有时候忽略一些信息是对的。
例如,如果一个人只有有限的时间和有限的资源,妥善考虑所有相关信息 (戈尔茨坦&吉仁泽2009) 。
然而,如果你使用通常的方法来预测,你应该收集不同类型的相关数据。
8. 我需要知道我预测的变化的原因是什么?
也不一定。
只有历史数据的时候。
例如,航空公司呼叫中心的交通可以预测使用 外推法 方法。
如图所示,推断法很多情况下是有用的。
9. 我知道模型的预测是错误的。 我应该调整吗?
人们认为比来自于定量方法的预测,知道更多、修改预测,通常结果反而降低了准确率。
然而,结构化的判断调整可能是有用的,如果
(1)最近的事件并没有完全反映在数据
,(2)专家拥有好的对未来变化的领域知识,
或(3)模型中不可能包括关键变量。
一般来说,轻微的修订应该避免。
上面三种情形,应该:
写下用书面的任务指导、
书面的确切的调整,请求专家调整,
记录修改的原因,
并检查之前预测错误。
有关详细信息,请参见 古德温 (2005)。
10. 我怎么能把专业知识情况, 特别是知识的因果关系, 结合到我的预测中?
人们常常对一个特定问题的有用的知识,这称为领域知识。
有效的利用领域知识的一种方法,
包括为判断预测、提供图形化的决策支持(Edmundson,1990)。
基于规则的预测 ,是另一种方法,
结合专家领域知识、和推断时间序列的统计技术。
在使用用基于规则的预测的时候,
大部分系列特征可以自动识别,
但是一部分特征需要领域知识,
特别是因果力作用的趋势( Collopy和阿姆斯特朗 ,1992)。
因果模型
如果”已知的有作用的变量“有可用的数据的话,就可以有因果模型。
理论、前的研究,和专家领域知识
可用提供,关于”预测的变量之间的关系和因果变量“的信息。
因果模型,可以将”规划“和”决策与预测“关联起来,
所以,如果一个人想要“根据环境的不同状态,创建预测”的话,因果模型很有用。
更重要的是,因果模型可以用来预测:不同的政策的影响。
回归分析
适用于如果只有少数相关变量
和有许多可靠的观测、包括因果变量的相互独立的改变。
回归分析,包括,从历史数据,评估因果模型的相关系数。
模型包含一个或多个回归方程、用于表示一个因变量和自变量之间的关系。
回归模型或计量经济学模型,的重要准则:
(1)利用先验知识和理论,而不是统计,选择变量、用于指定方向的影响
(2)使用简单的模型,
和(3)丢弃变量,如果之前估计的关系、与理论相或之前的证据、有冲突的话。
索引法
如果有许多变量、关于”变量如何影响一个结果“的领域知识也很多。
许多预测问题,观测很少、相关变量很多
像这样的问题,用索引方法更现实一点。
指数得分,计算通过增加解释变量的值,这可能是主观评估,例如,0或1。
如果有好的先验领域知识,
解释变量可能是加权相对于它们的重要性.
指数评分,用于预测的"相关事件的可能性"。
它们也可以用来预测数值结果
,例如,通过回归指数, 利用历史数据,对于量化的相关变量因变量,进行打分。
细分
当一个异构整体可分为同质的部分,
以不同的方式,
以应对变化的因果变量,
这比整个可以预测更准确。
例如,在航空业,价格对企业和个人旅行者有不同的影响。
适当的预测方法可以用来预测各个部分。
例如,可以估计每段单独各自的回归模型。
阿姆斯特朗(1985,第287页)报道了三个细分的比较研究。
段是通过外推或回归分析预测。
所有这三个研究表明,细分会提高准确性。
c .常识和预测
1.常识不就足够了吗?改进好的判断,不是很难吗?
直接判断的方法,通常要比定量方法更昂贵。
如果每周需要对50000个物料做库存控制预测,逐个判断不可行。
另一个原因是,他们通常不如正式的方法准确。
研究表明,主观预测有很多偏见,如乐观和过于自信。
奈杰尔·哈维 (2001)描述了如何克服这些偏见。
瑟夫和Navasky (1998)证明了专家常常做出糟糕的判断。
例如,1956年的约翰·冯·诺依曼说,¢数十年后,能源可能是免费的——就像un-metered air.
泰特罗克(2005) 分析了82000多名专家的预测政治和经济事件。 发现专家还没有,更简单的规则预测的准确。
2.常用的预测方法是什么?
请看:方法树。
3.我如何学习预测方法?
很多书已经出版关于预测。 1990年以来发表的所有有关的清单,以及评论,看到的 文本/贸易书 。 一个更受欢迎的 Makridakis、做和Hyndman 一个¢¬一¢年代(1998年);现在的第五版,它描述了如何使用各种方法。 预测国际研讨会 汇集了从业人员、学者和软件参展商在每年的6月或7月。
4.软件可以帮助人们实现预测方法?
有很多好的专用预测程序。 为描述,评论,和调查,去 软件 。 一些程序帮助用户进行验证的事前预测,使其易于使用的连续更新和通过提供各种误差的措施。 Delphi软件允许用户进行多个回合调查匿名专家之一 。
5.我怎么能找到预测使用条款的含义吗?
预测方法和原则已经发展在许多不同的领域,
如统计、经济学、心理学、金融、市场营销、和气象。
研究人员在每个领域的主要关心的是在他们的领域与其他学者交流。
可以查看,预测的字典,开发支持团体之间的沟通。
d. 选择最好的方法
6.什么方法最适合我的情况?
取决于你的目标,
你所面对的情况(比如什么类型的数据可用)。
找到一个方法使用框架基于之前的研究,使用 选择树 。
通常情况下,并没有单一的最佳方法。
事实上,最好使用不同的方法和结合他们的预测。
7.如果证据尚不清楚哪些方法是最好的,我该如何决定选择哪个方法呢?
在一般情况下,不要试图找出最好的方法。
多种方法都适用的话,结合多种预测。
看起来相关的方法,各自预测,然后平均。
这个建议是基于发现30所描述的比较研究“结合预测”。
这样通常会改进预测和错误减少了12%。
如 Graefe et al。(2010) ,
你将最有可能实现更高收益准确性
如果你把预测,使用不同的方法和利用不同的数据。
如果你还想知道哪种方法是最好的,你可以就像研究者做的那样:
做自己的比赛或其他预测方法之间的竞争。
许多预测软件包进行比赛是有用的。
这样做成功你需要满足三个条件:
1)基于“事前绩效”进行比较 。
“事前绩效”:(预测的准确性,而不是他们如何适应历史数据);
2)比较预测与普遍接受的方法;
3)使用一个适当的样本的预测。
这个过程中可以找到的一个例子 Collopy Adya,阿姆斯特朗 (1994)。 细节 阿姆斯特朗 (2001)。
8.普遍接受的方法应该被用来作为“基准预测”?
最简单的“ 时间序列”预测方法是随机漫步。
它假定时间序列的未来价值就等于当前值。
换句话说,
一个没有有用的信息对未来的变化系列:同样可能会上升或下降。
随机漫步提供相对准确的预测在很多情况下,也可以作为一个比较性能的基础。
从简单的预测、指数平滑法方法也用作基准
在长期趋势建立系列
(如股票市场的长期推断)。
横截面数据,可以使用一组平均(或 基准利率)作为一个预测。
可行的时候,市场也会提供良好的基准。
市场价格是基于大量的人把钱花在他们的预测。
例如,1930年代以来的研究表明,如果没有内部信息,不可能改进在预测股票市场的价格预测。
预测市场,基于聚合信息的基本目的,使用结合了人类判断的一个市场的价格系统,并将它转化为一个数值估计( 沃尔弗斯和兹特维茨 2004)。
许多公共预测市场的预测(如。 谁将是下一个总统,周末电影票房,
或政府是否会通过救助,或攻击某一个国家)
很容易获得、几乎没有成本,可以提供良好的基准。
不过,机构以此牟利则是受限的。
目前可用的实证研究回顾发现,
预测市场不比其他预测方法更准,
而且和他们很难实施( Graefe &阿姆斯特朗 2010)。
9.(平均)综合预测是一个好主意吗?
还经常听到建议,每个人都应该寻找一个正确的现实模型,
以便准确预测会发生什么,
平均预测只有平均表现。
为什么人们不组合预测,在 Graefe et al (2010)中描述了。
大量的研究证实,结合从不同的方法和独立专家而来的预测,提高了准确性。
一个完美的模型很少适用于管理和社会科学。
结合预测,有助于预测准确率,通过去除偏见、包括多样化的信息和模,每个捕获现实的不同方面( 阿姆斯特朗 ,2001 b,Graefe et al。(2010))。
e .评估程序的优点和缺点
10.如何判断我的组织将受益于一个正式的预测方法?
你可以 进行审计 你的组的流程。
大约两小时来做审计,
根据问题的复杂性、和你的专业擅长程度。
f .预测的准确性
11.预测不是,一般错的比对的多吗?
这是一个有陷阱的问题。
有些东西本来就很难以预测,当预测数值化,预测者很少能完全正确。
预测者必须提供,比随机更准确的预测。
良好的预测过程是比其他合理的替代方案,更好的预测。
企业盈营收、新产品,销售,和就业,都有基准预测错误。
12.预测的准确性应如何相比?
通过度量错误,来比较。
一般来说,度量错误的方法,应该是最接近决策的近相关的。
理想情况下,比较“从改进预测而来的受益”和“获取这个改进所需要的成本”。
不幸的是,这是很少可行,
往往,我们只是简单的使用了更准一些的预测。
一些常用的错误措施:MAD, 均方误差(MSE) , R2(或平方) , 平均绝对误差百分比(日军) , 平均绝对误差百分比(MdAPE) , 平均绝对相对误差(MdRAE) 。
度量的选择取决于分析的目的。
例如,比较一组时间序列的准确率,重要的是要控制规模,预测每个系列的相对困难,预测接受检查的数量。
有关更详细的信息,请参见论文发表在《集 国际期刊的预测 8(1992),69 - 111。
警告:应避免两种流行的措施。
第一个, R 2 ( 和实际数据相关的预测模式),对预测者并不是特别有用,
在时序数据的时候弊大于利。
第二,MSE均方误差,不应使用,因为它是不可靠的;
此外,很难对决策者解释( 阿姆斯特朗 2001年)。
13.我怎么能评估预测的“可信度”?
在很多情况下说,一个“confident”实际价值将X和Y之间,或将是z .
不幸的是,预测区间的不确定性,通常,很难从历史数据做的近期的拟合预测中,预估得到。
关于预估时间序列上的不确定性,可以看Chatfield (2001)。
一般来说,尽可能接近未来预测情景的模拟。
因此,要看一个人可以好的预测未来两年,可以抽样,过往的回顾预测。
不能使用,事后获得的知识和信息。
g .检查替代政策
14.这里的“政策”是什么意思?
例如政府应该采用什么样的卫生策略。
政策,可能是对于政府雇员的法律、法规或指令。
我们使用"政策“这一广义术语,大致包括,产品定价,工作空间,董事会向股东提供信息的类型,在多大程度上农药残留监测,隔夜现金利率的设置等。
您可能希望预测,最好的备选策略,或外部政策变化对组织的影响。
15.什么方法常用来预测不同政策的效果?
判断引导 , 专家系统 , 联合分析 和因果方法
(见 Allen &菲尔德斯 2001年后者)是主要的方法。
16.我需要了解“推断所处的情景“吗?
简而言之,您需要了解相关的因果关系。
理论是有帮助的。
例如,在很多情况下,知道”涨价往往会导致需求量下降,反之亦然“的经济学理论,是有用的。
专家会知道从先前的研究证据,
比如,哪些因变量、自变量是重要的,
和方向(量级)的关系。
什么条件下,适用于做出有用的政策推断?
有很强的因果关系,政策和你感兴趣的预测,
可以估计的关系;
政策可能大幅改变的预测基线
或已经改变了你想预测效果;
你决定政策将是什么
或者你可以预测政策将是什么,
或者你希望制定应急计划。
h .新产品
17.没有历史时,可以做什么?
在没有历史的情况下,必须使用评判方法。
这些包括 专家意见 ,
客户的 意图 或 预期。
一般来说,结构化方法提供比非结构化的预测更准确。
一个结构化的方法是德尔菲法( 罗和赖特 1999)。
德尔福是问从5到20独立,异构的、无偏见的专家进行独立预测并提供理由。
管理员提供匿名反馈统计数据的形式和理由,并重复这个过程,直到下一轮的预测的变化越来越小。
德尔菲预测的结果,是中位数。
如果有类似的情况下,可以使用这个信息(Green and Armstrong 2007).。
预测问题的结构化,对于预测有很大的影响。
问题分解的论文在特定条件下很有用( 麦格雷戈 2001)。
18.”生长曲线和扩散模型“用于预测新产品?
” 扩散 模型“被认为和许多类型的产品的需求的预测相关,
和数以百计的研究已发表的主题。
然而,验证研究很少,因此很难判断,事实上是否有帮助。
Meade and Islam’s (2001) review.
i. 行为冲突,如谈判和战争
19.在谈判或战争等复杂的情况下,可以做有用的预测吗?
这是一个实证问题。
答案为no,如果用的是没有专业的判断的。
幸运的是,有两种方法,可以关于”冲突情况下的行为“提供有用的预测。
他们是
结构化的类比
和 模拟交互 (角色扮演)。
前一种方法 Green and Armstrong (2007),
后一种方法Green (2002) and Green (2005).。
20.如果不平凡的人参与冲突会怎么样?
人们普遍相信,”人们的决定决定反映了他们的个性,而不是对情景的通常的反应“,被称为”基本归因错误“。
又是一个实证问题,对冲突已有科研、通过其中有不少非凡的人,
结构化的类比、和模拟交互,也都很好的预测了 。
真实的描述,但在某些情况下伪装,用于研究可用的冲突 conflictforecasting.com 。
j .变化着的技术的作用
21.试图”预测未来技术的发现和影响“的价值何在?
预测未来的技术是一个危险事情。
Schnaars(1989)研究了数百个技术预测。
他发现有一个近视,即使在专家中,导致他们用现在的眼光,看待未来。
Cerf和Navasky(1998)有趣的例子,专家对于技术未来的错误的判断。
也许著名的是1899年与由美国专利委员会,要求废除专利局,理由是没有什么可发明的了。
k .股票和大宗商品
22.可以准确预测股市的变化吗?(或者,如果预测员是那么聪明,为什么预测员还是没有钱呢?
股票的市场价格,如任何市场的价格,
代表大量的无偏的预测的组合,
专家访问可用的信息。
自1930年代早期就有的研究,表明,我们不太可能找到改进的预测市场的方法。
不过,我们可以预测,将永无休止的一些人声称他们或他们的模型可以比市场做得更好。
我们需要记住,如此多的专家预测,一些仅仅通过运气就能做对了。
记住这个事实,我们应该避免被"数学可以揭示机会或预言家的确存"盲目信仰驱动。
23.人花钱买股票市场预测,你是说他们是不合理的?
有不同的方式看问题。
一个是关于股票的信息,通过这些预测扩散。
另一个原因是,人们想要避免预测的责任,所以他们把这项工作交给一个有药方的人 。
l. 获得认可
24.我已经坚持预测原则;现在我如何让管理使用我的预测吗?
通常的方式"告知、推销"似乎并不很有效,当预报员带来坏消息,就意味着改变是必要的。
如果可能的话,事先从预测用户获得对预测方法的同意;获取对于接受“约定的预测过程”的承诺。
取得成功的一个方法是使用场景 。
例如,g·t·切斯尼写了一个生动的描述"英国战败的德国人"在1872年的战斗,为Blackwood杂志。
发表于1871年的场景中,带来了感性的变化和政策变化。
注意,”场景“不代表”备选“,这个术语通常用于流行管理和电子表格:
场景是详细的"发生"在未来的故事;
写场景的原则,总结在格雷戈里和杜兰 ( 2001)。
25.我怎样才能最好的回应对我的预测的批评呢?
遵循良好的预测实践并不能保证准确的预测在每一个场合。
一种方法你可以回答批评家,把”你的预测的准确性,和基准进行比较。
不幸的是,不是所有类型的预测,都能方便的找到基准。
如果没有基准相关预测,您将需要表明,你遵循了最好的预测实践。
要做到这一点,你可以对”使用的 预测过程“进行审计,
如果你坚持相关原则,你会得到一个很好的报告。
26.我们预测,会影响人们的决定?
有时,预测会影响被预测的对象。
例如,公开宣布的预测短缺可能会导致人们囤积,从而真的短缺了。
另外,预测第三季度销售额的减少,可能导致制造商的促销活动来增加销售。
在这种情况下,您需要依赖于学术研究的证据、可以 进行审计 。
27.在多大程度上,应该考虑极端、不寻常的事件?
在加州的地震,恐怖分子袭击一个旅游胜地,或意外死亡的一位政治领袖可能会导致巨大的预测错误。
基准比率 (历史频率)可能会提供这类事件的预测。
例如,可以咨询保险精算的生命表来评估”一位57岁不抽烟男性政治领袖的接下来的三年会死"可能性。
如果可能事件对于预测的影响高,但基准比率确实低,
你可能想要考虑坚持你的预测,但以保险的方式、支付事件的预期成本保险费(概率*经济损失)。
另外,在组织计划中以备万一可能更便宜。
m .保持前沿更新
28.从业者如何最好的与新发展保持同步?
如果你像大多数从业者,你可能不会阅读研究文献。 没有必要感到内疚。
最近的一项研究发现,只有3%的预测是有用的论文发表( 阿姆斯特朗& Pagell 2003)。 这些论文,几乎所有的学者,是很难找到。
我们估计,平均而言,每个月一个有用的论文发表。 不幸的是,它可能需要几个月的所有其他文件中找到它。 一旦发现,他们很难阅读和他们经常忽略关键信息,比如在什么情况下该方法有效。 因此,阅读一个独立的文章可能不是非常有用。 项目预测原则旨在减轻你的责任做阅读和解释。
它发现和解释研究成果,把它们的形式原则(在这种情况下,执行以下操作),让他们免费提供在这个网站上(forecastingprinciples.com)。 预测的原则 描述的原则,总结了证据支持他们。 简短的回答是,一旦你速度,检查在本网站来了解新的发展。
n .阅读学习更多
o .帮助预测
29.谁可以预测吗?
任何人都可以自由练习预测、对于大多数产品和在大多数国家。
也有例外。
公元357年,罗马皇帝君士坦提乌斯法律禁止任何人咨询一个预言家,数学家,或预测。 他宣称:“可能预示未来的好奇心应该永远沉默。”
练习预测的人、为了“他们面临的问题”训练最合适的方法,是明智的。
做预测的专家,应该检查他们熟悉的方法。
要看是他们是否有在他们要求的专业领域,有出版物。
在最近的美国最高法院的裁决,出版,不是作为专家证人的必要条件,
这被认为是一个重要的资格。
有效的预测方法的发展,改进了预测专业的状态。
诺贝尔奖经济学奖去的经济学家,包括恩格尔格兰杰,克莱恩,里昂惕夫,莫迪里阿尼,普雷斯科特,萨缪尔森、和Tinbergen,都对于预测方法有贡献。
30.预测主题的,组织和出版物,有哪些?
一些组织提供 预测 。
因为预测来自许多学科的研究,自1980年以来一直在努力统一。
有一个学术研究所( 国际研究所的预测者 ),
两个学术期刊( 杂志的预测 和 国际期刊的预测 )和从业人员( 远见-应用预测的国际期刊 )。
31.我怎么能找到一个人帮助我吗?
几乎每个商学院都有人预测感兴趣。
国际研究所的预测 (IIF)会员列表和列表 顾问。
p .额外参考预测
阿姆斯特朗,j·斯科特(2001), 预测的原则:研究者和实践者的手册 。 波士顿:Kluwer学术出版商。 (可在 amazon.com )
瑟夫,克里斯托弗和维克多Navasky(1998), 专家们说 ,第二版。 纽约:维拉德。 (可在 amazon.com )
Edmundson,罗伯特·h·(1990),“分解:一个战略判断预测,“ 杂志的预测 ,305 - 305。
丹尼尔·卡尼曼,Paul Slovic和阿莫斯·特沃斯基(1982), 下判断的不确定性 。 剑桥:剑桥大学出版社。 (可在 amazon.com )- - - 审查
Makridakis Spyros et al。(1983),“推断的准确性(时间序列)方法:预测比赛的结果,” 杂志的预测 1(1982),111 - 153。 这项研究发表在《评论 杂志预测, 2,259 - 311。
奥德,基斯,m .核黄素四丁酯& s Makridakis(2000),“M3-Competition。” 国际期刊的预测 ,433 - 433。
Schnaars,Steven p .(1989), Megamistakes 。 纽约:自由的新闻媒体。 (amazon.com )
Surowiecki,詹姆斯(2004), 群众的智慧。 纽约:双日出版社。 (可在 amazon.com )
j·斯科特·阿姆斯特朗 市场部,宾夕法尼亚大学沃顿商学院
Kesten c .绿色 ,国际商学院和低音营销科学研究所、南澳大利亚大学、阿德莱德、南澳大利亚
Andreas Graefe 技术评估和系统分析研究所,卡尔斯鲁厄理工学院,德国
致谢
弗雷德Collopy 信息系统部门,韦瑟管理学院,凯斯西储大学,最初提出的常见问题的发展和帮助在第一版,大约十年前。
多年来,这一直是最经常阅读的网站。 它已经更新很多次。 每一次我们都惊讶以来一直学到多少以前的更新。 预测继续受益于实验和准实验研究。