随着人工智能技术的发展,大模型在解决诸多理解与生成任务上表现出色,但在评判自身答案可信度这一高难度认知任务上,它们依然面临挑战。与人类相比,大模型由于知识和经验的有限,难以像人类那样准确判断信息来源的可靠性、答案的权威性与主观性,以及适当的不确定性,这使其可信度评估的结果不甚准确。
以“生子当如孙仲谋”这个成语为例。在解释这个成语的意思时,大模型可能会由于数据的局限而错误理解成语中提到的“孙仲谋”是指诸葛亮的外甥,而不是三国时期蜀汉的丞相孙权,这导致对成语寓意的解释出现错误。同时,大模型也难以像人类那样从更加全面与权威的角度来判断自己解释的准确性与可信度,其判断结果可能过于主观和片面。更关键的是,大模型难以意识到自己在“孙仲谋”这个解释上的错误,难以像人类那样产生质疑与怀疑。
这主要是因为大模型获取知识的渠道有限,无法判断自己是否掌握所有相关信息;难以深入理解知识,判断解释的准确性;难以表达对解释的不确定性与质疑;且缺乏人类那样的社会互动判断能力。这使其难以达到人类那样审慎与开放的态度来质疑自己的答案。
首先,大模型获取知识的方式主要依靠训练数据,但任何训练数据集都有其局限性,无法涵盖所有的知识与事实。这使模型难以判断自身是否掌握所有与问题相关的信息,无法确定答案的完备性,难免影响评估的准确性。其次,大模型还无法如人类那样对知识进行深入理解与判断。它们主要依靠记忆与匹配,而不是理解与判断,难以判断信息来源的权威程度和答案的主观性,这也增加了评估的难度。
再次,大模型难以像人类那样在判断中体现出适当的不确定性与怀疑论。人类总体来说对未知的事物保持怀疑态度,在判断可信度时也会考虑较大的不确定性范围。而大模型的设计注重确定性,难以准确表达不确定性与怀疑的判断,这也使其评估结果显得过于绝对。最后,大模型也难以达到人类那样丰富的社会化判断能力。人类可以通过社会互动来判断信息和他人的可信度,但模型难以模拟这样的社会交互经验,其判断显然难达人类的水平。
所以,总的来说,大模型由于仍然难以达到与人类相当的知识积累、理解判断和社会互动能力,其可信度评估结果难免不甚准确。要提高模型在这一认知任务上的能力,需要继续丰富其知识与判断经验,增强对人类思维的模拟,建立更加严谨的评估机制。这需要长期的努力与进步。