新机器智能
第3章 人类大脑的层次结构
那么是什么让大脑与人工智能和神经网络所涉及的编程有着如此巨大的差异呢？大脑的设计有什么不寻常之处，这种设计为什么至关重要？你将在接下来的几章中看到，大脑的结构可以告诉我们很多东西，让我们了解大脑到底是如何工作的，以及为什么它与计算机有着本质区别。
我会从整个器官开始介绍。想象一下，桌子上有一个大脑，我们正一起解剖它。你会注意到的第一件事是大脑的外表面看起来非常均匀。它呈粉灰色，类似于光滑的花椰菜，有许多“脊”“谷”，分别被称为“脑回”和“脑沟”，摸起来柔软而黏糊。这就是新皮质，一层薄薄的神经组织，包裹着旧脑的大部分。我们将重点关注新皮质。几乎所有我们认为的智能形式，如感知、语言、想象力、数学、艺术、音乐和规划，基本上都发生在这里。你的新皮质正在阅读这本书。
现在，我不得不承认我是一个新皮质沙文主义(2)者。
我知道在这一方面我会遇到一些阻力，所以让我花一点时间为我的方法辩护，以免偏离正轨。对于大脑的每个部分，都有一群科学家在研究。如果我建议通过理解新皮质从而深入了解智能，肯定会遭到一些研究群体的反对。深感冒犯的他们会这样说：“如果你不了解脑区，就不可能理解新皮质，因为这两者高度相关，不同脑区有不同的功能。”我不反对这种说法。诚然，大脑由许多部分组成，其中大部分对人类来说都至关重要。奇怪的是，大脑中细胞数量最多的部分，即小脑是一个例外。如果你出生时没有小脑或小脑受损，你也可以过上颇为正常的生活。然而，对于大多数其他脑部受损的患者来说，情况并非如此。大多数脑区功能正常才能保障人类的基本生活能力或感知能力。
我给出的反驳理由是，我对制造人类不感兴趣。我想要做的是了解智能并制造智能机器。制造人类与制造智能机器是两回事。智能机器不需要有性冲动、饥饿感、脉搏、肌肉、情绪或类似人的身体。人类不仅仅是一台智能机器。人类这种生物，拥有所有必要的，有时甚至是不需要的包袱，而这些包袱来自漫长的进化过程。如果你想制造具有类似于人类行为的智能机器，也就是说，它们能在所有方面通过图灵测试，那么你可能需要重新创造许多只有人类才具备的东西。但是你将在后文中看到，假如目标是要制造具有智能但与人类不完全相同的机器，我们就可以将注意力转向大脑中与智能密切相关的部分。
由于我只关注新皮质，很多人感觉遭到了冒犯。我想说的是，我也认可其他大脑结构，例如脑干、基底神经节和杏仁核，它们能够确保人类新皮质功能正常，这些都毋庸置疑。
但我倾向于让你相信，智能基本上就产生于新皮质，在此过程中，另外两个脑区也扮演着重要的角色：丘脑和海马，我们将在本书后面讨论。从长远来看，我们需要了解所有脑区的功能。但我相信，如果我们从理论上能全面而深入地理解新皮质的功能，那么这些问题会得到最好的解决。这是我对于这件事的看法。下面来认识一下新皮质吧。
拿出6张名片或6张扑克牌，然后将它们叠放在一起。你现在正拿着一个新皮质的模型。这6张名片大约每张有2毫米厚，应该能让你感觉到新皮质有多薄。就像你的那叠名片一样，新皮质中的每一层大约有2毫米厚，共有6层，每一层的厚度都近似于一张名片。
拉平展开后，你会发现人类大脑的新皮质大约有一张大餐巾那么大。其他哺乳动物的新皮质更小：老鼠的新皮质只有邮票那么大，猴子的新皮质大约像一个信封那么大。但无论大小，这些哺乳动物的新皮质大多都有6层，就像你手里的这6张名片叠在一起的样子。人类更聪明是因为按照身体比例来说，人类的新皮质覆盖的面积相对更大，而不是因为人类的新皮质更厚或包含一些特殊的“智能”细胞。人类的新皮质很大，因为它包裹着大脑的大部分其他脑区。为了适应人类大脑的尺寸，大自然不得不修改人类的整体解剖学结构。人类女性不得不进化出宽阔的骨盆，以便能生下头颅占比较大的婴儿，一些古人类学家认为这一特征与双腿行走的能力是共同进化出来的。但这还不够，所以进化又折叠了新皮质，把它塞进人类的头骨中，就像把一张纸揉成一团扔进一个白兰地酒杯中一样。
新皮质中充满了神经细胞，也叫神经元。这些细胞密密麻麻，所以没有人能够确定其数量。如果你在一叠名片上画一个边长为一毫米的小方块，就相当于你在大约10万个神经元中标记了这个位置。想象一下在这么小的空间里数出确切的数字，几乎是不可能的。尽管如此，一些解剖学家已经估计出典型的人类新皮质包含大约300亿个神经细胞，但就算这个数字比300亿大很多或小很多，应该也不会有人感到惊讶。
那300亿个细胞就是你。它们几乎包含了你所有的记忆、知识、技能和积累的生活经验。经过几十年对大脑的思考，我仍然觉得这个事实令人震惊。凭借这一层薄薄的细胞，我们可以看到并感受世界，并且形成世界观，这简直太不可思议了。夏日的温暖和我们对更美好世界的向往，从某种程度上说，都是这些细胞的产物。在《科学美国人》上发表那篇文章多年后，弗朗西斯·克里克写了一本关于大脑的书，名为《惊人的假设》（The Astonishing Hypothesis）。这个惊人的假设简单来说就是，思想是由大脑中的细胞创造的。没有其他东西，没有魔法，没有特殊的调料，只有神经元和信息之舞。我希望你能体会到这种实现方式是多么不可思议。一系列细胞和人类的意识体验之间似乎存在着巨大的哲学鸿沟，但思想和大脑是一体的。克里克称这是一个假设，他的这种做法显然是政治正确的。大脑中的细胞创造了思想，这是一个事实，不是一种假设。我们需要了解这300亿个细胞的功能以及它们是如何实现这一功能的。幸好，新皮质不仅仅是一团不规则的细胞，我们可以更深入地研究它的结构，从而了解它是如何产生人类思想的。
新皮质的功能区
让我们重回解剖台，再来看看大脑。肉眼看来，新皮质似乎没有明显的特征。但实际上，还是有一些明显特征的，例如分隔两个大脑半球的巨大裂隙，以及分隔后部和前部脑区的突出沟壑。但在几乎所有你能看到的地方，从左到右、从后到前，新皮质错综复杂的表面看起来几乎一样。没有明显的边界线或颜色变化划分出专门处理不同感觉信息或不同类型思想的区域。
不过，人们早就知道这里面有界限。甚至在神经科学家能够分辨有关新皮质回路的有用信息之前，他们就知道某些大脑功能只由特定的脑区负责。如果病人的右侧顶叶由于中风而遭到破坏，他可能将对左侧身体或左侧空间中的任何东西失去感知能力，甚至想象不出它们的存在。左侧额区被称作布罗卡区（Broca’s area），如果这个区域由于中风而遭到破坏，那么人使用语法规则的能力就会受到影响，尽管他的词汇量和理解单词含义的能力没有改变。梭状回发生中风会导致面孔识别能力丧失，病人无法在照片中认出自己的母亲、孩子，甚至自己。这些不可思议的疾病一度令早期的神经科学家认为，新皮质由许多功能区组成。
在过去的一个多世纪里，我们对功能区有了更多了解，但还有很多疑问。这些功能区都是半独立的，似乎专门用于负责感知或思维的某些方面。在形态上看，它们就像排列在一个形状不规则的拼布被子上，每个人的情况只有些许不同。很少有功能区的边界能被清晰地划分出来。从功能上看，它们按分支层次结构排列。
层次结构的概念至关重要，因此我想花点时间仔细定义一下它。在一个具有层次结构的系统中，从抽象意义上说，某些元素的层次一定会“高于”或“低于”其他元素。例如，在企业层次结构中，中层经理的层次高于邮件收发员，低于副总裁。这与物理空间的高低无关；即使中层经理工作的楼层比邮件收发员所在的楼层低，这位经理的职级仍然高于邮件收发员。当我谈论一个功能区高于或低于另一个功能区时，我要表达的也是这个意思。功能区的层次高低与它们在大脑中的位置排列无关。新皮质的所有功能区都位于这个错综复杂的新皮质表面上。使一个功能区比另一个功能区更高或更低的原因在于它们如何相互连接。在新皮质中，较低的功能区通过某种连接的神经模式将信息反馈给较高的功能区，而较高的功能区通过一定的神经连接模式将信息反馈给较低的功能区。处于层次结构不同分支中的功能区之间也存在横向联系，正如一位中层经理与他在美国另一个州的分理处的同行交流。科学家丹尼尔·费勒曼（Daniel Felleman）和戴维·范·埃森（David van Essen）曾绘制了猴子的新皮质的详细结构。该结构显示出几十个区域通过复杂的层次结构连接在一起，我们可以假设人类的新皮质也具有相似的层次结构。
最底层的功能区，即初级感觉区，是感觉信息首先到达新皮质的地方。这些功能区以最原始、最基本的方法处理信息。例如，视觉信息通过初级视觉区（V1）进入新皮质。V1关注的是低水平的视觉特征，如微小的边缘部分、小尺度运动分量、双眼视差（针对立体视觉），以及基本的颜色和对比度信息。V1将信息反馈给其他功能区，如次级视觉区（V2）、第四级视觉区（V4）和下颞叶（IT；我第6章会详细介绍它们），以及其他一些功能区。这些功能区中的每一部分都负责处理信息的更具体或更抽象方面。例如，V4中的细胞会对中等复杂度的物体做出反应，如红色或蓝色等不同颜色的星星形状。另一个叫作中颞区（MT）的功能区专门处理与物体的运动相关的信息。在视觉皮质的较高层次，有一些功能区代表着你对各种物体的视觉记忆，如对人脸、动物、工具、身体部位等的视觉记忆。
你的其他感觉区也有类似的层次结构。新皮质有一个名为Al的初级听觉区，上面有一个听觉区的层次结构。新皮质还有一个名为S1的初级体感区，上面有一个体感区的层次结构。最终，感觉信息进入联合区，这也是接收一种以上感觉输入的皮质区有时使用的名称。例如，有一些皮质区会同时接收视觉和触觉输入。正是由于联合区的存在，你才能看到苍蝇在你手臂上爬，与此同时，你会感觉到手臂发痒。这些功能区大多接收经过几种感觉区高度处理的输入，但这些功能区的功能仍不清楚。我在后文会详细介绍皮质层次结构。
在大脑额叶中还有另一组功能区，用于创造运动输出。新皮质的运动系统也是分层次的。层次最低的初级运动区（M1）会向脊髓发送信号，建立连接并直接驱动肌肉。层次更高的功能区将复杂的运动指令反馈给Ml。运动区的层次结构和感觉区的层次结构看起来非常相似。它们似乎以相同的方式组合在一起。在运动区，我们认为信息顺着层次结构向下流向M1以驱动肌肉。而在感觉区，我们认为信息会顺着层次结构向上流动，远离感觉区。实际上信息是双向流动的。感觉区的反馈是运动区的输出，反之亦然。
大多数对大脑的描述使用的都是流程图，这种图是一种过于简化的层次结构。也就是说，输入（视觉、听觉、触觉）流入初级感觉区并在向上移动时得到处理，然后通过联合区，再传递到新皮质的额叶，最后再传回运动区。我并不是说这种观点是完全错误的。当你大声朗读时，视觉信息确实从V1进入，流向联合区，到达额叶运动皮质，最后驱动口腔和喉咙中的肌肉，进而形成说话的声音。然而，这个过程中发生的事情不止如此，并没有这么简单。我提醒你注意过于简化的观点是因为，该过程中的信息通常是流向单个方向的，就像在工厂装配线上制造小部件一样。但是新皮质中的信息也总是会向相反的方向流动，并且在层次结构中，向下反馈的投射比向上反馈的投射多。当你大声朗读时，相比于你的眼睛从印刷品页面接收到的信号，你的新皮质的较高功能区向下发送了更多信号到你的初级视觉皮质。我将在后面的章节中介绍这些反馈投射的作用。现在，我想告诉你一个事实：虽然信息确实会向上传递，但不要因此就认为信息流都是单向的。
回到解剖台前，假设我们设置了一台功能强大的显微镜，从新皮质上切下一个薄片，对一些细胞进行染色，然后通过显微镜进行观察。如果我们对切片中的所有细胞进行染色，就会看到一团黑色固体，因为这些细胞非常紧密地交错排列在一起。但是如果我们用一种染色剂来标记一小部分细胞，就可以看到我之前提到的六层结构。这些结构是因为细胞体、细胞类型及其连接的密度变化而形成的。
所有神经元都有共同的特征。除了细胞体，也就是你想象中的细胞的圆形部分外，它们还有带分支的线状结构，叫作轴突和树突。当一个神经元的轴突与另一个神经元的树突接触时，就会形成名为突触的小连接。突触是一个细胞的神经脉冲会对另一个细胞的行为施加影响的地方。到达突触的神经信号（也被称作电脉冲、动作电位或脉冲尖峰），可以使接收细胞更有可能发射脉冲尖峰。有些突触则会产生相反的效果，使接收细胞不太可能发射脉冲尖峰。因此，突触可以是抑制性的，也可能是兴奋性的。突触的强度会随两个细胞的行为而改变。这种突触变化的最简单形式是，当两个神经元几乎同时产生一个脉冲尖峰时，它们之间的连接强度会增加。稍后我将详细介绍这一过程，即所谓的“赫布学习规则”（Hebbian Learning Rule）。除了改变突触的强度之外，还有证据表明，两个神经元之间可以形成全新的突触。这种情况可能一直在发生，尽管科学证据目前还存在争议。不管突触具体是如何改变其强度的，可以肯定的是，突触的形成和加强正是记忆得以储存的原因。
虽然新皮质中有许多类型的神经元，但其中有一类神经元占比巨大，每10个细胞中有8个这样的神经元。这些是锥体神经元，之所以这样称呼它们，是因为其细胞体的形状大致是金字塔形的。除了六层结构的新皮质在顶层有数米长的轴突外（但细胞数量很少），每一层都包含锥体神经元。每个锥体神经元都与邻近的许多其他神经元相连，每个锥体神经元都有一条长长的轴突横向延伸到新皮质的更远区域，或向下延伸到丘脑等位置比较靠下的大脑结构。
一个典型的锥体神经元有几千个突触。同样，由于它们的密度极大，体积很小，所以我们很难确定它们的具体数量。突触的数量因神经元而异，因层而异，因区域而异。如果我们采取保守的立场，认为平均每个锥体神经元有1 000个突触，实际数字可能接近5 000个或1万个，那么人类的新皮质将有大约30万亿个突触。这是个天文数字，远远超出了我们的想象。显然，它足以储存你一生中能学到的所有东西。
新皮质使用相同的计算工具工作
传闻爱因斯坦曾经说过，构思狭义相对论很简单，没费什么力气。它是从一个观察结果中自然而然地产生的：对所有观察者来说，光速都是恒定的，即使观察者以不同的速度运动，情况依旧如此。这一点是反直觉的。这就好比抛出的球的速度总是一样的，而不管它被抛出时的力度有多大，也不管抛球和观察球的人的移动速度有多快。每个人都会看到，球在任何情况下都以相对于他们的相同速度移动。这似乎不太可能是真的。但事实证明，对光来说的确如此。爱因斯坦想知道，这个奇怪的事实会产生什么后果。他有条不紊地思考了光速恒定的所有含义，并因此对狭义相对论做出了更离奇的预测，比如你的移动速度越快，时间流逝得就越慢，而能量和质量从根本上说是一回事。他在相对论书籍中介绍的那些例子来源于他的日常生活，他通过火车、*弹子**、手电筒等日常生活中的例子来阐述推理思路。这个理论并不难，但它肯定是反直觉的。
在神经科学中也有一个类似的发现，这是一个关于新皮质的事实。这个事实非常惊人，因此一些神经科学家都不相信它，而剩下的大多数神经科学家都忽略了它，因为他们不知道该怎样理解它。但这是一个非常重要的事实，如果你仔细地、有条不紊地探索它的含义，就会发现它将揭开新皮质的奥秘，这样我们就可以了解新皮质的工作原理。这项令人惊讶的发现来自新皮质本身的基本解剖结构，但需要一个独具慧眼的人来将它展示给世人。这个人就是约翰斯·霍普金斯大学的神经科学家弗农·芒卡斯尔（Vernon Mountcastle）。1978年，他发表了论文《大脑功能的组织原则：单元模块和分布式系统》（An Organizing Principle for Cerebral Function: The Unit Module and the Distributed System）。在这篇论文中，芒卡斯尔指出，新皮质在外观和结构上非常统一。新皮质中处理听觉输入的区域、处理触觉的区域、控制肌肉的区域、布罗卡区，与其他所有区域看起来都很相似。芒卡斯尔建议，既然这些区域看起来都一样，也许它们实际上执行的基本操作也是相同的！他提出，新皮质使用相同的计算工具来实现所有功能。
在芒卡斯尔提出这一观点之前的几十年里，所有解剖学家都已经认识到，新皮质的各个部分看起来都是相似的，这是不可否认的。但他们没有深入探究这种现象可能意味着什么，而是把时间花在寻找新皮质的不同区域之间的差异上了。他们确实发现了差异。他们认为，如果一个区域用于处理语言，另一个区域用于处理视觉，那么这些区域之间就应该存在差异。如果仔细观察，你会发现差异。新皮质的各个区域在厚度、细胞密度、细胞类型的相对比例、水平连接的长度、突触密度以及其他许多方面都存在差异，但这些都是很难发现的。人们研究最多的区域之一，即V1，实际上在其中一层有一些额外的分区。这种研究方向错误的情况也曾发生在19世纪的生物学家身上。他们把时间都花在了寻找物种之间的细微差异上。他们成功发现了两种看起来几乎相同的小鼠，但它们实际上是完全不同的物种。许多年里，达尔文遵循同样的路线，不断地研究软体动物。最终，达尔文的慧眼最终发现了其中的奥秘，他因此发问：“所有这些物种怎么会如此相似？”它们的这种相似性远比其差异性更令人惊讶，更令人想一探究竟。
芒卡斯尔也提出了类似的看法。针对解剖学家寻找皮质区微小差异的领域，芒卡斯尔指出，尽管新皮质的不同区域存在差异，但从整体上看它非常统一。各个区域的层数、细胞类型和连接完全相同。新皮质就像随处可见的6张名片叠在一起的样子。这些差异往往非常微妙，以至于训练有素的解剖学家都无法认同。因此，芒卡斯尔认为，新皮质的所有区域都在执行同样的操作。而视觉区之所以成为视觉区、运动区之所以成为运动区，是因为新皮质的各个区域相互连接的方式，以及它们与中枢神经系统的其他部分连接的方式不同。
事实上，芒卡斯尔认为，一个皮质区与另一个皮质区看起来略有不同，是因为它们连接的东西不同，而不是因为它们的基本功能不同。他的结论是，新皮质的所有区域都有一个共同的功能，使用一种通用的算法。视觉与听觉无异，与运动输出也无异。他认为，人类的基因指定了新皮质不同区域的连接方式，这种连接方式会因具体功能和物种的不同而不同，但新皮质组织本身在任何地方都在做同样的事情。
我们花点时间想一想这个问题。对我来说，视觉、听觉和触觉似乎非常不同。它们具有根本不同的特性。视觉涉及不同颜色、质地、形状、深度和形式。听觉涉及音高、节奏和音色的差异。它们感觉事物的方式非常不同，怎么可能是相同的呢？芒卡斯尔说它们并不一样，但新皮质在处理来自耳朵的信号与处理来自眼睛的信号时，采用的方式是一样的。他还表示，运动控制的工作原理也是如此。
科学家和人工智能工程师大多对芒卡斯尔的观点一无所知，或者选择忽视它。为了尝试理解视觉或制造出可以“看到”的计算机，他们设计了专门针对视觉的词汇和技术。他们谈论的是边缘、质地和三维表现。如果想理解口语，他们则会根据语法、句法和语义规则构建算法。但如果芒卡斯尔是正确的，那么这种对不同感觉采用不同算法的方法并不是大脑在处理各类感觉时采用的方法，因此很可能会失败。如果芒卡斯尔是正确的，那么皮质算法的表达必定是与具体的功能或意义无关的。大脑使用同样的过程来看和听。新皮质所做的事情具有普遍性，适用于任何类型的感觉或运动系统。
我第一次读到芒卡斯尔的论文时，惊讶得差点从椅子上摔下去。这就是神经科学的罗塞塔石碑(3)，它仅凭一篇论文和一个想法，就将人类头脑中所有千差万别、奇妙的能力都结合了起来。它用一种算法就将它们统一起来。它只用了一步就表明，以前所有将人类行为作为不同能力来理解和设计的尝试，是完全错误的。我希望你能体会到芒卡斯尔的观点是多么不同凡响和美妙优雅。在科学领域，最好的想法总是简单、优雅且出人意料的，而这就是最好的想法之一。在我看来，无论是过去、现在还是将来，它都可能是神经科学领域最重要的发现。但令人难以置信的是，大多数科学家和人工智能工程师要么拒绝相信，要么选择忽视，要么完全不知道它的存在。
新皮质的可塑性
这种忽视部分原因在于，人们没有找到相应的工具来研究信息如何在六层结构的新皮质内流动。我们目前使用的工具还比较粗糙，通常只能用来研究新皮质中的哪些位置，可以产生各种能力，但无法探究这些能力是何时以及如何产生的。例如，我们通过现在流行的新闻报道可知，许多神经科学都认同这样的观点：大脑是高度专业化的模块的集合。功能成像技术，如功能性磁共振成像（fMRI）和正电子发射型计算机断层显像（PET），几乎只关注脑图和前面提到的功能区。通常在这些实验中，被试会躺下，把头放在扫描仪内，并执行某种思维任务或运动任务。这些任务可能是玩电子游戏、做动词变位、阅读句子、看不同的面孔、给图片命名、想象某事、记忆清单上的内容、做财务决策等。扫描仪检测出在做这些任务时，哪些脑区比平时更活跃，并在被试大脑的图像上绘制彩色斑点以精准定位这些脑区。这些脑区的功能可能是完成这些任务的关键。数以千计的功能成像实验已经完成，接下来研究人员还会开展成千上万的此类实验。在整个过程中，我们正在逐步绘制一幅成人大脑的典型图像，标明各个功能发挥作用的位置。这样一来，人们可以很容易地说出：“这是面部识别区，这是数学区，这是音乐区。”由于我们不知道大脑是如何完成这些任务的，因此自然会假设大脑是以不同的方式执行各类活动的。
但它确实是这样吗？越来越多引人注目的证据都表明芒卡斯尔的观点是正确的。有一些极好的例子证明了新皮质极其灵活。任何一个人，只要得到适当的培养，并处于合适的环境中，他就能学会成千上万种口语中的任何一种。同样，他也可以学习手语、书面语言、音乐语言、数学语言、计算机语言和肢体语言。他可以学会在寒冷的北方或炙热的沙漠中生活，可以成为国际象棋高手、精通钓鱼和耕作的人或理论物理学家。考虑这样一个事实：你有一个特殊的视觉区，似乎专门用于表征书面字母和数字。这是否意味着你生来就有一个可以处理书面字母和数字的语言区？不太可能。相比于漫长的演化历程，书面语是最近才出现的事物，人类的基因无法为它进化出一个特定的机制。因此，在童年时期，人的新皮质仍将自己划分为用于处理特定任务的不同功能区，而在划分时依靠的纯粹是经验。人类的大脑具有令人难以置信的学习和适应能力，哪怕这些环境直到最近才出现。这证明了大脑是一个极其灵活的系统，而不是一个针对一千个问题有一千个解决方案的系统。
神经科学家还发现，新皮质的布线方式具有惊人的“可塑性”，这意味着它可以根据流入其中的输入类型而改变布线方式，并重新布线。例如，新生雪貂的大脑可以通过外科手术重新布线，以便它的眼睛可以将接收的信号发送到新皮质中通常用于发展听觉的区域。结果，雪貂竟然在其大脑的听觉部分发展出了正常的视觉通路。换句话说，它用通常会听到声音的大脑组织看东西。研究人员已经对其他感觉区和脑区完成了类似的实验。例如，可以在老鼠出生时，将它的几片视觉皮质移植到通常表征触觉的区域。随着老鼠的成熟，移植的组织会处理触觉信息而不是视觉信息。细胞并非天生就专门负责处理视觉、触觉或听觉信息。
人类的新皮质同样具有可塑性。先天性失聪的成年人在通常应该成为听觉区的地方处理视觉信息。而先天性失明的成年人使用他们的新皮质的最靠后区域阅读盲文，该部分通常专门用于处理视觉信息。由于盲文需要触摸，你可能会认为它主要会激活触摸区，但显然，没有哪个区域的新皮质会满足于什么都不表征。视觉皮质没有像它“应该做”的那样从眼部接收信息，而是四处寻找其他输入模式筛选信息，也就是对其他皮质区中的信息进行筛选。
所有这些证据都表明，脑区主要会根据其成长过程中流入信息的种类形成专门的功能。与地球表面注定要根据国界线划分成不同的国家不同，新皮质并不是经过严格设计，使用不同的算法执行不同功能的。新皮质的组织，就像全球的政治地理一样，由于早期环境不同，可能会出现不同的结果。
基因决定了新皮质的整体结构，包括哪些区域连接在一起这类具体细节，但在这个结构中，该系统是高度灵活的。
芒卡斯尔是对的。新皮质的每个区域都有一种强大的算法。如果你将新皮质区以合适的层次结构连接在一起，并提供输入流，它就会学习其环境。因此，未来的智能机器不必拥有和人类一样的感觉或能力。皮质算法可以以新颖的方式部署在机械化的新皮质中，表现出新颖的感觉。由此，真正灵活的智能就会在生物大脑之外出现。
新皮质并不直接感知世界
我们继续讨论一个与芒卡斯尔观点有关的话题，它同样令人惊讶。你的新皮质的输入基本上都是一样的。同样，你可能认为你的感官是完全独立的实体。毕竟，声音是以压缩波的形式在空气中传播的，视觉是以光的形式传播的，而触摸是以皮肤上的压力的形式传播的。声音似乎是时间性的，视觉似乎主要是图像性的，而触摸似乎基本是空间性的。还有什么能比山羊“咩咩”的叫声、苹果的样子和棒球摸起来的感觉更不同的呢？
但我们来仔细看看。来自外部世界的视觉信息通过视神经中的100万根纤维发送到大脑。经过丘脑的短暂转运后，它们到V1。声音是通过你的听觉神经的3万根听觉纤维传入的。它们穿过你大脑的一些较旧的部分，然后到达A1。你的脊髓通过另外100万根纤维将有关触觉和内部感受的信息传送到你的大脑。它们被你的初级体感皮质所接收。这些是大脑的主要输入过程。你就是通过这样的方式感知这个世界的。
你可以把这些输入想象成一束电线或一束光纤。你可能见过用光纤制成的灯，每根光纤的末端都会出现针状的彩色光点。大脑的输入就像这样，但这些纤维被称作轴突，它们携带着被称作“动作电位”或“脉冲”的神经信号，这些信号部分是化学信号，部分是电信号。提供这些信号的感觉器官是不同的，而一旦这些感觉器官变成了受大脑限制的动作电位，它们都是一样的，都只是模式而已。
例如，如果你看一只狗，一组模式将会通过你的视觉神经纤维流入你的新皮质的视觉部分。如果你听狗吠，一组不同的模式将沿着你的听觉神经流向你的大脑中的听觉部分。如果你抚摸狗，一组触觉模式将从你的手流出，通过脊柱的纤维，流向你的大脑中处理触觉的部分。每种模式，看到狗、听到狗、感受狗，都有不同的体验，因为每一种模式都通过新皮质中的不同线路传输。这些线路在大脑中的位置很重要。但在感觉输入的抽象层面，这些东西本质上都是一样的，都是由六层结构的新皮质以类似的方式处理。你会听到声音、看到光、感觉到压力，但在你的大脑中，这些类型的信息之间没有任何根本的区别。动作电位就是动作电位。无论这些瞬时脉冲最初是什么原因引起的，它们都是相同的。大脑只识别模式。
你对世界的感知和知识是由这些模式建立的。你的大脑里没有光，里面是黑暗的，也没有声音进入，里面很安静。事实上，大脑是你身体中唯一自身没有感觉的部分。外科医生可以把手指伸进你的大脑，而你感觉不到它。所有进入你大脑的信息都是以轴突上的空间模式和时间模式出现的。
我所说的空间模式和时间模式到底是什么意思？我们依次来看看人体的主要感觉。视觉同时携带空间信息和时间信息。空间模式是在时间模式上同步发生的模式，它们是在同一感觉器官的多个受体同时受到刺激时产生的。视觉的感觉器官是你的视网膜。图像进入你的瞳孔，经晶状体投射后，在视网膜上形成一个颠倒的图像，并形成一个空间模式。这个模式被传递给你的大脑。人们往往认为，有一个上下颠倒的、外部世界的小图片进入你的视觉区，视觉因此而产生，但这不是视觉产生的机制。实际上，根本没有图片，它已不再是一个图像了。从根本上说，它只是以不同模式进行的电活动。当你的新皮质处理该信息，在不同的区域之间上下传递模式的组成部分、筛选信息、过滤信息时，它类似于图像的特质会迅速消失。
视觉也依赖于时间模式，这意味着进入你眼睛的模式会随着时间不断变化。但是，虽然视觉的空间方面是直观明显的，其时间方面却不那么明显。你的眼睛每秒钟大约会快速转动3次，即扫视。它们盯着一个点的时候，会突然将目光转到另一个点上。每当眼睛移动时，视网膜上的图像都会发生变化。这意味着进入你大脑的模式也会随着每次的扫视而完全改变。这是最简单的情况，也就是你只是静静地坐在那里，看着一个不变的场景。而在现实生活中，你会不断移动头部和身体，在不断变化的环境中穿行。在你的意识印象里，你看到的是一个充满了容易追踪的物体和人的稳定世界。但是，形成这种印象只是因为你的大脑有能力处理视网膜上图像的洪流，而这些图像永远不会完全重复一个模式。自然视觉是由进入大脑的一系列模式构成的，它就像河流一样不停流动，视觉更像一首歌，而不是一幅画。
许多视觉研究者忽视了扫视和快速变化的视觉模式。他们利用麻醉的动物做实验，来研究当无意识的动物注视一个点时，视觉是如何产生的。这样做时，他们就去掉了时间维度这一变量。这种方法在原则上没有错。消除变量是科学方法的一个核心要素，但他们消除了视觉的一个核心组成部分，即它实际包含的内容。在用神经科学解释视觉的形成机制时，时间是非常重要的影响因素。
对于听觉，我们习惯于思考声音的时间性。声音、口语和音乐随着时间的推移而变化，这对我们来说是显而易见的。你不可能瞬间听完一首歌，就像你不可能瞬间听到一句话一样。只有经过一段时间，一首歌曲才能完整存在。因此，我们通常认为声音并不是一种空间模式。从某种程度上说，听觉的情况与视觉的情况相反：声音的时间性是显而易见的，而其空间性却不那么明显。
听也有空间成分。每只耳朵中都有名为耳蜗的螺旋管状器官，它们将声音转换成动作电位。耳蜗微小、不透明、呈螺旋管状，嵌在人体最坚硬的骨头——颞骨中。半个多世纪前，美籍匈牙利裔物理学家盖欧尔格·冯·贝凯希（Georg von Békséy）破译了耳蜗的秘密。贝凯希建立了内耳模型，发现人听到的每一种声音成分都会导致耳蜗的不同部分振动：低频音会引起耳蜗外部较软和较宽部分的振动；中频音使耳蜗中间部分振动；高频音会引起耳蜗硬底的振动。耳蜗上的每个部位都布满了神经元，当震动发生时，它们就会被激活。在日常生活中，耳蜗无时无刻不在被大量的同步频率振动着。因此，每时每刻都有一个新的空间模式的刺激沿着每个耳蜗的长度流向听觉神经。我们再一次看到，这种感觉信息可归结为“空间-时间”模式。
人们通常认为触摸不是一种时间现象，但它是基于时间的，也是基于空间的。你可以做个实验，自己看看。请一位朋友握住他的手，掌心朝上，闭上眼睛。将一个普通的小物件放到他的手掌中，戒指、橡皮，什么都行。你让他在不移动手的任何部位的情况下识别它，除了重量和可能的尺寸之外，他不会有任何线索。然后告诉他闭上眼睛，让手指在物体上移动。他很可能立刻就能认出这个物件。允许手指移动，就已经为触摸的感官感知增加了时间要素。视网膜中心的中央凹和人的指尖之间有一个非常明显的相似性，它们都有很高的敏锐度。因此，触摸也像一首歌。人们利用触觉执行复杂操作的能力，如在黑暗中扣上衬衫纽扣或打开前门的能力，取决于连续的随时间变化的触觉模式。
我们通常认为，人类有5种感觉，即视觉、听觉、触觉、嗅觉和味觉。实际上人类还有更多感觉。视觉更像是3种感觉——运动、颜色和亮度（黑白对比）的综合体。触觉包含着压力、温度、疼痛和振动。人类还有一个完整的传感器系统，用于反馈自身的关节角度和身体位置。该系统叫作本体感觉系统。没有它，你就无法移动。人类的内耳也有前庭系统，它产生了平衡感。其中一些感觉比其他感觉包含的元素更丰富，对某些人来说也更为强烈，但不管怎样，它们都以空间模式流的形式进入大脑，在轴突上流动。
你的新皮质并未真正或直接感知这个世界。
新皮质唯一知道的是进入输入轴突的模式流。你对世界的感知是由这些模式创造的，包括你的自我意识。事实上，你的大脑无法直接知道你的身体末端在哪里，世界的起点在哪里。研究身体形象的神经科学家发现，人类对自身的感觉远比想象中灵活。例如，如果我给你一个小耙子，让你用它来抓取东西，而不是用手抓取，你很快就会觉得它已经成为你身体的一部分。你的大脑会改变它的预期，以适应新的触觉输入模式。耙子已经实实在在地融入了你的身体。
感觉替代
来自不同感官的模式在你的大脑中是等同的，这个想法令人相当惊讶，虽然很好理解，但它仍然没有得到广泛认可。我将向你展示更多的例子。第一个例子中的内容你可以在家里完成。你只需要找来一个朋友、一个独立的纸板屏幕和一只假手。如果你是第一次做这个实验，可以用一只橡胶手，就像能在万圣节商店买到的那种，那将是最理想的，但你也可以只在一张白纸上描画出你的手。将你的真手放在离假手几厘米远的桌面上，并使它们保持一致，指尖指向同一方向，手掌要么都向上，要么都向下。然后将纸板屏幕放在两只手之间，让你只能看到那只假手。当你盯着假手时，你的朋友要同时抚摸两只手的相同部位。例如，你的朋友可以以同样的速度从指关节到指甲抚摸两根手指，然后以同样的速度快速敲击两个食指的第二个关节，然后在两只手的背面轻轻划几圈，重复这个过程。不久之后，大脑中视觉和体感模式结合在一起的区域，也就是我在本章前面提到的那些联合区，会变得混乱。
实际上，你会感觉到施加在假手上的感觉，就好像它是自己的手一样。
这种“模式对等”的另一个引人注目的例子叫作感觉替代。对于在童年时期失明的人来说，感觉替代可能会彻底改变他们的生活，而且有朝一日，可能会给先天性失明的人带来福音。它还可能催生新的脑机接*技口**术。
威斯康星大学麦迪逊分校生物医学工程教授保罗·巴赫·利塔（Paul Bach-y-Rita）意识到，大脑完全是通过模式产生感觉的，因此开发了一种能在人类的舌头上显示视觉模式的方法。戴上这种显示设备，盲人也能够通过舌头上的感觉来学习“看”。
下面介绍该设备的工作原理。研究人员将一个小摄像头戴在被试的前额上，将一块芯片放在被试的舌头上。视觉会被逐个像素地转化为舌头上的压力点。一个可以在分辨率较低的电视屏幕上显示为数百个像素的视觉场景，可以转化为由舌头上的数百个微小压力点构成的模式。大脑很快就能学会正确解释这些图案。
埃里克·韦恩迈耶（Erik Weihenmayer）是首批佩戴这种安装在舌头上的设备的人。他是一名世界级的运动员，13岁时不幸失明，他四处演讲，称不会让失明影响自己的雄心壮志。2001年，韦恩迈耶登顶珠穆朗玛峰，成为有史以来第一个不仅挑战了而且实现了这一目标的盲人。
2003年，韦恩迈耶试戴了这个舌头装置，自失明以来第一次能看到东西。他能够看见一个球在地板上朝他滚来，伸手去拿桌子上的饮料，并玩起了“石头剪刀布”游戏。后来他穿过走廊，看到了门口，检查了一扇门和门框，并注意到门上有一个标志。最初通过舌头上的感觉进行体验的图像，很快就被作为空间中的图像进行体验了。
这些例子再次表明，新皮质非常灵活，输入大脑的只是一些模式。这些模式来自哪里并不重要。只要它们在一段时间内以一致的方式相互连接，大脑就能识别它们。
新皮质建立了世界模型
如果你认为模式是大脑所知道的一切，那么你对上述所有例子都不应该感觉太惊讶。大脑是模式的机器。用听觉或视觉表征大脑的功能并无不妥，但在最基本的层面上，模式才是根本。无论各个皮质区的活动看起来多么不同，它们使用的都是相同的基本皮质算法。新皮质并不关心这些模式是源于视觉、听觉，还是其他感觉。它不关心它的输入是来自1个感觉器官还是来自4个感觉器官。如果你碰巧用声呐、雷达或磁场来感知世界，或者如果你有触角而不是手，就算你生活在一个四维而不是三维的世界里，它也不会在意。
这意味着你不需要任何一种感觉或任何特定的感觉组合来使你变得聪明。海伦·凯勒既看不见也听不见，但她学会了语言，并成为作家，写作水平超过大多数视力和听力正常的人。她非常聪明，虽然缺失两种主要的感觉，但大脑令人难以置信的灵活性仍然使她能够像五感齐全的人那样感知和理解世界。
人类头脑所具备的非凡的灵活性让我对我们将创造的大脑启发技术寄予厚望。当我想到制造智能机器时，我想为什么要坚持让它具备我们熟悉的感觉？只要我们能够破译新皮质的算法并提出模式科学，就可以将其应用于制造智能系统。受新皮质启发而制作的电路，有一个非常了不起的特点，那就是我们不需要费尽心思地对它进行编程。
正如听觉皮质在重新布线的雪貂中变成“视觉”皮质，就像视觉皮质在盲人身上找到替代用途一样，运行皮质算法的系统将在我们为它选择的任何类型的模式基础上显现出智能。我们仍然需要花心思为该系统设置广泛适用的参数，需要训练和教育它。但是，大脑产生复杂、创造性思维的能力时会用到的数十亿个神经细胞会自行发挥作用，就像它们在孩子身上所做的那样自然。
此外，模式是智能的基础货币这一想法引发了一些有趣的哲学问题。当我和我的朋友们坐在一个房间里时，我怎么知道他们在那里，我甚至无法确定他们是不是真实的。我的大脑接收到一组模式，这些模式与我过去经历过的模式一致。这些模式对应于我认识的人、他们的面孔、他们的声音、他们通常的行为方式，以及关于他们的各种事实。我已经了解到这些模式会以可预测的方式一起出现。但归根结底，这一切都只是一个模型。人类关于世界的所有知识都是基于模式的模型。人类能确定这个世界是真实的吗？这一想法既有趣又古怪。一些科幻书籍和电影也探讨了这个主题。这并不是说那些人或物体真的不存在。他们确实在那里。但是人类对世界存在的确定性是基于模式的一致性和人类解释它们的方式。不存在直接感知这种东西。我们没有一个“人”传感器。请记住，大脑处于一个黑暗安静的盒子里，除了输入纤维上的时间流动模式外，它对其他任何东西一无所知。你对世界的感知是由这些模式而不是其他东西创造的。存在可能是客观的，但流入大脑中轴突束的时空模式是我们要依据的东西。
这场讨论强调了幻觉和现实之间有时会受到质疑的关系。如果你能产生橡胶手错觉，并且可以通过舌头的触摸刺激“看到”，那么当用手触摸或用眼睛看到时，你是否同样被“愚弄”了？我们能相信自己看到的世界是真实的吗？可以。世界确实以一种非常接近我们感知它的形式而存在，然而，大脑无法直接了解这个绝对的世界。
大脑通过一系列感觉了解世界，这些感觉只能检测到绝对世界的一部分。感觉创造的模式被送到新皮质，并由同一个皮质算法处理，创造出一个世界的模型。这样一来，尽管口头语言和书面语言在感觉层面上完全不同，但大脑理解它们的方式非常相似。同样，海伦·凯勒的世界模型与你我的世界模型非常接近，尽管她的感觉比你我要少很多。通过这些模式，新皮质建立了一个接近真实事物的世界模型，然后值得注意的是，它将其保存在记忆中。我将在第4章中讨论记忆，看看这些模式进入新皮质后发生了什么。