来源：神经计算与控制实验室
灵长类下颞叶皮层的物体空间图
6月14日NCC lab讨论了鲍平磊博士发表在nature的论文《A map of object space in primate inferotemporal cortex》。该文利用功能磁共振成像技术、微刺激、电生理学和深层神经网络，研究猕猴大脑下颞叶皮层（IT）的组织结构，他们发现了新的‘无主之地’NML，这个区域对高纵横比的偏好响应最强，同时在解剖学层面，细胞根据首选轴（preferred axes）的前两个主成分聚类成四个网络形成一个物体空间（object space）图，该物体空间图在IT内部的三个层级（后、中、前）上重复，其视图不变性（view-invariant）逐级递增。
进一步地，利用GAN模型证明，fc6投影到50维物体空间的信息或者482个IT细胞的神经信号已经有足够的信息，可以解码生成猴子看到的物体图像。
研究摘要
众所周知下颞叶皮层（inferotemporal cortex, IT cortex）负责物体识别，但视觉物体的表征是如何在大脑的下颞叶皮层进行组织尚不清楚。现有的研究已经在IT cortex发现面孔、身体和场景等类别的选择性区域。但是，大部分下颞叶皮层仍然缺乏任何已知的特化（specialization），这就提出了一个问题：主导下颞叶皮层组织的一般原理是什么。
因此，我们使用功能磁共振成像、微刺激、电生理学和深层网络来研究猕猴大脑下颞叶皮层的组织结构。建立了一个低维的物体空间（object space）来描述一般的目标。研究下颞叶细胞对大量目标的响应，发现单个下颞叶细胞将传入对象投影到该空间的特定轴上。
在解剖学层面，细胞根据其首选轴（preferred axes）的前两个主成分聚类成四个网络，形成一个物体空间图。该物体空间图在三个层级阶段上重复，该三个层级上视图不变性（view-invariant）逐级递增。并且，组成这些空间图的细胞具有充分的编码能力，可以近似重构出物体对象。本研究结果提供了一个统一的下颞叶组织图，其中类别选择区域是物体空间粗映射的一部分，物体空间的维度可以从深度网络中提取。
文中图例讲解
图1：微刺激揭示了下颞叶皮层的一个新的解剖网络
图1a是下颞叶皮层中5种已知网络（脸、身体、景、颜色 、3D）的刺激图片（红色框）与对照组图片（蓝色框）。
图1b是猴子M1的大脑右半球示意图。该示意图显示出在这个猴子M1的5种已知的下颞叶网络。利用微刺激，对图中x所在脑区进行电刺激，发现了三个 “no man’s land无主之地”NML 1,2,3（如图b黄色区域）。实验发现，受刺激区域（NML2）与下颞叶的另外两个离散区域（NML1，NML3）相连，在“无主之地”形成一个先前未知的网络。注意，图中黄色和洋红色的虚线框分别表示TE和TEO脑区。
图2：下颞叶皮层中四个不同网络对不同对象的偏好
图2a表示两只猴子（M1和M2）在‘无主之地’记录的对动物，汽车，脸部，蔬菜，房子，物体等6类图片的神经响应。在NML1,2,3三个区块的神经响应非常一致，响应最大（Most）的5个图片分别用红色数字在图中标出并展示出来，响应最小（Least）的5个图片也都呈现出来。
图2b表示两只猴子的三个身体网络对动物身体图片的偏好响应最大。
图2c表示脸部网络对脸部的偏好响应最大。
图2d表示三个粗壮网络（stubby）对粗壮物体的响应最大。
图2e表示由猴子M1电生理确定的5个最大喜好物体与5个最小喜好物体，分别在四只猴子含有NML1、NML2和NML3区块的冠状面上显示激活响应的差异。其中，蓝色区域表示猴子M1在NML2区块的微刺激。
图2f记录NML网络的NML2和NML3区块在纵横比、曲率和方向上变化的线段的细胞响应。纵横比的响应方差占平均跨细胞的22.8%，曲率占方差的5.6%，方向占方差的3.5%。结果表明：NML网络对高纵横比的偏好响应最强
图3：不同层级的网络的神经元响应的视图不变性逐级递增
图3a 每一行分别展示NML网络的三个区块（顶部），身体网络的三个区块（中间）和粗壮网络的两个区块（底部）在猴子M1和M2之间的群体相似矩阵。根据每个区块细胞对88种刺激（8个视角×前11个喜欢的物体对象）的响应，计算出88×88的相关系数矩阵。不同视角下的物体的群体相似矩阵（11x11小矩阵）也显示了视图不变性的增加，在NML3相似矩阵中出现了平行的对角线，说明NML3的试图不变性非常大。
图3b 分别记录在NML（顶图）、身体网络（中间图）和粗壮网络（底图）对51个物体对象在24个视角中的响应。每个响应矩阵下面显示了最偏好物体对象的四个不同视图。比如NML网络偏好不同角度的飞机，身体网络偏好鹅的身体，粗壮网络偏好方块篮子。
图3c 分别从NML网络（顶图）、身体网络（中间图）和粗壮网络（底图）的多个神经元上记录的响应，作为沿偏 好坐标的距离的函数。横坐标被重新缩放，使得范围[-1,1]覆盖95%的刺激。其中，一半的刺激试验被用来计算每个细胞的偏好坐标，而保留的另一半数据则被用来绘制图3c所示的响应。该图说明与线性模型的高解释方差一致，不同网络的细胞沿着首选轴的调谐呈斜坡状(ramp-shaped tuning)
图4：功能核磁共振影像揭示物体空间图
图4a 为物体空间的前两个主成分（PCs）上的物体对象示意图。横坐标为粗壮到尖锐，纵坐标为有生命到无生命的，矩形框中的刺激被用于映射Fig4c，d中所示的四个网络。
图4b 展示电生理实验中使用的所有刺激投射到物体空间的前两个维度（灰色圆圈）。对于每个网络，标记出四种网络的神经元响应所对应的前100个最大偏好的图像在PC空间的位置（身体网络：绿色；脸部网络：蓝色；stubby网络：洋红色；NML网络：橙色）。括号中的数字表示每个网络中记录的神经元的数量。
图4c分别从猴子M3和M4的后(posterior)、中(middle)、前(anterior)下颞叶的冠状面显示四个网络的空间排列。可以发现：不同猴子这些空间排列非常相似。
图4d 将图4c显示的猴子M3和M4四个神经网络覆盖在左半球的平面图上。进一步看出它们具有非常近似的空间排列。
图4e、f、g 分别对空间分布进行量化，显示出后(posterior)、中(middle)、前(anterior)下颞叶皮层的归一化皮层距离对应的归一化响应，以及根据物体空间的象限序列所绘制的峰值响应对应的解剖归一化皮层距离。得到发现：无论是后，中，前下颞叶皮层，它们都遵从身体-面部-粗壮-NML的空间距离序列。
讨论图5前我们需要先介绍拓展图11，以及它里面用到的算法。
拓展图11 （ExFig11）大型辅助物体数据库中物体解码与图像恢复
ExFig11a 为解码模型的示意图。为了构建和测试该模型，这里使用了m个记录细胞对n个图像的响应。这里使用了leave-one-out交叉验证方法学习从响应到特征值的线性变换。
ExFig11b 绘制物体空间第一个主成分的实际特征值对应的模型预测值。
ExFig11c 根据四个神经群体的反应，使用线性回归法解释所有50个维度的差异百分比。其中，每个维度的方差解释表明，在前两个维度之外的每个网络中都有许多维度被编码。
ExFig11d 是关于图ExFig11c中四个相同神经群体的刺激集随机抽取的物体图像数量关于解码精度的函数。虚线表示偶然性表现（chance performance）。
ExFig11e 是关于图ExFig11c中四个相同神经群体随机抽取的细胞数对40幅图像的解码精度。
ExFig11f 显示了用于物体图像参数化的主成分数量与40幅图像解码精度的函数关系。
ExFig11g显 示三种归一化距离情况下的成对对象。在每对图像中，左侧为原始图像，右侧为使用神经数据的重建图像。
ExFig11h 表示预测特征向量与重建特征向量之间的距离归一化分布。
ExFig11i表示特定指数（Specialization Indices）SIij在NML（左）、body（中）和stubby（右）网络物体间的分布。
图5：利用GAN重构物体对象
重构物体对象主要是为了研究构成物体空间图的四个网络中由细胞表示的特征空间的丰富性。为了更直观地显示这四个网络中神经元所携带的对象特征信息，作者尝试利用神经元活动来重建物体对象，他们通过一个生成对抗网络（GAN）传递解码后的对象特征向量（PCs），用于反转AlexNet的fc6层。
图5a的每行四幅图像从左到右依次表示：①原始图像；②使用fc6对原始图像的响应模板(pattern)重构的图像；③使用投射到50维物体空间的fc6响应模板重构的图像；④基于神经元数据的重构图像。
图5b显示了实际重构和最佳重构之间的归一化距离分布。红色表示重构较好的图像，黑色表示重构距离适中的图像，蓝色表示重构距离较大的图像。
原文讨论
这篇文章证明了下颞叶包含一个被重复三次的物体空间的粗糙图（coarse map），并且视图不变性（view-invariant）逐次递增。该物体空间图至少包含四个网络区域（身体网络，脸部网络，粗壮网络和NML），并且这四个网络的单个细胞都使用同一个编码原理投影到对应的偏好坐标轴，其中NML网络表现出对高纵横比的偏好响应最强。
研究表明四个网络的pooling responses以及AlexNet fc6特征响应能够合理地重构一般物体，因此假定这四个网络构造了提供跨越一般物体空间的基础。目前针对下颞叶皮层的物体识别区域研究，包括先前的研究网络（场景、颜色和视差网络）及该研究构成的下颞叶object-topic map四个网络，加上，约占下颞叶皮层的53%。剩下的区域仍有待进一步的研究。
Reference:
Bao, P., She, L., McGill, M., & Tsao, D. Y. (2020). A map of object space in primate inferotemporal cortex. Nature, 1-6.
写作：NCC lab 梁智超
校对：刘泉影