最近在研究nupic的HTM算法(有别于传统ANN,以研究人脑结构为基础)。在numenta官网讨论组上,有一篇重要的帖子主要讨论了大脑皮层中的六边形结构组织问题,大部分素材来自这本书《大脑编码》THE CEREBRAL CODE by William H. Calvin (MIT Press 1996))。我没什么时间,就翻译了一点主要的章节。我们有一个研究HTM算法的Q群:515743445,有兴趣可以加入
克隆在大脑皮层(Cloning in Cerebral Cortex)
所有的抄写员,无论多么小心,都必然会犯一些错误,当然有些并不会有什么改变。如果它们都是从一个主原件复制而来的,那意味着不会有很大的变化。但是,允许从其他副本制作副本,而副本又由其他副本制作,错误将开始变得累积和严重。我们倾向于将不稳定的复制视为坏事,尤其是在人类的文章抄写上,很难想到错误可以被视为改进。我认为《七十士译本》的学者至少可以说,当他们误将希伯来语中的“年轻女人”改为希腊语中的“处女”时,他们闹了一些笑话,提出了预言:“看哪,处女怀孕了,生一个儿子......“ 无论如何,正如我们将要看到的。————理查德道金斯《自私基因》1976年
这是整本书最难的一章。在其中,我必须深入研究皮层神经元的神经解剖学和神经生理学,引入像“同步闪烁的萤火虫”这样的看似无关的主题。到本章结束时,我将展示如何在新皮层中复制是怎样产生的。到第六章结束时,所有达尔文理论的要点和所有加速因子的皮质等价物将得到验证。但从第四章开始,它变得更容易,而不是更难。
神经生理学家区分细胞特性和电路特性的方式,就像生物学家区分基因型和表型一样。一些现象显然是由于电路而不是细胞引起的,对于电子线路而不是元件—— 一种新特性从特定组合中“出现”。你不会在任何一个神经元中找到它。新兴特性的典型例子涉及到了横向抑制,Keffer Hartline也因为这个发现在1967年获得诺贝尔奖。(PS:Keffer Hartline与Svaetichin的第一项工作是在1939年发表的,得到了有三种不同光谱敏感性特征的视锥的结论。格兰尼特的重要结论最近已由沃尔德和其同事以及美国和英国的一些研究组用其他方法进一步证明。
该发现表示视神经传递到脑的信号形式及引起的颜色感觉取决于三种视锥细胞的作用。哈特兰对感觉细胞在不同强度和持续时间光照的反应中产生的冲动和传递的编码的细微分析,使我们基本上知道神经细胞是怎样评价光刺激的。
他后期的研究发现了一些基本原则,告诉我们感觉细胞是如何对得到的粗资料进行评价。由于应用精细的技术和小心选择合适的对象——鲎眼,他才得以对各项结果进行细致的定量分析。这种解决问题的途径导致他发现了侧抑制现象。在鲎眼中,侧抑制是由简单的神经连接调制的。格兰尼特在30年代就指出过在复杂的脊椎动物网膜中抑制的存在及其重要性。哈特兰在证明邻近视觉细胞的相互连接后,以最有想象力的方式应用了他的这一发现,他要定量描述一个神经网怎样利用侧抑制过程来加工从感觉胞得到的资料。他的发现使我们理解到形状和运动的视觉可因对比而得到加强。)
由于局部活动导致周围周围一圈的神经元的抑制,侧向抑制加剧了模糊边界。由许多窄角光感受器组成的复眼,提供一个模糊光学的极端情况,它有一系列抑制性互连,使之能够在环境中重建明暗边界,并恢复大部分丢失的东西。但横向抑制有意者倾向去产生本身不存在的特征,如你通过手指之间狭窄的缝隙看到的马赫带等幻觉。Georg von Békésy 对耳蜗中这种侧向相互作用的研究,使他获得了1961年诺贝尔奖,他也用皮肤表面制造了错觉,以说明横向抑制原则的普遍性原则。拮抗性环绕(“墨西哥帽子”)
在视觉图像分析的前六个阶段中很常见,尽管它们在初级视觉皮层中变得有些拉长和不对称(“澳大利亚丛林帽”)。由于在新皮质中横向分支有许多轴突侧枝,侧向抑制因此延伸了数毫米。模糊边界的锐化和错觉都是横向抑制神经网络的展现的特性。横向抑制的结果可能是什么?
我们有充分的理由去担心反复激发的问题。像一串鞭炮一样,它具有潜在的再生能力。它也是哺乳动物新皮层中最重要的接线原理
用 一句说明大脑皮层(新皮质)的话,它让整个大脑锦上添花。大脑皮层有6层,这通常根据细胞大小或轴突密度确定的,但我们有时会进一步细分(在初级视觉皮层中,一个谈论层4a,4b,4c 和4c )。在其他时候,我们将一些层合在一起:当我提到“表面层”时,指的就是1,2和3层的组合。此外,有三个功能组已经变得明显:与许多桌子上堆放的邮箱类比,第4层可以说是新皮层的输入组件(IN BOX),因为来自丘脑的大部分输入都传到那里为止。依此类推,深一点的层可称为输出组件(OUT BOX),因为层5和层6的锥体神经元的轴突发送到皮质外的区域,传到丘脑或向下到脊髓。浅层的神经元似乎构成了新皮层内部的邮箱,专门用于办公室备忘录?(作者在说什么鬼?怎么翻译?不过不重要)。浅层的锥型神经元之间的相互作用是本书主要涉及的内容,因为这些神经元似乎能够实现一个达尔文主义式的竞争,这样可以从较差的初始数据获得好的效果。
表面层锥体细胞的轴突在胼胝体和其他长距离皮质连接路径中是显而易见存在的,但它们也存在于内在的水平连接中:这些轴突分支没有离开过表面层,因为它们仅仅横向伸展,它们更倾向于终止在其他表层锥体细胞上 (以一种图案化方式patterned manner)。一些轴突分支连接到相邻的细胞上,但另一些忽略了一系列中间神经元走到了更远的地方,然后与约0.5毫米远的那些迷你柱进行通信。
那些人口稀少的空白间隙就像是夏洛克·福尔摩斯关于那只夜晚没有吠叫的狗的故事一样,很长一段时间没有人注意到这个事实。1975年得到了这些神经元间隙组建方式的第一次的暗示。1982年,当Jennifer Lund和Kathleen Rockland首次研究表面层内在水平连接的间隙时,在树熊的视觉皮层中发现了它。虽然迷你柱间隙距离可能不同,但我们现在知道它是许多动物和新皮层区域的常见排列方式。由于Barbara McGuire及其同事对几种注射了HRP的表面层锥体神经元,进行了详细的重建,我们因此知道了这些突触连接可能是兴奋性的,并且可能使用谷氨酸作为其神经递质,他们的主要目标是其他表面层的锥体神经元
他们的轴突有许多分支,在放射状的(radial)方向上移动,最终散开成数千个轴突终端。虽然单个表面层锥体神经元没有足够的轴突末端来填充周围一圈(doughnut),但我们期望由这些神经元组成的小迷你柱组去产生一圈的激发,以及产生从这些分支到它们的直接邻居的中心激发点。点到面在轴突投影方式中更常见,例如深层的锥体神经元就是这样做的。还可以看到循环抑制,但只有新皮质浅层的循环激发才具有“特别的沉默间隙”( prominent silent gaps)的福尔摩斯式的特征(作者在说什么鬼?说那只狗吗)。
现在俯视大脑表面的光学成像技术,能够让我们了解到皮质中的活动的蔓延情况。视网膜的局部区域的刺激,通常预期仅在暴露的皮质表面的一个区域中集中皮质活动的类型,现在被认为有助于宏观柱子分离的多个活动热点,正如预测的那样。
新皮质的长时程增强(long-term potentiation)(LTP)也集中在表面层。我们知道,N-甲基-d-天冬氨酸(NMDA)类型的突触后受体,具有在输入到达簇时增强其强度的不寻常特征(例如来自不同来源的准同步),在表面层中尤为常见。 。
所有这些都提出了自我激发环路的可能性,与1938年Rafael Lorente de Nó在神经生理学杂志的第一卷中为脊髓假定的混响电路不同。如果突触强度足够高,并且路径足够长以逃避否则会限制再激发的不应期,那么闭环活动应该是可能的,冲动追逐他们的尾巴。Moshe Abeles,他的耶路撒冷实验室经常一次观察十几个皮质神经元,在前运动和前额叶皮质神经元集合中,相对于另一个神经元看到了一些精确的冲动时间。目前尚不清楚这些射击模式是否代表混响,这是洛伦特最初的再循环循环感。这些长而精确定时的射击模式对我后来发展的时空模式的概念很重要。
众所周知,开始同步是反复激励的常见后果,应该看到连接强度和短路径都很弱。1665年,荷兰物理学家克里斯蒂安惠更斯注意到悬挂在共同支撑上的两个钟摆是同步的。当他扰乱同步时,它会在半小时内恢复。与非线性弛豫振荡器相比,谐波振荡器的同步速度更慢,这可能只需要几个周期。
同步最着名的例子可能是女性宿舍的月经周期。外观更加引人注目的是一棵满是小灯的整棵树,齐声闪烁。不,我并不是说在一个闪光灯的控制下连接圣诞树-这是一个基于数百个独立振荡器的自然无线示例。小灯是数百只萤火虫,他们没有领先的步伐。 想象一棵三十五到四十英尺高的树,每片叶子都有一只萤火虫,所有的萤火虫在两秒钟内以大约三次的速度完美地一致闪烁,树木在闪光之间完全黑暗。想象一下,河流前方十分之一英里的红树林连绵不断,每片叶子上都有萤火虫同时闪烁,这条线两端树上的昆虫与它们之间完全一致。然后,如果一个人的想象力足够生动,他可能形成一些关于这个神奇景象的概念。
它不需要任何精心设计的模仿概念来解释萤火虫的同步问题; 即使是在光线刺激下进入下一次闪光的小趋势也足以创造一个“高峰时段”。此外,您通常不会看到波浪在这样的人群中传播,除非闪烁刚刚开始或结束。即使在具有传播延迟的皮层模拟中,也可以看到近似同步,在某种程度上(异常色散),某些速度可以超过光速。
弱相互再激励(阈值的百分之几)足以同步;不需要假设是以Lorente的循环链所需的方式的很强的连接强度。只要神经元(或萤火虫)已经有足够的输入重复激发,如果它们之间相互重新激发,就会产生同步倾向。而这正是相距0.5毫米的表面金字塔神经元似乎很可能发生的事情。三重组合 - 相互重新激发,聚焦它的无声间隙以及由此产生的同步倾向-使得新皮层的表面层成为达尔文机器(Darwin Machine)的潜力。
从高处向下看新皮层的浅层(一,二,三层),在什么神经解剖学家称作“切向切片”(tangential slices)中,就像是从热气球上俯视整片森林。每个神经元都可以以自上而下(top-down)的视角看到,从表面到深层(surface-to-depth)切片的侧面观察。就像任何一棵树都有树枝一样,每个神经元都有树突树,也有一棵轴突树,就像森林的树在地下也有根茎一样。
可以看到单个浅层锥体神经元的轴突在许多方向上扩散。虽然感觉神经元和运动神经元可能会有所不同,但平均算起来,中间神经元会发出尽可能像它接受的一样多的突触,通常在2,000到10,000之间。尚未有足够的径向细节(radial plots)以了解水平扩散是如何对称的,但很清楚的是:轴突分支在细胞上向许多方向蔓延。
从细胞体到轴突末端簇(axon terminal cluster)中心的距离(主要在侧视图中研究)在所有皮质区域中是不同的。前面提到的“0.5毫米”实际上小到0.4毫米(在猴子的初级视觉皮层中)或大到0.85毫米(在感觉运动皮层中)。它与基底树突树的宽度成比例。我将使用0.5毫米作为本地度量标准的标准示例; 它对应于约0.25毫米展开的基底树突树,其也是关于一簇轴突末端的扩散和一个“无声间隙”(silent gap)的程度。
如果两个相距约0.5毫米的表面锥体神经元由于相似的输入和阈值而对相同的特征感兴趣,它们的尖峰序列( spike trains)应该开始表现出偶尔的尖峰同步。这不需要来自每个神经元的所有尖峰,只有部分尖峰需要通过循环激活进行同步。
两个已经反复激发的细胞也应该有一些轻微的倾向,以招募0.5毫米远的几乎活跃的另一个细胞。如果第三个浅层锥体神经元变得活跃,我们应该看到三个经常同步的神经元形成等边三角形。但这不是它的结束:这里有一个第二个站点接收来自父母对( parent pair)的同步输入(这与平面几何中的基本练习完全相同,其中指南针用于平分线或垂直垂直)。所以第四个神经元可能加入这个合唱团体(chorus)中。
并且因为第三和第四单元提供新的激励环,所以可以与第一对中的一个结合以使第五点同步。我们所拥有的是一种形成一定大小的三角形阵列的机制,该同步活动的节点距离该合唱的相应细胞0.5mm。它可以通过同步预先存在的活动或通过在节点处招募其他亚阈值神经元来工作。一旦潜在节点被一些激发它的同步节点包围,那里就应该有一个热点( hot spot),同时输入的异常有效收敛(an unusually effective convergence of simultaneous inputs.)。
这种三角阵列兼并倾向不是无限的。(正如我在第6章的后半部分所讨论的那样,那些没有足够神经元的区域为这个细胞帝国任何进一步的建设提供了障碍。)三角阵列肯定是短暂的,现在在这里几秒钟就会消失。当它被足够的抑制(或减少激励)清除时,就好像黑板被擦洗了一样。
然而,痕迹将会延续,就像没擦干净的黑板隐隐约约保留以前图案一样。突触强度应该暂时改变一段时间;实际上,新皮质表面层的同步敏感的长期增强(ynchrony-sensitive long-term potentiation)表明突触强度可以保持增加许多分钟。这样可以更容易地重建三角形阵列的活动形式-可能不是它的所有空间内容,而是只重建它的一部分。
应该说,在解剖学中通过测量截面切面,会发现这些晶格连通(lattice connectivity)不会是整齐的三角形阵列。虽然神经解剖学家谈到表面层中轴突末端簇的“波尔卡点”(polka-dot)图案和“晶格”(lattices),但簇的间隔空间仅为大致三角形。当然,在重新绘制是“驱动时间”(driving time)而不是距离时,在调整期间调整传导速度或突触延迟可以形成三角形阵列。
但是,对于本发明的理论来说,实际上还需要一个平等的传导时间,以便同时聚集在一个潜在的新人身上。尽管精确同步对于引入原理是方便的,但从长远来看,所有三角形阵列都需要产前调整时间,这会产生足够好的自组织,因此六个周围节点中的大多数产生轴突簇。以有助于同步的方式相互重叠。对于这种自组织原则而言,外部观察者会发现“常规”是无关紧要的。我将坚持理论的三角阵列术语,但不要指望在解剖学或生理学中找到精确的三角形,只有足够好的近似。
从一对志同道合的细胞,我们看到了一个大合唱的可能性,同步所有唱歌。此外,这个合唱团可以招募额外的成员。就像站在台阶上的合唱团一样,这些歌手倾向于每行错位而站,以便每个人都站在下面一排的两个歌手缝隙后面。合唱团并不像杂货店里水果堆放所展示出的那样完美的三角形阵列,但它足够接近熟悉的包装(packing)原理。
到目前为止,这个合唱团只能齐声唱歌。这是狂热的,也许只对输入刺激的其中一个特征感兴趣。这肯定不是真正的“赫伯细胞组装”(Hebbian cell-assembly)。如果对应于概念表示的合唱团的话,那它肯定只会演奏部分,就像女高音唱一部分旋律而另一部分由高音演唱,每组都有不同的兴趣。我们需要复调用于和谐的类别,而不仅仅是圣歌。
附带的相关gif图
与深层锥体神经元不同,浅层锥体神经元的侧枝具有一种有趣的“快车”(express train)图案,没有“停止”,除了分开约0.5mm的簇(随皮质区域而变化)。 它们在局部也有许多终止,可能是同一树突束中的其他锥体神经元。 整体图案类似于聚焦的手电筒光束,中间的热点,然后是约0.5毫米的亮环。
手电筒光束图案化意味着相距约0.5毫米的神经元反复激发彼此。 这使得他们可能会同步他们的激发(fire),否则他们会活化(active)。 但是光环也将在第三和第四点交叉以形成同步神经元的三角形阵列。如果形成许多这样的三角形阵列,则时空发射模式将表现出重复; 没有冗余的最小可复制单元是0.5毫米宽的六边形。 因此,人们可以想到形成六边形马赛克的运动命令的克隆,其中替代运动彼此竞争对于皮层中的空间。
如果将单位六边形的数百个微柱映射到音阶上,则时空激发模式类似于旋律。