The psychology of Reaching action selection, movement implementation,and sensorimotor learning.

Hyosub E Kim 1, Guy Avraham 2, Richard B Ivry 2，2021

https://pubmed.ncbi.nlm.nih.gov/32976728/

目录:

1简介

2从动作选择到动作计划

2.1动作系统中的决策

2.2从目标位置到动作计划的转变

3从计划到执行

3.1动作变异的来源

3.2反馈控制

3.3快速在线控制与决策

4 movement后的学习

4.1基于错误的学习

4.2internal model and state-space model of adaptation

4.3环境变化

4.4多个基础适应过程

4.5外显适应的贡献

4.6小脑：感觉动作学习中重要的皮下位置

4.7内隐和外显学习的交互

4.8内隐和外显适应的特点

4.9其他学习过程

5结论及未来方向

2.1动作系统中的决策

面前放着A和B 两种物体，选A 还是选B，是一个决策竞争过程。一种观点认为，选A 还是选B，还是C ，所有的选项的优先权都是平行的，只需要执行其中一个就行。另一观点认为，系统只能在一个时间内准备一个单独的动作，因此decision在动作选择过程中是十分有限的。

目前被广泛接受的观点认为，不同的决定之间是平行的，至少在不确定任务目标时，是平行的。比如，给猴子呈现两个潜在目标时，猴子的背侧运动前皮层会出现两个相应的激活。与神经证据相一致，行为结果表明，parallel planning更像是发生在运动而不是感觉水平。

另一种说法认为，目标不确定性可能反应了如何优化动作的过程，也就是说，一旦确定最终目标，中间轨迹可能是最佳轨迹。而中间运动反应了人的高水平认知过程，而非motor planning的混乱过程。也就导致了一种观点：干扰起源于动作planning。

2.2从目标位置到动作计划

选定Action后，需要一系列的计算才能将目标转化为动作计划。这个过程也是将多感觉系统转化为合适动作指令的过程。比如，视觉看到桌上的物体A要与手臂当前的本体感觉位置相协调，才能构成运动计划的基础。因此就能够建立一个逆向内部模型，一个能将运动学表征和动力学表征匹配起来的控制器，比如不同的向量（运动学）和产生运动所需的运动指令以及肌肉力量（动力学）。

这些模型从根本上区别了前馈和反馈控制。比如，反馈控制通过在运动执行过程中的感觉信息直领，来提高运动表现。但由于传输和转导感觉信息过程中的延迟，反馈控制可能不太稳定。前馈反应则通过预测感觉动作指令的结果。一个经典的争论是：动作计划是否是在端点编码（肢体最终的期望位置）还是向量编码（肢体目前所处位置与期望位置之间的轨迹）的。这两个假设都根据当前手臂位置来预测动作准确性。令人惊讶的是，即使动作开始时伴随扰动，或缺乏本体感觉反馈，端点准确性依旧不受影响。相反，向量编码包含了动作方向和程度，具体到了手部轨迹或肌肉运动层面上了。作者认为，最有可能的是，动作计划同时包含了端点和向量编码。前者帮助动作找到预期位置终止运动，而向量编码帮助调整动作的灵活度和角度。

3从计划到执行

运动控制中一个经典的现象是：速度-准确率交换，也就是Fitt’s law,认为动作时间与目标大小有关。动作控制既包含动作计划也包含动作执行，即使是我们试着优化动作的过程，实际动作也会与期望动作之间存在差异。而动作变异对动作表现既有破坏作用，但同时又能帮助动作学习的过程。

3.1动作变异的来源

技能掌握与否的一个重要标志就是：动作变异性是否减少了。然而变异性比更不能决定学习的好坏，虽然大多情况下动作变异性与被试受到的环境干扰成反比，但有些情况下，动作的变异性增加会改善学习；从动作计划到动作执行，都有可能产生干扰的“噪音”，动作控制中的降噪就是需要让实际执行动作更加接近理想动作；相比之下，motor planning的变异性可以为探索提供基础，帮助系统发现最优解决方案。

3.2反馈

反馈机制分为两种，一种是外部意识控制的，如感觉信息可以改变神经元的活动，而且与脊髓下的神经元相结合，驱动运动神经元来纠正运动错误，另外一种，更灵活的长期潜伏反射，受皮层和皮层机制的控制对视觉错误的反应视觉为150-200ms,对机械扰动的反射时间约为50-105ms。

最优反馈控制（OFC）认为，神经系统会优先考虑任务相关变异性较小的选择，使用纠正机制确保任务成功，同时忽略冗余或与任务无关维度的变异性。OFC任务能够解释很多任务环境中的反馈控制，具体来说，大脑倾向于找到固定的产生动作的方式以降低任务相关变异。

3.3快速在线控制和决策

OFC提供了在线控制如何优化的控制机制，确保动作合理执行。参与者在视觉干扰的时候很难识别与任务相关的目标转移，但是能忽略本体感觉的干扰。认为本体感觉和视觉结合能够形成稳定的反馈控制，但是视觉提供了唯一的反馈源，来响应目标位置估计时的error。

从某种意义而言，反馈控制并不关心error的来源，前面说过的，目标导向的reaching其实只关注目标位置和当前肢体所处的位置。在reaching过程中，如果目标和cursor都发生了位移，那么初始的反馈则反应了两个信息来源的独立且非线性的响应（大约170ms左右）。而大约在200ms之后，修正性的反馈才能真正反映出两个不同向量的综合表征。这涉及到了奖励如何影响在线控制的过程，光标跳跃170毫秒开始的反馈反应反映了通常与高级决策过程相关的快速计算，因为手朝着奖励目标移动。

[if !supportLists]4. [endif]动作学习

如果我们需要拿起一个杯子，用力的大小取决于杯子里液体的重量多少。Error则揭示了系统如何通过微调从而预测、补偿这些变化，这也叫做感觉运动适应过程（sensorimotor adaptation），是很重要的的优化学习过程。这个过程以前是指内隐和自动化的过程 。但最近的研究表明，这个过程也并非单一过程。

[if !supportLists]4.1 [endif]error based learning

适应学习的研究开始的较早，早期的心理学实验使用棱镜来扭曲视觉信息，来增加reaching的误差。但是棱镜的扰动会在不断地学习过程中消息，错误回极大地降低。感觉运动重新匹配，或内隐重新较准地时候，会出现后效（aftereffect），也就是与干扰方向相反地运动错误。

4.2internal模型和state-space模型

内在模型，是指在特定环境内激发人体动作行为的人-环境交互模型。比如，捡东西的时候，我们有一个惯性力的内部模型，来克服内部力，但如果重力发生了改变，或者没有重力了，那么我们这个运动系统就要重新修改这个内部模型。

在模拟方面，正向模型能够预测感觉信息可能带来的运动指令，并与实际感觉反馈相比较，因而产生了感觉预测误差（Sensory Prediction Error， SPE）。因此，前馈模型包含了有监督的、基于错误的学习，可被认为是动作预测的结果。SPE可以被用于更新逆向和正向模型的迭代方式，来相互校正。

State-space模型就是在这个动作基础上将其优雅的形式化，描述了动作误差如何一步步降低，来维持感觉运动较准。最简单的state-space模型如下：

x代表了内在模型表征，表示手的实际位置和手的视觉反馈位置，实验开始前，x值为0，因为手和实际位置一致，当引入扰动的时候，motor系统需要使用实际旋转和当前预测的旋转误差error信号来修正内在模型。

这个模型由两个速率决定，学习率B，对应系统会一步一步修正的错误比例e，B的值一般在0.1-0.3之间。也就是说，运动系统每次调整10-30%的误差，虽然调整的比例越高，学习的速度越快，但是学习的稳定性也会降低。因为系统不仅对扰动由响应，还会对随机噪音也有响应。A表示从当前状态到下个试次存留的比例，一般大于0.95，小于1. 这个模型解释了为什么没有视觉反馈，会decay到基线水平。也就是说，动作的学习和遗忘，都是基于对响应的执行过程。但是，也会有不被模型捕捉到的遗忘过程，即使没有运动执行，运动适应也会随时间衰退(Criscimagna-Hemminger & Shadmehr 2008, Hadjiosif & Smith 2013, Kitago et al. 2013, Telgen et al. 2014).。

这个模型的争论点在于：更新内部模型的更新是基于观测误差的固定比例。虽然指数学习函数与这一假设相一致，但它们提供了一种相对粗糙的方法来评估预测试验间学习的模型。另一种方法是使用随机扰动计划，对一系列误差大小和方向进行采样。通过使各试验的平均误差为零，基本上消除了保留项，使实验者能够直接测量对不同大小错误的反应。比例性假设仅适用于小范围的误差（Fine&Thoroughman 2007，Hayashi et al.2019，Marko et al.2012，Wei&Körding 2009）。对于较大的误差，响应会根据较小的误差按比例衰减，甚至不变。

这说明，state-space模型对小的错误更加敏感，但很容易忽略大的错误。

4.3环境改变

泛化影响学习范围以外的环境的程度是相对有限的。比如，从一个胳膊转移到另一个胳膊。即使在连续的相似实验context中，适应也只发生在local层面。如果训练是在空间的某一部分内进行的，那么泛化的函数就会在local内，一般的标准偏差为30°。

我们可以通过观察干扰来了解adaptation的限制，比较经典的是，比如当顺时针的扰动力场A会减慢逆时针力场B的学习。这些发现认为，需要矫正内部模型的训练任务在任务改变的时候会延迟学习。但是在block学习中的干扰效应无法通过state-space模型显现出来（为什么？），因为它能从baseline开始预测相似的改变速率。却可以通过多速率state-space模型来进行定量表征，这个模型包含了不同时间上的自适应过程。

因此，学习到底是需要重新矫正内在模型，还是需要建立一个新的内部模型呢？当与机器人装置连接时（例如，在力场研究中）发生的适应不能概括为自由伸展。这一观察结果被解释为反映了这两种情况下不同内部模型的结合，鉴于它们不同的惯性特性，这是一个合理的假设。但是其他类型的线索呢？一些研究表明，显著的线索，如颜色不能防止干扰。例如，我们不能同时学习对红色环境中的顺时针旋转和蓝色环境中的逆时针旋转做出反应。

Wolpert和他同事的一系列实验证明，动态的cue足以将干扰降到最低。比如，被试能够适应两段完全相反的力场，即使被试经历了相反的力场，但他们还是能够建立完全不同的内在模型。

这些结果与运动计划章节中讨论的动力系统模型（dynamical system model）有关，动力系统模型假设不同的运动计划在运动皮层中产生不同的准备状态，对于不同的后续引入，即使运动具有非常相似或相同的运动学特征，也会产生不同的运动计划。相反，颜色cue不会改变运动计划，因为两种颜色的运动是相同的。有趣的是，如果参与者首先学习具有不同后续过程的相反力场，那么即使指令发生变化，他们只需执行初始段，减少的干扰仍然存在。只要与主要目标形成不同的运动计划，例如，通过最初显示次要目标，但阻止参与者实际执行运动的后续部分，参与者可以适应相反的扰动（Sheahan等人，2016）。从动力学系统的角度来看，可能会创建单独的内部模型，因为在运动规划期间，计划的对不同最终目标位置的跟踪需要不同的神经轨迹（Churchland et al.2010）

4.4多个适应过程

标准state-space一个特点是，学习被归类于只有几个参数的单一过程。而且，这个模型在很大程度上属于自动化和内隐的过程。棱镜实验中，即使去掉棱镜后也会有aftereffect，而且去掉棱镜后，也无法回到最初的状态。

这并不说被试没有意识到引入的扰动。当被试带上眼镜后，他们必须依赖这种视觉信息。当另外再施加一个力场的时候，这种意识如何作用？一种假设是，当被试意识到干扰的时候，他们会采用其他的学习方式来对抗干扰。事实上，虽然群体平均函数可能暗示了一个渐进的单调学习函数，但在引入大扰动（例如棱镜眼镜）之后，个体行为可能是高度可变的，这是探索过程的一个特征。

越来越多的额证据说明，感觉运动过程并非单纯的内隐过程。引入明显的扰动后，反应时间增加，这种增加的大小也会预测准确度。反应时增加越大的人，学习的速度也更快。这可能是因为人们需要花费更多的时间来做额外的计划选择合适的策略取抵抗扰动。同样的，当被试被要求反应的更快一些，动作的改变也会相应的变慢，因为时间限制妨碍了被试进行回忆和策略demanding的资源调取（Haith et al, 2015）。

更能说明问题的是视觉运动适应研究中的后效数据。在这里，反馈被消除，说明强调参与者应该直接达到目标，甚至可能附加警告“停止使用任何你可能使用的策略，因为干扰不再存在。”在这种情况下，后效的大小明显小于扰动块末端观察到的航向角变化的大小（Bond&Taylor 2015，Day et al.2016，Huberdeau et al.2019，Taylor et al.2014）。虽然衰减可能反映了消除反馈后的contextual变化，但也有可能在干扰块期间，多个过程有助于学习，aftereffect提供了一种仅限于内隐适应或重新校准的学习测量。

4.5适应中的外显因素

为强调动作学习中策略使用的问题，taylor等人再2014年采用了修改后的visuomotor adaptation任务，再实验前询问被试需要计划达到的目标，随着引入干扰，被试会改变他们的目标来抵消干扰。在一些实验中，手的实际位置偏离了报告的目标位置，是因为除了使用测试外，被试依靠观察到的error来修正内在模型。因此，我们可以把学习分为两个部分，外显和内隐的。口头报告的方式，用目标位置减去实际手部位置，就是内隐适应的程度。

早期学习由策略改变主导，导致绩效的快速提高。但随着时间的推移，内隐再校准的渐进累积效应变得更强，需要修改瞄准策略以保持准确的性能。

内隐和外显的贡献大小取决于扰动的大小。有意思的是，大部分的variation都与策略成分相关，对于小的rotation而言，虽然在最初的扰动实验中很明显，但在实验结束的时候可以降低到可以忽略不计的程度。对于大的rotation来说，aiming增加的幅度根据扰动大小而发生线性变化。相比之下，内隐再校准的幅度保持不变，再15-90°之间的旋转范围内都可以观察到相似的aftereffect，这一发现认为，感觉运动mapping的内隐校正可能在一定程度上受限，系统只愿意再一定程度上进行调整。除此之外，学习过程十分灵活的，它需要改变动作选择，而非动作执行过程。

一些研究认为，saving现象几乎是完全的策略成分，相比之下，内隐成分并不会因为再次暴露于相同扰动而展现出更多的较准，甚至会出现衰减的较准成分。 (Haith et al. 2015b, Huberdeau et al. 2015, Morehead et al. 2015).

4.6小脑：感觉运动学习中的关键皮下节点

大量文献已经证明了小脑在sensorimotor较准中的重要作用。小脑损伤患者在reaching、走路以及扫视眼动的时候会出现运动适应的损伤，核心缺陷是因为无法对感觉运动结果产生精确的预测。

前额叶、顶叶和运动前皮质在内的皮层区域在学习的早期阶段都非常活跃，并且随着学习成绩的提高，活动量也会减少。小脑也会表现出类似的模式，也就是说，小脑和皮质活动的模式一致。也有研究发现，学习过程中，小脑次区域的活动增加，这些增加被解释为反映了新的内部模型在建立，或者旧的模型在重新较准的过程。

一些研究认为，学习主要是内隐的，主要是因为小脑的活动在学习过程中不断增加，比如，当视觉反馈扰动在试验中以增量方式增加时（能最小化意识的参与），观察到局限于小脑深核（Nuclei）的增加。

现在的问题是：小脑是否也参与感觉运动学习的其他认知方面？如策略aiming。小脑某些区域的活动与视觉运动旋转研究期间在前额叶皮层观察到的活动非常相似，在学习过程中活动减少。这种模式的一种解释是，它反映了瞄准策略的招募和实施：在引入大扰动后，参与者探索瞄准可以减少大误差的可能方法，随着时间的推移，随着一个成功战略的巩固而减少（Haith et al.2015b，McDougle&Taylor 2019）。因此，这项神经影像学研究可能被用来表明小脑内的多功能性，某些区域显示与策略使用有关的激活减少，而其他区域显示与适应有关的激活增加。小脑对于内隐适应过程中的再校准以及促进感觉运动学习的外显适应产生和实施过程至关重要。未来研究的一个重要问题将是描述小脑在策略使用中的计算作用。

4.7内隐学习于外显学习的交互作用

通过改变扰动大小能够观察内隐和外显在适应过程中的相对贡献以及他们的相互作用。但是有一个限制因素，那就是，口头报告和标准的感觉运动适应任务，都是错误信号导致的再次较准。比如：在引入45°逆时针旋转后，实验者进行干预，解释扰动的性质，并指示参与者，他们可以通过瞄准距离目标45°顺时针方向的地标来消除这种扰动。

4.8内隐和外显适应的特点

固定SPE是研究内隐学习的一个重要方法，这个过程对错误信息进行响应。被试清楚的知道“clamp”扰动，并被告知要始终瞄准目标、忽略反馈，尽管有这些指示信息，我们还是能看到被试们重新较准的特征，如指数学习功能、aftereffect、local 泛化之类的特征。重要的是，被试完全没有意识到任务表现中的这个变化。

既然假定的SPE信号永远不会被消除，为什么当呈现钳制视觉反馈时，隐式再校准会达到渐近线？一种可能性与标准状态空间模型的解释是一致的：当一次又一次的学习变化和遗忘处于动态对立时，就达到了渐近线。另一种可能性是渐近线反映了本体感觉再校准的极限（或系统对本体感觉误差的容忍度）。即使参与者的主观经验是手直接向目标移动，本体感觉系统也可能对本体感觉SPE作出隐式反应，这种反应抵消了持续视觉SPE的影响。

到目前为止，用于解释策略使用的过程模型的计算开发要少得多，至少与内隐适应的研究相比是这样。最近，McDougle&Taylor（2019）提出，为了实施瞄准策略，参与者参与心理旋转过程，将最初指向目标位置的运动计划转移到瞄准位置。与这一假设一致，反应时间随着干扰的大小而增加，反映了关于心理旋转的经典发现（Shepard&Metzler，1971）。或者，可以通过选择到达记忆或缓存的位置来进行瞄准（参见Haith&Krakauer 2018）。在某些方面，这似乎更有效率，为什么要执行从一个目标位置到另一个目标位置的耗时、连续的转换，而此时可以检索到正确解决方案的内存？但是，内存需求构成了缓存的成本。如果有八个可能的目标位置，就必须记住八个瞄准位置，或者八组行动-结果关系，并且这些位置可能会随着时间的推移而改变（考虑到正在进行的适应）.

4.9.其他学习过程

使用依赖学习：在缺乏公开反馈的情况下，运动的强化被称为使用依赖学习（UDL）（Krakauer&Mazzoni 2011），可以被认为是Hebbian学习的行为表现（Verstynen&Sabes 2011）。.即使在没有反馈的情况下，仅仅是重复也能增强运动记忆。当棒球运动员站起来击球时，练习挥杆并没有产生任何明显的反馈。

强化学习：强化学习的反馈是二元的，提供了一个动作失败或者成功的信息，或者提供了奖励大小的信息。于多数的运动学习任务形成对比。在这些任务中，反馈是矢量的，且提供了错误方向和大小的信息。单纯的强化是改变行为的有效手段。

更有趣的问题是：当基于错误的学习也相关时，强化如何影响行为？一种假设是，奖励信息对学习速度影响不大，但会增强记忆力（Galea等人，2015年，Shmuelof等人，2012a；另一种观点，见Nikooyan&Ahmed，2015年），这是基于观察到在视觉运动旋转过程中获得奖励的参与者比那些在视觉运动旋转过程中获得奖励的参与者花更长的时间洗掉没有得到奖励。然而，Codol及其同事（Codol et al.2018，Holland et al.2018）报告说，洗牌期间渐进绩效的维持是在参与者的显式控制下进行的；因此，强化的效果可能是使策略使用更加显著，而不是对内部模型产生直接影响。奖励也可能调节内隐学习过程。如果目标在中段跳跃，使得旋转光标落在目标内，则适应性减弱（Leow等人，2018）。对这种效应的一种解释是，光标落在目标上会产生奖励信号，这会调节SPE的效应（Reichenthal等人，2016）。即使参与者完全意识到结果并不是他运动的直接结果，也可能出现“奖励”。

5结论

简单而优雅的新颖行为操作已经被证明能有效地揭示令人惊讶的现象，这些现象需要对运动学习的最基本模型进行彻底的改革。预计下一个十年，结合VR，能创造更好的学习环境，来研究运动系统的灵活性和适应性。应用这些技能能让我们在“室外或野外”研究运动。

未来问题：

[if !supportLists]1. [endif]是什么机制在操纵着动作计划和动作执行的不同阶段？他们是如何相互作用的。我们如何处理更高层次的任务需求？如何将高级的任务需求于低级的动作指令结合来产生肌肉运动？

[if !supportLists]2. [endif]感觉运动系统如何处理动作变异？动作执行的变异是否都是不好的呢？如果于计划相关的变异性是有益的，那么我们的系统如何区分不同类型的动作变异？

[if !supportLists]3. [endif]于任务目标相关的内在奖励，如何影响动作选择和在线控制?我们如何定义和形式化一个成本函数，来从不同维度约束我们的动作？

[if !supportLists]4. [endif]感觉运动学习过程中，小脑在策略使用的计算角色？

[if !supportLists]5. [endif]是否有一个统一的规则帮助我们在更广泛的背景下理解感觉运动学习？在感觉运动学习的行为研究中，如何影响转我们学习更普遍的技能？