Ilab-具身语言研究推荐【49】 现状篇之一

点击蓝字 ·  关注我们

具身语言研究现状-语言理解的心理模拟

作者 |  Connie

Embodiedlinguistics.com

摘要：具身认知观( Embodied Cognition) 试图对心-身-世界之间的交互方式给予系统的理论说明, 主张: “认知是一种高度具身的、情景化的活动” (Micheal L. Anderson, 2004) ; 认知是从身体与环境的相互作用中产生的, 依赖于某种类型的经验。从具身认知观来看, 心理模拟是语言理解的一种手段, 通过再入情景( re-situating) 来实现。本节根据上述逻辑考察了词、句、语篇不同信息加工层面的实验研究进展, 证实了人们在语言加工过程中感知、肌肉运动以及其他的经验印痕被激活, 支持了语言理解是运动感觉以及其他相关经验的心理模拟过程。这种语言理解的心理模拟需要人们再入情景, 与已有的听读说写的语言经验发生共鸣, 从而为语言理解提供了新的诠释, 丰富和发展了认知语言学的理论与实践。 

1 引言

针对传统认知观将人脑电脑化的不足, 当代认知科学提出了具身认知(Embodied Cognition) 观, 试图对心-身-世界之间的交互方式给予系统的理论说明, 主张: “认知是一种高度具身的、情景化的活动, 甚至思维的存在应当首先被看作是行动的存在”( Micheal L. Anderson, 2004) ; 认知是具身的( Embodied) , 是从身体与环境的作用中产生的, 依赖于某种类型的经验, 这些经验来自具有特殊感觉运动能力的身体, 而感觉运动能力又与形成记忆、情感、语言和生命的其他方面的基质不可分割地联系在一起。从具身认知观来看, 我们对语言理解的研究视角和理论诠释应当有新的突破。

语言是人类独特的交流工具。它能将我们的注意力指向人、物、事件及可能发生的行为, 从而使我们自己置身于周围的现实世界之中; 它能通过对真实或想象中事件的描述,帮助我们注意到目前并没有出现的人、物、事件及可能发生的行为, 从而使我们置身于非现实世界之中。不论是语言使我们置身于现实世界还是非现实世界, 都离不开具身认知的作用。值得强调的是, 具身认知能使我们置身于非现实世界, 即再入情景 (re-situating ), 通过心理模拟 ( mental simulation) 获得对描写非现实世界的语言的理解, 从而对语言理解获得新的诠释。

2 心理模拟: 语言理解的一种手段

心理模拟可以认为是对所描述事件的替代体验(vicarious experiencing) 。语言是指那些能够引发对人物、地点、物体、事件和行为的经验印痕进行提取的一系列刺激。这种经验印痕反映出理解者过去的关于特定物体、行为、事件以及先前语言的经验。比如理解“把苹果派从烤箱中取出”这一句子, 理解者需要启动动觉经验( motor experience)(取苹果派并感觉到它的重量) 和知觉经验 ( perceptual experience)(看到和闻到苹果派并感觉到它的热气) 。有关的记忆提取是通过启动与真实的拿起、看和闻苹果派相同的感觉运动加工机制而实现的。毫不夸张地说, 对“从烤箱中取出苹果派”这一句子的理解很大程度上依赖执行这一行为的相同动作, 同时理解者还需要与句中词汇已有的听读说写经验印痕的共鸣(resonance) 。

最近的研究比较公认的是, 对行为的心理模拟能力对我们计划和采取行动、对理解别人的行为都是至关重要的, 这说明了心理模拟在语言理解中的作用。就像通过心理模拟他人的行为来理解该行为, 我们能够通过心理模拟他人的行为来理解语言所描述的该人的行为 ( Zwaan & Taylor, 2006) 。

与替代体验情景的心理模拟主张近似而又紧密相连的是预发声(presonance), 它建立在语言生成系统的内隐基础之上(Pickering & Garrod, 2004) 。在最基本的层面, 实验已表明我们对于语音的知觉会激活我们自己发出这些音时所使用的动作程序(Fowler, 1996) 。从更高分析层面上来看, 在处理语言时同样会用到语言生成系统。支持这一假设的观点认为, 理解者会不断下意识地问自己一个问题“如果我是说话人或作者, 我将如何说或写(van Berkum et al. , 2005)” 。这一模仿手段建立在信息交流双方的共同背景和经历基础之上, 它可能是预测词汇和句法的有效机制。

在很大程度上, 语言的预发声是一个自动过程, 在这一过程中, 经验印痕的提取因感知语言结构而被激活, 然后理解者才能对所描述的情景进行替代体验。替代体验的深度取决于预发声的效力; 有诸多因素影响预发声的效力, 重要因素之一是理解者自身的经历。当理解者的经验印痕与所描述的情景紧密匹配时, 预发声可能达到最大化。比如, 阅读关于开车换档的情景。从二档换三档, 开手动档的人比开自动档的人, 会生成一个更为具体的心理模拟: 激活右腿的动作区域松开油门, 然后激活左腿的动作区域去踩离合, 紧接着右手去抓变速器的手柄向远离身体的方向推上去。熟练者或许伴随换档时的声音, 进一步激活前庭运动的印痕。然而开自动档的人或许只能激活伴随换档时的声音表征(representation) 。

另一个深刻影响预发声的重要因素是理解者的语言理解技能。语言理解技能反映一个人对语言构造的敏感性, 该敏感性体现为对语言结构 — 经验印痕本身 — 与非语言经验印痕的连接强度(Zwaan, 2004) 。即使理解者有相关的经验印痕, 如果他不能够利用经验印痕, 激起的心理模拟将会不连贯。比如, 英语为第二语言的使用者, 有换档的经历,但如果他不懂“shifting gear”( 换档) 指的是什么, 那么他就不可能“shifting gear”与相应的换档经验印痕联系起来。

宽泛地说, 预发声可以代表对未来状况的一种预期。它使我们能够学习( 和移情于) 过去的经验, 调整将来的行为。例如, 当看见一个吠着的狗扑向我们时, 先前的经验和类似情景告诉我们, 这条狗将继续逼近。因此, 我们可以为这一将来状况作好准备, 采取措施保护自己。需要重申的是, 预发声应该被看作是自动化的、快速的过程, 而不是有意的审慎的预测。

在语言加工中, 预发声在诸多水平上发生, 比如: 在语言输入过程中, 预期下面的成分有助于促进对这些成分的加工; 预期所描述的事件后来的变化能够促进语言理解; 了解语言类型（genre）能够使读者预测出文章的内容和结构, 从而制订出最佳阅读策略。这种预测既受读者自身的真实行为和事件经验的影响,又受读者先前语言经验的支配。

语言加工还包含在语言输入时快速使用指向下文的信息, 这种主张与公认的语言加工的“限制-满足”( constraint - satisfaction) 观是一致的。该观点认为, 句子加工是通过激活对该句子的许多可能的解释而进行的。这些被激活的内容之间存在着竞争这些竞争建立在与理解者语言经验中有关的或必然性信息基础之上, 比如: 一个特定词在一个特定语法功能中被使用的可能性, 一个特定语法结构在句中被使用的可能性, 先前语境等,和其它类似的因素, 它们的共同作用产生了对句子最可能的理解。当语言所指的是眼下而不是非现实情况时, 额外因素诸如环境中出现的物体, 也会影响对句子的理解。

由上可见, 语言加工离不开对于所描述情景的感知和动觉的模拟, 这一观点无法从传统的语言理解理论中得出。传统理论认为语言理解就是构建被描述情景的心理表征,即情景模型(Situation Model) 。传统理论的局限在于他们假设: 认知可以被当作一系列独立于大脑和世界的抽象规则和表征来研究。认知是建立在抽象规则和表征的基础之上的这一观点无法回答符号接地问题(symbol grounding problem) —“如何使一个形式符号系统地解释语义具有系统的内在性,而不仅仅是寄生于我们头脑中的意义?” 抽象的、任意的符号和规则并不能恰如其分地对接世界, 因而它们无法构成语言或其它意义的基础。很多实验结果也表明理解者对所指情景的各个方面都敏感, 比如阅读时间、激活和钝化(deactivation) 程度。

与“将人脑电脑化”的认知观不同的是, 我们所谈及的心理模拟观建立在个人自身的感知和行为计划系统基础之上。因此，可以观察到认知任务的完成( 比如理解语言) 涉及到人的感知和行为计划系统的作用。这一点已经得到了心理语言学研究大量实验的支持。下面将从词、句、语篇三方面分别介绍相关研究进展。 

3 词汇层面的经验印痕

语言理解的心理模拟, 其核心是由单词(语言的结构单位) 与感觉运动的记忆印痕发生连接, 从而构成心理模拟的基础。比方说, 对“桌子一词的加工, 语言形式与来自于有关桌子的记忆印痕( 桌子的形状、大小、颜色及其它特征)与动作印痕(某人做出的和桌子相关的动作) 产生共鸣。如果缺乏明确界定的语境关系, 这些对提取过程作出贡献的具体记忆印痕将有所变化, 并且可能随时间而变化。因而, 当一个人笼统地谈及桌子时, 会有很大范围的相关经验印痕, 这些经验印痕会影响到提取过程。当一个人谈及具体的桌子时(比如: 你的咖啡桌), 相关经验印痕的范围将会小得多。

词汇形式与感觉运动记忆印痕(sensorimotor memory trace) 之间的连接反映出: 语言在周围环境中的接地 (grounding) 开始于语言习得的最初阶段。小孩子所听到的大量语言是有关他们周围的人、物与事件,给外部世界赋予对应的语言名称, 照料孩子的人使用手势或其他语言工具引导孩子的注意力指向所谈及的事物。尽管语言形式与经验记忆印痕之间的连接只是语言习得的一部分, 这为孩子使用语言去描述他们眼前的世界和继而描述非眼前世界能力的发展奠定了基础。 

3.1  感知印痕

大量的研究证据表明, 读或听孤立的单词会激活感知表征。Zwaan & Yaxley ( 2004) 的实验考察了感知信息, 具体说就是事物的形状, 是否在语义加工过程中被激活。被试判断启动词和目标词是否相关,当启动词和目标词不相关, 但它们所指的物体有相同的形状(如 Ladder 梯子与 Railroad 火车轨道) 时, 被试的反应时要比启动词与目标词毫不相关时要慢。这表明, 形状信息被激活了。

在进一步证实单词激活感知表征的实验中发现, 当后面的感觉特征不变时, 验证事物(由名词表示) 要比验证特征（由形容词表示) 快。比如, Pecher, Zeelenberg, Barsalou (2003) 利用形容词指示事物的特征, 名词指示事物, 对两对事物的特征验证速度进行比较。被试先验证“苹果酸”后验证“柠檬酸”， 或先验证”柠檬绿“后验证“柠檬酸”。结果显示, 先验证“苹果酸”比先验证“柠檬绿”会明显提高后验证“柠檬酸”的速度。这说明转换感知特征引发对感知任务处理过程的延长。如果单词激活感知经验的印痕, 那么当接触某一单词时就应当引发神经底层( neural substrates) 的激活,这一激活在感知指示物时也会同样发生。这一论断已经在大脑功能成像研究中被证实(Mart in & Chao, 2001) 。 

3.2  动觉印痕

对所指事物的单词加工实现了加工者与所指事物之间的互动。被试观察一系列图画, 并判断图画中的事物是自然的还是人造的, 判断通过力度控制(power grip) 或精度控制 (precision grip) 操作。Tucker & Ellis (2004) 发现, 如果需要对事物作出握力反应, 那么被试对事物的力度操作反应快于精度操作反应; 如果与事物的互动活动要求作出精度反应, 被试对对事物的精度操作反应快于力度操作反应。在后续的实验中, 被试执行同样的任务, 这一次他们对贴有对应事物标签的单词而不是图画分别做出握力或精度反应, 结果与实物实验相同。

近年来的神经科学实验提供了关于单词加工时动觉信息被激活的证据, 在理解行为单词时, 负责生成行为的对应脑区处于活跃状态 ( Hauk, Johnsrude, & Pulvermuller, 2004) 。这一发现与心理模拟观点相一致, 当单词的加工过程受到躯体特定区域的组织时, 激活模式即生成。对有关手动、腿动或嘴动的单词加工会使前运动皮质的不同部位激活, 早期实验发现这些部位负责执行手、腿与嘴部的动作。 

3.3 其他印痕

词汇层面的再入情景力量确实超过了感知和动觉印痕的激活。例如, 恐吓性的词, 象“破坏”和“毁伤”作为一部分呈现在修改后的单词颜色与意义冲突的 Stroop任务(Stroop Task) 中的时候, 与中性词对比, 双边扁桃体区在较大程度上被激活, 这一结果表明了皮层下结构在语言加工中的作用(Isenberg et al. , 1999) 。事实上, 扁桃体区在情感加工过程中的作用早被证实。此外, 在感官和动作-规划区也发现了激活, 这些区域通常被认为是当有机体感到危机时而被激活的区域。值得一提的是, 以上的实验中, 给被试显示的任务是说出单词所呈现出来的颜色而非理解单词。

4 句子层面的经验印痕

如前所述, 各个单词所激活的经验印痕可能大不相同。单词有不同的含义, 在没有限定语境的情况下对单词进行加工, 与每一含义相关的印痕都有可能被激活。如单词“ nail”既可以指“指/趾甲”, 又可以指“钉子” , 加工这一单词会同时(至少在一开始) 激活所涉及的双重意义。与单词加工不同,句子提供了一个限定性的语境, 制约着对已给单词经验印痕的提取。因此, 在“他用锤子向墙上敲钉子”一句中, 锤子和敲描绘出一个特定的语境, 使得“钉子”的经验印痕得以提取出来。在这一情形下, 理解者只提取出 nail 的一个语义, 即钉子。

上面的例子强调的是, 心理模拟随情景而演进, 就像运动记忆印痕得以提取一样, 它们生成心理的语境, 这种心理语境塑造了接下来的记忆提取的结果。如, 当遇见单词“扔” 时, 多种可能的动作印痕被激活, 但随着具体谈及何物被扔、扔向何处等等之后, 这些印痕则被缩小而集中。从这一意义来说,心理模拟的构建与“限制-满足”(constraint-satisfaction)过程相似。

主要参考文献 

Buccino G., Riggio, L., Mellia, G., Binkofski, F., Gallese, V., & Rizzolatti, G. (2005). Listening to action-related sentences modulates the acitivty of the motor system: A combined TMS and behavioral study Cognitive Brain Research.

Fowler, C. A. (1996). Listeners do hear sounds, not tongues. Journal of the Acoustical Society of America,99, 1730- 1741.Glenberg, A. M . , Havas, D. , Becker, R . , & Rinck, M. (2005). Grounding language in bodily states: T he case for emotion. In: R. A.Zwaan & D. Pecher. ( Eds. ) . The Grounding of Cognition: The Role of Perception and Action in Memory, Language, and Thinking. Cambridge: Cambridge University Press.

Hauk O., Johnsrude I. , & Pulvermüller F. (2004). Somatotopic representation of action words in human motor and premotor cortex. Neuron, 41, 301- 307.

Isenberg, N., Silbersweig, D., Engelien, A., Emmerich, K. , Malavade, K., Benti, B., Leon, A.C. , & Stern, E. (1999). Linguistic threat activates the human amygdala. Proceedings of the National Academy of Sciences,96,10456- 10459.

Jurafsky, D. (1996). A probabilistic model of lexical and syntactic access and disambiguation. Cognitive Science,20, 137- 194.

Klatzky, P. L., Pellegrino, J. W., McCloskey, B. P.,& Doherty, S.(1989). Can you squeeze a tomato? The role of motor representations in semantic sensibility judgments. Journal of Memory and Language, 28, 56-77.

MacDonald, M. C., Pearlmutter, N. J., & Seidenberg, M. S. (1994). Lexical nature of syntactic ambiguity resolution. Psychological Review, 101, 676-703.

Martin, A., & Chao, L. L. (2001). Semantic memory and the brain: structure and process. Current Opinion in Neurobiology, 11,194-201.

McNeill,  D.  Speech and gesture integration. In : J. M. Iverson & S. Goldin-Meadow.(Eds.). (1998). The Nature and Functions of Gesture in Children’s Communication. New Directions for Child Development, 79,11-27

致谢

感谢您的关注，感觉不错请点右下方“在看”，爱心支持请转发哦.

推荐阅读

Ilab-理论篇之三：神经生理基础

Ilab- 理论篇之二：具身语言学的心理学基础

扫描二维码

关注我们

团队微信平台：语言学习科学
智慧语言具身认知实验室
具身语言教育联盟