多模态语篇的评价研究：过去、现在与未来
摘要：传统的评价研究主要针对语言语篇，多模态语篇的评价研究是一个较新的研究领域。本文针对国内近20年来多模态语篇的评价研究情况，从研究现状、研究路径、存在的问题和展望四个方面展开讨论。近 20年来国内多模态语篇的评价研究主要涉及三大议题，即多模态评价框架建构、多模态语篇实例分析和评价研究述评。近20 年来国内多模态评价分析有两大路径，即系统功能语言学研究路径和认知语言学研究路径。两大路径所使用的具体理论主要为评价理论、视觉语法、多模态隐喻和认知评价理论。目前国内对于多模态语篇的评价研究尚处于起步阶段，在理论模型、语境层面、研究对象和方法诸方面存在局限性。文章对未来的发展趋势进行了展望。
主题词：多模态语篇; 评价; 现状; 局限性; 展望
20世纪90年代，马丁(James R．Martin) 及其团队在研究澳大利亚语文水平的过程中，注意到系统功能语言学理论在赋值语义研究方面的欠缺，于是创建了评价系统 (Martin 2000 ; Martin &White 2005) 。王振华 (2001) 通过《评价系统及其运作——系统功能语言学的新发展》一文将马丁的系统功能语言学评价观正式介绍到中国。该评价观旨在研究说话者的赋值语义(semantics of evaluation) 。具体而言，它通过介入、态度和级差三大子系统，研究说话者的感情、判断和鉴赏、话语中声音的来源以及态度的程度(王振华 2001) 。本文讨论我国学者的多模态语篇评价研究，检视其优缺点，促进其优化。
在探讨多模态语篇的评价研究之前，我们首先讨论一下模态和多模态语篇。根据社会符号学理论，模态是“由社会文化塑造的表达意义的符号资源”(Kress 2010: 79) 。语言、图像、声音、动作等模态都 是 完 整 的 表 意 系 统，可以用来实现概念、人 际、谋 篇 三 大 意 义。O’Halloran (2011 ) 、 Forceville (2009: 22) 、顾曰国(2006) 等学者则从听觉、视觉、触觉等感官视角来定义模态。多模态语篇是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际而形成的语篇(张德禄 2009) 。多模态话语分析将多种模态纳入研究范围，探讨各种模态如何协同互动产生意义。
从20世纪90年代开始，科技的发展使多模态特征越来越明显，多模态话语研究迅速发展起来。学者们为图像(Kress &Van Leeuwen 1996 ; 2006) 、音乐(Van Leeuwen 1999) 、手势(Martinec 2000) 、数学符号(O’Halloran 2005) 、电影(Bateman & Schmidt 2012) 的研究构建了语法语义系统，为模态关系构建了研究框架(Royce 1998 ; O’Halloran 2003 ; Martinec & Salway 2005 ; 张德禄2009) 。此外，以概念隐喻理论为基础，认知视角的多模态隐喻研究也发展得如火如荼(Forceville &Urios-Aparisi 2009) 。
在国内，评价研究蓬勃发展。但是，一直以来，其研究对象主要集中于语言模态。根据社会符号学理论，图像、音乐、动作等模态与语言模态一样，是完整的表意系统，实现三大意义。因为非语言模态也能够表达评价语义，所以在对多模态语篇进行评价研究时，有必要将多种模态同时纳入研究范围。在国外，马丁早在2001年就研究了图像中的态度意义和图文关系(Martin 2001) ，并在The Language of Evaluation: Appraisal in English 一书中指出，随着人际意义研究的发展，当我们从功能语言学视角扩展到社会符号学视角时，对副语言(手势、表情、笑声、音质、响度等) 和其他模态(图像、音乐、动作等) 的研究是下一步态度研究的核心领域(Martin & White 2005: 69) 。
自评价系统(APPRAISAL System) 诞生以来，国内的评价研究发展迅速，已有多位学者做过语言为模态的语篇中的评价研究综述(刘世铸2010 ; 王振华 2012 ; 徐玉臣 2013 ; 刘兴兵 2014) 。不过，这些综述对多模态语篇的评价研究缺乏深入探讨。本文将从研究现状、研究路径、存在的问题与展望几个方面，讨论 20 年来国内多模态语篇的评价研究。
2. 研究现状
2.1 研究方法和量化统计
我们在中国知网上输入关键字“多模态”加上评价理论相关词语如: “评价系统”“评价理论” “介入(系统) ”“态度(系统) ”“级差(系统) ”“自言”“借言”“单声”“多声”“对话性”“对话收缩” “对话扩展”“判断”“情感”“鉴赏”“语势”“聚焦”“清晰”“模糊”等这些评价系统中的关键词进行检索，共获得相关文献67 篇。其中，期刊文章35 篇，硕士博士论文32 篇。国内相关研究从2008年起，呈逐步上升趋势，2015年以后发展较快，2016、2019 分别有10 篇，2018有11篇。但是20年来只有67篇相关文献，说明多模态语篇的评价研究仍有很大的发展空间( 详情见2.2节) 。
2.2. 主要议题
目前国内的多模态评价研究的语篇类型多样，视角不一。本文根据研究内容的侧重点将多模态语篇评价相关的国内研究分为三大议题: 理论建构、实例分析和研究述评。67篇论文中，第二类最多，有58 篇，占了 86.5% 。第一类只有4篇，第三类有5篇。下面我们将分别探讨三类议题的研究情况。
2.2.1理论建构
从掌握的文献看，多模态话语分析的主要理论基础是系统功能语言学和认知语言学，研究视角多为社会符号学和概念隐喻(张德禄、郭恩华 2013) ，目前多模态评价框架的建构基本也是从这两大视角建构的。根据系统功能语言学理论，语言是社会符号，具有意义潜势(Halliday 1978) ，语言研究的成果对其他符号系统同样具有适用性(Kress ＆ Van Leeuwen 2006: 19; 李战子、陆丹云2012) ，这也是将基于语言的评价理论用于多模态语篇评价研究的重要理据。但是，基于语言的评价理论在 应 用 于 多 模 态 语 篇 的 分 析 时 有 其 局 限 性，主要表现在语言与其他模态的可供性( affordance) 差异、模态关系和认知依据三个方面。目前国内学者的多模态评价框架建构主要是在这三个方面发展马丁的评价框架的。
首先，语言和图像等其他模态虽然都具有意义潜势，能实现概念、人际和谋篇三种意义，但其表征手段有所不同(Kress ＆ Van Leeuwen 2006: 20) 。比如，语言中能划分名词、动词等，而图像与音乐模态则很难按词汇方式进行划分。图像中的拍摄角度是其表达态度的重要方式，而语言系统中则没有拍摄角度这种空间性的评价手段。针对语言评价理论在多模态语篇分析上的局限，学者们目前的解决方案是在原语言评价框架的基础上，融合多模态话语分析理论。例如，针对图像无法像语言一样进行“词汇”分析的问题，裴少文(2014) 借鉴多模态互动理论(Norris 2004) 框架，从面部表情、头部移动、手势、衣服等维度对图像的评价意义进行研究，从而解决了分析单位的问题。为了探讨图像特有的评价手段，陈瑜敏(2008) 借用社会符号学的视觉语法(Kress ＆ Van Leeuwen 2006) 观点，从镜头距离、拍摄角度、目光接触等方面分析了公益广告画面中的评价意义，发现广告画面的设计可以让观众对广告的态度从超然(detachment) 转为卷入( nvolvement) ，而视觉图像也能起到为整个广告穿针引线、奠定感情基调的作用。
其次，以语言为主的评价分析只需要考虑一种模态，但纳入多种模态后，不可避免地要考虑模态间关系。各种模态如何共同表达意义是多模态话语分析的一个重要方面( 张德禄 2009) ，也是语言评价理论用于多模态语篇评价时急需发展的一个方面，因为它直接关系到分析的完整性。目前国内对模态之间关系的分析主要基于多模态话语分析在这方面已有的研究成果，包括 Royce(1998) 构建的符际互补理论框架、Lemke(1998) 提出的“意义相乘”图文关系模式、Martinec&Salway(2005) 构建的基于逻辑语义的图文关系框架、张德禄(2009) 基于强化与非强化关系构建的模态关系框架等。比如，石春煦、王振华(2015) 基于 Marti &Rose(2007) 对已有图文关系成果的整合，从逻辑语义关系、图文界限、图文追溯三个维度来探讨多模态历史教科书中的图文关系。他们发现，在多模态历史教科书语篇中，图像、文字以扩展关系为主建构评价语义。在评价的实例化过程中，以不同图文关系建构的评价对历史文类的选择有一定的盖然性(石春煦、王振华 2015) 。多模态语篇中，各种模态都能够表达情感、判断、鉴赏等意义，但语篇的整体评价意义并不是这些意义的简单相加，而是这些模态进行合作或者竞争之后的结果，所以只有将模态间关系纳入分析框架里，评价分析才会全面和完整。值得注意的是，就我们掌握的文献来看，不少研究在分别讨论语言和非语言符号的评价意义之后，并没有分析各种模态如何相互联系表达多模态语篇的整体评价。
如前所述，系统功能语言学和认知语言学是多模态话语分析的两种视角，目前对马丁的评价框架进行发展的另一种方式是结合认知语言学的成果对其进行改善，为其基于语言现象总结出来的情感、判断和鉴赏等态度系统提供认知理据。比如，由于马丁的评价理论在形式和相关的意义范畴化方面还存在不足(张德禄、刘世铸 2006) ，有学者认为其情感意义的分类缺乏认知心理依据(Feng&O`Halloran 2013) ，所以冯德正、亓玉杰(2014) 借鉴认知心理学理论，以诱发条件为标准对态度系统进行了重新分类，也就是，按事件(是否合意) 、行为(是否可取) 和事物(是否喜欢) 三大标准将评价意义范畴化，使其分类更加全面准确。在此基础上，他们结合“诱发条件－内心态度－行为表达”的态度图式，从诱发条件和行为表达两个维度提出了态度意义的多模态表征模式。这是将语言评价理论与认知心理学进行结合的很好尝试，它使基于语言系统的评价理论在应用于多模态语篇时具备更充分的认知基础，增加了语言理论的适用性，也拓宽了心理学理论的应用领域。
2.2.2实例分析
国内对多模态语篇实例进行评价分析的研究较多。这些研究旨在通过对某个特定语篇的分析，阐释其语篇特征、态度资源或评价机制。语篇类型按数量多少排序分别是: 广告(17 篇) 、新闻(10 篇) 、电影(9 篇) 、政治(5篇) 、法律(4篇) 、教育(4篇) 、杂志(4 篇) 、童话(2 篇) 、企业年报(2 篇) 、演讲(2 篇) 、小说(2 篇) 、纪录片(2 篇) 、真人秀(2 篇) 。可见在研究对象上，目前的研究主要集中于传媒语篇，对于自然交际、舞台表演、三维空间等类型的多模态语篇关注较少。
在实例分析中，分析的角度主要有以下几种: 第一，对语篇进行多模态话语三大意义的分析，并把评价理论作为解读人际意义的工具。在研究的范围方面，有些研究的分析范围包括评价系统的介入、态度、级差三个子系统，有些只选其一。第二，在做多模态隐喻、符号重构、互文、语类等研究时，将评价理论作为分析的手段之一。第三，以多模态语篇的评价或者态度分析为目标，从批评话语分析和积极话语分析视角来阐释语篇的评价意义、表征资源和实现机制。
2.2.3 研究述评
主要议题的第三类是评价研究述评，共有5篇文章，其中包括：多模态人际功能述评(1 篇) 、语篇分析述评(2 篇) 、积极话语分析述评(1 篇) 、中国形象话语研究述评(1 篇) 。在这些述评中，多模态语篇的评价研究都只是其很小的一方面。从这些综述来看，近年来国内话语分析正从语言语篇分析转向多模态语篇分析，而国内功能语篇分析的重要主题和手段之一就是评价。评价研究是多模态人际功能研究的一大重点，目前有学者从语言、图像、颜色、字体的评价等方面进行研究。另 外，除了将评价理论用于批评话语分析，近年来评价理论也成了积极话语分析的主要研究路径 (杨林秀、赵浩 2018) 。但是，刘兴兵(2014) 明确指出“分析多模态语篇如何表达评价意义也是急待开拓的领域”，说明国内在多模态语篇的评价研究方面还有很大的发展空间。
3. 研究路径
多模态语篇的评价研究关注的是语篇的人际意义，旨在分析符号使用者如何通过各种符号资源表达对人、事、物的立场和态度。国内相关研究主要采取两大路径，一种是基于系统功能语言学的多模态评价路径，主要以 Martin(2000) 创建的评价系统为分析框架，结合视觉语法进行视觉模态分析。另一种是基于认知心理学的多模态评价路径，以冯德正、亓玉杰(2014) 构建的认知评价框架为基础，分析多模态语篇中的评价意义如何实现。第一种路径是主要路径，占到了近20年相关文献的85.2% ; 第二种认知路径只占 14.8% 。下面我们将对这两个路径作详细说明。
3.1系统功能语言学评价路径
此路径主要是借用 Martin 创建的评价系统，从介入、态度、级差三个方面对多模态语篇进行分析(具体框架见王振华 2001) 。对于语言符号来说，系统功能语言学已经建立了较完善的词汇语法和语篇语义分析框架。而对于图片、表情、动作、音乐、空间等其他模态，则借鉴多模态话语分析的理论框架进行阐释。在此基础上，综合语言和非语言分析的结果，根据图文关系框架讨论模态间关系。以下我们将从语言评价、非语言评价、模态间关系三方面讨论国内多模态语篇的系统功能语言学评价研究路径。
3.1.1 语言的评价分析路径
语言评价分析主要以 Martin 的评价理论为基础，从介入、态度、级差三大语义系统分析语言资源，主要涉及语义的词汇语法表征、语篇的韵律结构、评价的实现方式等。具体操作上，一般是划分小句成分，进行词汇语法手段的量化统计，再探寻数字背后的评价意义，分析作者如何使用评价资源与读者进行结盟、如何设计读者的阅读取位等等。对语言的评价研究，目前国内多关注词汇语法资源，即便是演讲、广告等口语为主的多模态语篇，也缺乏对语音等听觉特征的系统分析。
3.1.2 非语言的评价分析路径
对于非语言模态的评价，国内主要关注的是图像、表情、动作等视觉模态，听觉、触觉模态少有人涉及。在系统功能语言学视阈下，非语言符号的评价分析的主要理论基础是视觉语法中的互动分析框架( Kress &Van Leeuwen 1996，2006) 。该框架提出，图像创造者从协商、社会距离和态度三方面构建互动意义，设计观众与图像互动的方式。这些方式体现出创作者对其所设计的图像的态度与立场，这种态度与立场也是创作者希望观众接受的立场，希望与观众对此达成一致，形成联盟。研究者通过使用视觉语法中的目光接触、镜头距离、拍摄角度、人物表情等范畴来分析创作者立场与态度的视觉表征。比如，陈瑜敏( 2008) 通过对一则奥运公益广告的电视画面分析，指出广告人物直视观众的目光是要求观众采取行动，近距离的特写镜头营造了“个人近距离”的社会关系，拍摄角度从侧面到正面的转换让观众从超然( detachment) 的态度转为卷入( involvement) ，而微笑表情和握拳手势为整个广告奠定了积极的情感基调。在评价意义的实现机制方面，目前的研究主要借鉴马丁对语言现象的总结，从内嵌( inscribe) 和引发( invoke) 两个方面来考察各种模态资源如何实现情感、判断、鉴赏等态度意义。
3.1.3 模态间关系分析路径
多模态语篇的评价研究其重点是分析模态间的关系，探讨各模态如何共同表达评价意义。目前国内多模态语篇的评价研究在分析模态间关系时，主要有以下情况。
第一种情况，笼统表明多模态的表征方式加强了评价意义。如在图文语篇中会出现“意义相乘”的效果( 陈瑜敏 2008) ，但没有具体讨论这种效果是如何实现的，对模态间关系的阐释不太清晰。
第二种情况，基于系统功能语言学的逻辑语义和衔接等理论，从模态的总体分布、模态协同和语篇发展三个方面分析模态间关系。总体分布通过量化统计来揭示各模态资源在整个语篇中的分布情况，模态协同包括意义和时间两个维度，探索同一意义如何由不同模态协同表征，可能是强化、互补、互斥关系中的一种。时间维度主要分析评价词汇、语音特征和肢体动作等的时间同步特征。语篇发展的分析以镜头为单位，考虑多模态语篇的衔接关系、预期关系和因果关系。亓玉杰( 2010) 以《老友记》为语料，通过对模态关系的分析，发现态度资源由多模态共建，模态间关系不仅增加态度意义，而且对电影语篇的衔接研究有启发。
第三种情况，综合国外已有的图文关系研究框架进行模态间关系分析。比如，Martin &Rose ( 2007: 329) 对国外的图文关系框架进行了总结和整合，构建了从逻辑语义、空间界限、溯源互文三个方面分析图文关系的模型。石春煦、王振华( 2015) 基于此框架分析了历史教科书中扩展型和投射型的图文评价、图文之间的空间边界以及图文的互指关系，发现历史文类多模态语篇中，图文评价以扩展关系为主，而且详述型数量居多。
3.2 认知语言学评价路径
认知语言学中的概念隐喻理论和认知心理学中的认知评价理论是目前用来进行多模态话语分析的两大理论基础。前者主要用于分析多模态隐喻如何表征评价意义，后者用来为语言评价框架提供认知理据，改善原框架。
3.2.1 基于多模态隐喻的评价路径
认知语言学中概念隐喻理论的核心观点是，“隐喻本质上是一种思维和行为方式，人们往往借助具体的身体体验来理解和感知抽象的概念; 前者是源域，后者是目标域; 源域投射到目标域的属性为映射项”( 张德禄、郭恩华 2013) 。在多模态语篇的评价研究方面，隐喻主要具有以下作用: 表达评价、激发评价、调节语势、指示阅读路径等。在评价意义的表征机制中，激发(provoke) 是重要的手段之一，而在视觉图像中，激发常常由概念隐喻实现(Economou 2009: 109) 。比如，潘艳艳(2011) 分析了一幅政治漫画中的多模态隐喻: 长城边的龙开门把提公文包的男人放进来了，却把女神关在门外，龙脸上做出极为恐惧的表情。从多模态隐喻的视角看，龙隐射中国，女神隐射自由，提公文包的男人隐射经济，开门的行为隐射经济改革。在评价意义上，龙用表情表达出对自由女神的情感是恐惧，而作者通过漫画想要激发的是读者对中国和中国经济改革的消极评价，想要与西方对中国有负面印象的观众结盟(潘艳艳 2011) 。多模态隐喻与语言隐喻一样，可以调节语势，比如通过图像的大小来表达评价程度的强弱。在阅读路径方面，陈树坤(2014) 研究了由两张图片组合而成的图像复合体，左侧图像中的人物驾船行驶的方向形成了向量(vector) ，引导读者从其手看向右侧的图像，由此形成了阅读路径隐喻，使右侧图像成为评价的对象，而左侧人物的微笑表情则表达了肯定的态度。
3.2.2 基于认知评价的路径
冯德正、亓玉杰(2014) 借鉴 Frijda(1986) 和 Lazarus(1991) 的认知评价(cognitive appraisal) 理 论，通过触发条件、内心态度、行为表达三阶段的态度图式，考察多模态语篇中评价资源。此路径旨在弥补马丁评价系统认知理据不足、对情感等态度系统的分类不全面的问题。他们基于诱发条件，将原评价系统的态度系统按事件结果、主体行为、事物特征进行重新分类，进一步明确了情感、判断和鉴赏三者的关系。然后从态度诱发条件的多模态表征和态度意义的行为反应体系两方面建构多模态表征框架。此态度评价框架在建立后，得到后续研究者的认可和使用，在我们搜集的文献中，此路径约占所有研究的14.8% 。比如，毛现桩(2017) 利用此框架分析了春晚电视公益广告，发现其诱发条件多为视觉资源，态度主要由语言和表情表征，评价意义经历从负面到正面的转换过程，最终实现价值导向。认知评价框架在系统功能语言学的评价理论和社会符号学理论的基础上，借鉴了认知心理学的研究成果，将语言模态和非语言模态纳入统一的框架之中，便于实践操作。但此框架主要针对态度系统，对介入和级差系统没有涉及。
4. 多模态语篇评价研究中存在的问题
4.1 理论方面的问题
理论方面，目前国内进行多模态语篇的评价研究主要依据国外的理论模型，包括评价系统，视觉语法互动框架、多模态隐喻理论、认知评价模式、基于逻辑语义的模态间关系模式等。这些理论模型为评价研究提供了参考和借鉴，对于个案分析有较大的应用价值。但是，这些模型大多并非为多模态语篇的评价分析量身打造。因此，国内研究者有必要针对其局限性加以发展和改善。以下我们将从框架构建、模态表征和模态间关系三个方面，对目前研究中的一些问题加以讨论。
在多模态语篇的评价框架构建方面，目前研究者对问题的处理方式主要有三种: 一是将语言评价意义系统直接作为多模态语篇评价分析框架，结合视觉语法等来分析这些评价意义的多模态表征。二是将语言评价框架和视觉互动框架兼用，在分析时将语言和非语言分开，使用不同的框架分别进行分析。三是借鉴认知心理学理论，构建认知评价框架。第一种方式缺乏对语言系统和其他模态系统的可供性差异的考虑，导致分析不够全面系统，因为语言的评价语义潜势不一定都能由其他所有模态实现，而其他模态的评价意义也不一定都表现在语言的评价意义系统中，不建议使用这种方式。使用第二种方式的研究者很清楚，无论是语言评价框架还是视觉互动框架，都无法单独担任多模态语篇的评价框架，所以选择了两者兼用。但语言评价系统和视觉互动系统的分析范畴并不对等，两个框架需要整合。互动框架涵盖了人际语义系统中的协商、评价和介入三大子系统，评价系统只是人际语义系统中的一种(Martin & White 2005: 35) 。研究者需要根据视觉、听觉、空间等多种模态的特征对互动系统中的评价子系统进行发展，并详细讨论模态间关系，最好能构建涵盖多种模态的统一框架。第三种方式为目前的多模态评价研究提供了认知视角，构建的态度评价框架得到了后续研究者的应用。但它只构建了态度框架，对介入和级差没有触及，需要学者将其进一步发展完善。
在评价意义的模态表征方面，目前有些研究基于社会符号学，尤其是视觉语法理论，探索图像如何实现评价意义，另一些基于多模态隐喻理论，探讨符号资源如何隐性地表达态度，激发读者的评价。值得注意的是，在意义的模态表征上，社会符号学路径和概念隐喻路径并不能完全分离，社会符号学视角可以为概念隐喻提供阐释功能，而概念隐喻可以为社会符号学提供认知理据(张德禄、郭恩华 2013) 。如果将两者结合起来使用，将更有利于进行多模态语篇的评价研究。除此之外，目前在语言和视觉图像的表征分析方面取得了长足的发展，但在语音特征、音乐、空间等其他符号形式的评价意义探索方面非常欠缺，即便是在语言评价分析上，对口语语音特征的关注也非常缺乏，值得研究者做进一步的系统分析。
在模态间关系的研究方面，目前的多模态评价研究主要借鉴国外的分析框架，从逻辑语义、衔 接、互文等方面进行分析，对探索多种模态如何共同实现评价语义有一定的帮助，但也有一些问题。首先，目前的研究没有系统地分析各模态如何在人际方面进行协同，大多着重于概念意义的衔接和 强 化，可以借鉴 Royce (1998 ) 提 出 的 图文人际关系框架，从模态之间的语气强化(reinforcement of address) 、态度一致性 (attitudinal congruence ) 和态度不协调 性 (attitudinal dissonance) 三个维度对多模态语篇进行分析。其次，目前的研究大多关注模态意义的协同，但根据会话分析理论，多模态协同包括模态、时间和空间三个方面(靳晟 2017) ，建议在模态关系分析时增加时间和空间维度。
4.2 语境方面的问题
张德禄(2018) 指出，从语言单模态语篇到多模态语篇，语境层面发生了不可忽视的变化，即语言语境内容层的物质语境因素转化为多模态语境表达层的物理生理语境因素。在表达层上，目前的研究都意识到了话语意义由多种模态共同实现，但模态的分工其实在语境和语类层面就开始了(Halliday ＆ Matthiessen 2014) ，而目前很少有研究分析各种符号系统在情境中各起什么作用。对语境层面的忽视导致了以下几个问题:
首先，文化语境方面的问题。广泛借鉴国外心理学和符号学领域的经典成果对目前的多模态评价很有帮助，但分析过程中需要注意国外成果的本土化和适用性问题。如果没有考虑文化的差异就直接拿来解读国内语篇的符号意义容易造成误读。从语类层面来说，从行为潜势到意义潜势的过程充满了不同模态的整合与贡献，这也是目前研究需要注意的。
其次，情景语境方面的问题。目前有些评价研究分析了多模态语篇的评价意义是什么，却没有进一步研究为什么是这样，以及和以往的社会活动有什么关联。我们需要关注过去和现在的社会活动与当前语篇的关系，将其作为语篇产生的动因和语篇解读的基础。此外，我们还应注意的是，从单模态语篇到多模态语篇，情景语境中的话语方式发生的变化。
第三，模态分析与语境层联系的问题。目前的研究在阐释符号的评价意义时分析详细到位， 但没有上升到模态的可供性层面。也就是说，没有上升到语境层面来解释为什么使用这种模态而不是另一种。而对于符号可供性的研究能为符号的使用与解读提供更有效的指导。比如，符号使用者使用了一个微笑的表情，我们仅仅点明这个微笑的表情表达的是快乐的情感是不够的，因为语言和表情都是可以表达这种情感的，为什么就选择了表情而不是语言呢? 要解释这个问题，就需要上升到语境层面，在符号的可供性上进行分析。语言和表情的可供性是不同的，在感染观众和引起共鸣方面的作用是大相径庭的，语言中诸如“快乐”这样的词汇间接而抽象，但“微笑”的表情却是直接而具象的。
最后，语篇解读时的语境时间空间性问题。从时间空间性上来看，语境可以分为现场语境和移位语境。前者是指语篇的生产和接收是在现场现时进行的，如课堂教学语篇。后者指语篇的生产和接收不同步，如电视语篇，生产完成后一段时间才移至观众面前，观众并不了解生产时的语境是什么样子。目前的评价分析很少考虑到这方面的因素。建议研究者区分现场语境和移位语境，因为后者脱离了语篇产生的环境，舍弃了原语境的部分内容，会增加解读的困难，也会降低解读者对创作者意义的忠实性。
4.3 研究对象和方法的问题
多模态话语分析的研究对象非常广泛，几乎囊括了人类所有交际媒介和符号形式，包括图画书与漫画、课堂教学、电影、网络媒体、舞台表演等(冯德正 2017) 。但是，目前国内多模态语篇评价研究的对象主要是传媒语篇，对三维空间和课堂教学、医患话语、日常会话等自然交际类的语篇研究很少。另外，虽然目前评价分析从语言模态扩展到了图文等多模态，但对听觉模态的研究还很欠缺，对于口语语音特征和音乐等的评价分析非常少。
研究方法方面，目前国内大部分的研究为个案分析。此类研究对某个广告或电影等进行语言和非语言模态的描述，阐释其评价意义，对研究对象的理解比较深入，但普适性不高。只有对大量的同类语篇进行定量分析，才能总结出特定的语类特征，归纳出有意义的评价模式，进一步反哺理论框架(潘艳艳、李战子 2017) 。分析视角上，目前多集中于社会符号学和多模态隐喻视角，多模态话语分析的其他路径如会话分析、多模态民族志、地理符号学、多模态语料库和多模态感知等( 潘艳艳、李战子 2017) 基本还没有在评价分析中使用，说明未来在研究方法上还有很大的创新空间。
5.展望
目前的研究基本是直接借用国外的语言评价模型，或者将语言评价模型和多模态话语分析模型组合使用，理论创新性不足，在一定程度上阻碍了多模态语篇评价分析的繁荣发展。解决这个问题，首先要构建合适多模态语篇评价的理论框架，不仅要考虑语言、视觉、听觉、空间等多模态评价表征资源，更要考虑合理解释模态间的关系，考虑多种模态如何相互联系，如何实现评价意义，达到交际目的。
多模态研究本身是一个交叉学科的领域，未来在多模态评价研究中，不仅要增加语言学流派如系统功能语言学、认知语言学、语料库语言学、语用学、修辞学之间的融合，还要将语言学与心理学、传播学、教育学、艺术学、社会学等相结合，实现互补，促进多模态评价领域的跨学科发展。可喜的是，目前已经有学者将系统功能语言学和认知语言学相结合，也有语言学和心理学相融合的研究成果出现。未来，学科融合的进一步发展，不仅需要语言学者学习和利用其他学科的知识，更需要与其他学科的研究人员进行跨界合作，发挥各自的专长，推动本领域的繁荣与进步。
最后，人工智能和大数据技术将推动多模态语篇评价研究的发展，促进多模态语料的定量分析。传统上多模态分析软件如 ELAN 等需要依靠研究者先对语音进行文字转录，再对非语言模态进行手工标注，最后再进行评价分析，非常耗时耗力，这也是阻碍多模态语篇量化分析的重要原因之一。近年来语音识别技术快速发展，加上大数据的加持，语音的自动转写效率和正确率都已经非常可观。另外，人工智能的发展使计算机的图像识别能力大大提高，可以对人类的表情图像进行深度学习，目前已经有软件可以做到基本表情的自动识别，此类软件普及之后将大大提高多模态语篇的分析效率。
作者简介：