如何证明专业在持续改进？专家认为重点是强调2个机制的建立
“全面实施'六卓越一拔尖’计划2.0，开展本科专业三级认证”是教育部2021年工作要点中提到的工作措施。2006年，教育部启动工程教育专业认证试点工作。十多年来，我国以推进工程教育认证为抓手，不断推进和深化工程教育改革。并且，借鉴工程教育认证理念、成功经验，更大范围、覆盖面更广的认证工作也逐渐在更多高校开展起来。高校应如何筹备专业认证工作？又该如何以认证为抓手持续改进人才培养质量？近期，麦可思研究（以下简称“麦”）特邀北京石油化工学院教授、工程教育认证专家韩占生与我们进行了详细分享。（因文章篇幅较长，我们将分上下两篇进行登载，敬请持续关注。）
工程教育认证通用标准包括“学生”“培养目标”“毕业要求”“持续改进”“课程体系”“师资队伍”“支撑条件”七大项，按照七大项推进工程专业建设既是通过认证的必由之路，也是提升专业人才培养质量的重要保障。本期将聚焦“持续改进”一项。
麦：工程教育认证通用标准明确要求“持续改进”，其中提到“建立教学过程质量监控机制”。在这方面大学该怎么做？
韩占生：持续改进项重点强调了两个机制的建立。第一个机制就是“建立教学过程质量监控机制”。按我的理解，这里面的关键点有二：
第一就是强调建立“机制”，所谓“机制”，就是除了要建立各主要教学环节的质量标准、形成有据可依的制度外，还要重点关注这些制度和标准是否如期完成并有效实施，在遇到教学中发生的各种问题时，是否能起到及时纠正和改进的作用。用通俗的话说，就是要证明教学质量标准和制度是“活着”的。
第二就是“面向产出”，即教学质量评价不是看教师“教”得怎么样，而是要看学生“学”得怎么样，即学生的学习成效是不是达到了该课程的预定目标。当然这里还有一个前提就是制定该目标时，必须考虑这些目标能够支撑起某些毕业要求的相关指标点。
大学在“建立教学过程质量监控机制”的过程中，通常需要关注如下逻辑是否自洽：各主要教学环节（既包括理论课也包括实践课）的目标要与毕业要求及其分解指标点相关联且能够对其合理支撑；课程目标都能体现在现行教学大纲和相关教学管理文件中，且都对师生予以公开；课程质量评价行为是按预定周期性发生的，包括评价内容、评价依据、评价流程以及评价周期和责任人都是公开和明确的；课程质量评价的质量也有专门机构和专业责任教授把关。当然，所有上述教学质量管理行为都应该是聚焦于学生学习成效，而且要能自证自上一个质量评价周期以来，教师的教学利用上次评价的结果做了哪些改进工作，本次评价是否能证明这些改进产生的正面效果，今后还有哪些需要改进的方面，等等。
需要特别强调，学校和专业应特别关注以下几点：一是课程评价得到的各项“数据”（证据）要能够证明课程目标与所支撑的毕业要求相关指标点的对应关系是合理的，合理性是可评价的且能够获得同行认可；二是课程的教学设计（包括课程内容、学生的学法、教师的教法）是能够有效支持课程目标的达成的；三是对学生学习过程中的形成性评价和终结性评价及考核方式是能够反映出学生达到课程目标的程度的，也就是说要能够证明课程成绩与课程目标实现程度是明显正相关的。
目前高校普遍容易出现的问题有以下几方面。一是将“建立教学过程质量监控机制”理解为可以照抄照搬其他学校的文本和做法，并没有聚焦自己专业的毕业要求和指标点来设计教学环节的各项质量标准。二是没有搞清楚教学过程质量监控机制实际上是包括了两个机制，即面向产出的课程体系（也就是专业培养方案）合理性评价机制和课程质量评价机制。课程体系合理性评价机制是毕业要求达成情况评价的前置条件，课程质量评价机制是毕业要求达成情况评价的基础。三是没有时刻关注“面向产出”这个关键词，即质量监控与评价没有聚焦学生的学习成效，而是仍以传统的督导课堂听课为主，造成课程质量评价的信度不够。
麦：在“持续改进”这项标准中还特别提到了“建立毕业要求达成情况评价机制，定期开展毕业要求达成情况评价”。事实上我们了解到许多大学并不知道如何证明毕业要求达成情况。
韩占生：持续改进项重点强调的第二个机制就是“建立毕业要求达成情况评价机制”，并能够定期开展此项评价。这里要提醒的是，最新的准确提法是“达成情况评价”而不再是“达成度评价”。其用意就是希望摒弃前些年单一的以“课程考试成绩算分法”来“算”出毕业要求达成与否，而是希望各学校积极探索和创新出符合“产出导向”逻辑的多视角多侧面的毕业要求达成情况评价方法。
就实际情况而言，不可否认目前合理的且多视角的毕业要求达成情况评价的成功案例并不多见，大多数学校只是将单一的“课程考试成绩算分法”修改为“算分法”占大头、“师生问卷调查法”占小头的所谓“综合”评价方式，离“通过全面收集学生四年中各类课程学习成果数据，并经过严谨的定量和定性统计分析后对应届毕业生达成毕业要求的总体情况做出可信度较高的评价结论”这个目标还有一定的差距。这可以算是目前各学校专业认证总体工作中的短板之一。
至于参评学校和专业应该怎样做才能够突破这个瓶颈，我认为既然是普遍的短板，也就意味着留给各学校积极探索改进的空间是比较大的，或者说，目前未必存在可以照抄照搬的“捷径”，只能遵循以下几个原则和检查步骤来判断评价结果的可信度：
1.首先是在“毕业要求”“课程体系”等项目中，要具备完整与合理的证据链证明，专业的毕业要求表述是完备覆盖通用标准的；各毕业要求分解的指标点既是可衡量可评价的，又是完备覆盖本毕业要求条款的；在课程体系设置中，相关主干课程的课程目标是能够完全覆盖对应指标点的且能够形成同行认可的较强的支撑的。这些工作虽然不是直接在“毕业要求达成情况评价”中考察的，但它们却是毕业要求达成情况评价的基石。上述支撑关系的证据链如果比较弱，那么后面无论采取何种对毕业要求达成情况的评价方式与技术，都相当于建立在没有基础的“沙滩”上。
2.对每门主干课程的课程目标的表述与本课程的学习内容要有一致性，不能是“两张皮”。这应完全体现在本门课程的教学大纲中。应掌握的知识要点、应达成的能力描述，为此学生的学法、教师的教法，特别是能够印证学生学到手与否的考核方式、方法，都应该在类似教学大纲的教学文件中一一体现。也就是说，要能够自证学生这门课程的成绩与他达成课程目标的程度是正相关的，而且成绩及格线就是课程目标达成与否的底线。
3.只有上述第1点和第2点都做到了，我们才可以说，通过学生四年中各门课程的成绩，再辅之以各种课程质量评价数据、学生表现评价数据、学评教和教评学的调查数据等，通过合理的统计分析，就可以得出逻辑自洽、有信服力的毕业要求达成情况评价结果了。
4.毕业要求达成情况评价是不是有较高的信度，有一个简单的判据可供参考：假如通过这次评价，能清晰地判断出本届毕业生在各项毕业要求所表述的能力中的长处和短板是什么，而且这些长处和短板能够通过其他调查方式得到印证，则这样的达成情况评价就是可信的；如果只是通过某种人为权重分配，牵强地得到一个所谓的达标数值，却不能据此合理地判断出短板所在，则这样的毕业要求达成情况评价就很难具备较强的信度，对指导下一步持续改进也就鲜有帮助。
麦：在专业认证的过程中，大学该如何证明评价结果被用于持续改进？
韩占生：《工程教育认证通用标准解读及使用指南（2020版，试行）》中要求专业要定期进行“课程质量评价”“课程体系设置评价”“毕业要求达成情况评价”“培养目标合理性评价”以及“培养目标达成情况分析”，而且还特别强调要对“学生在整个学习过程中的表现进行跟踪与评估，并通过形成性评价保证学生毕业时达到毕业要求”。通用标准中提到的各种形式的评价行为和由此产生的基础数据，都是为了人才培养工作的持续改进，可以说持续改进无处不在。这里的关键词有两个：一个是“被用于”，另一个是“机制”。
既然评价的目的是为了改进，那么专业就要提供各种评价结果“被用于”改进教学的证据以及改进的成效。评价既包括定期性的评价方式，也包括以课程质量评价过程中最为突出的形成性评价方式；所谓“机制”，就是说持续改进应形成管理学中的“PDCA”戴明环，使评价与改进周而复始地运行起来。
要想做到教学质量持续改进，师生处于人人参与和改进无处不在的状态，学校就要“跳出”专业认证抓质量，来全面构建教育教学过程的质量管理体系，尤其是要积极培育学校的质量文化。通过各种评价来持续改进教学不应该被认为是任课教师的额外负担，而应该就是课程教学的组成部分。要想做到这一点，申请认证的学校就不应该只是迎评心态，而是在真心认同专业认证理念的前提下，经历数年的建设、改进、积累，形成一套自然而然的证据链供认证专家审核。
以我所在的学校为例，为了实现教学质量的持续改进，学校做了大量的制度性建设和质量保障运行机制的探索工作。这得益于学校是发自内心认同国家工程教育专业认证的理念，同时认为鼓励专业参与认证是带动全校本科专业建设的有力抓手。
我们的具体做法是，在学校层面，全面推行以学生为中心的教学范式改革，每年组织一定数量的教师带着他们讲授的课程参与为期一年的教学范式改革培训班，并为每个教师提供教学研究经费，培训班结业的成果就是将其课程教学范式转变到以学生为中心的范式上来。在与之相配套的制度层面，学校教务处组织专家组研制出了符合以学生为中心教学范式的课程教学大纲模板，教学大纲的内容包括该课程的若干一般目标，每个一般目标又可分解为若干具体目标，并且描述了为达到这些具体目标学生的学法和教师的教法，以及为了测量目标达成情况的考核方法。这样的大纲真正成为了师生之间的一份“教与学的契约”。原来那种主要以罗列知识点为主的教材目录式的教学大纲被彻底摒弃。
为了在学校各门课程全面推进使新形式的教学大纲落地见效，学校和教学院系还在各项教学评优活动（例如年度教学优秀奖评选、青年教师教学基本功大赛、教学名师奖评选等）和教师职务晋升的教学能力评价环节，要求每个教师带着他的具体课程参评并形成了一整套评价程序和机制。例如，每个参评教师要提供他近年来授课过程中所有的教学档案，特别是所教课程的教学总结与反思、试卷和学生成绩分析报告等供学校聘请的校内外专家评判。与此同时，还要面对校内外专家进行现场教学演示和教学设计答辩，接受专家的质询。可以说，若是没有系统地理解和认同“以学生为中心”“产出导向”“持续改进”理念的教师，在上述各项评审活动中是不可能获得高分评价的。
前有学校开办范式改革培训班牵引，后有各种教学评审推进，我们已经坚持了六年之久，目前可以说学生中心、产出导向和持续改进理念已经基本得到普及。在这种工作基础上，再辅之以提供专项研究经费用于每个专业的培养目标合理性评价报告、聘请有公信力的第三方机构定期进行诸如在校生、应届毕业生和毕业五年左右的毕业生的大规模问卷调查活动，形成年度报告供所有专业参考。几年下来也积累了很多纵向可自评、横向可比较的数据。这些评价数据经过学校有关部门和教学院系的认真分析，都能够用于各种教学评估，特别是用于学校对教学院系的年度工作考核，以及指导全校的专业结构调整工作，形成了多环并举的持续改进闭环操作。