如何对省域高校信息化建设情况进行评价？

在向教育信息化2.0转化过程中，教育信息化评价指标体系已经被我国多个省份纳入高校教育信息化建设保障体系中。因此，落实教育信息化评价指标体系的指导和评价作用，深入把握省域高校信息化建设情况，建设一体化的教育信息化评价指标数据填报、专家评分、数据分析平台是下一步重要任务。

2021年3月教育部发布《高等学校数字校园建设规范》，将“评价改进”纳入了数字校园建设的流程规范中。教育信息化评价指标体系已然成为我国高校教育信息化建设的指导标准和核心保障体系。

因此，如何推广教育信息化评价指标体系的指导和评估作用，建设统一、透明、开放、公正的评价信息采集、评分、统计分析平台成为下一步要解决的问题。

它的实现要点体现在要满足“动态”的指标设置、“自动”的评价流程控制、“友好”的填报设计、“公正”的评分系统和“个性”的数据分析报告。

自2018年安徽省着手设计开发面向安徽省高校的教育信息化评价指标系统，于2019年开始投入使用，2021年又对该系统做了全面升级，经过两年多的推敲和优化，总结了一套值得借鉴的设计方案。

评价指标系统

设计架构与指标设置

安徽省高校教育信息化评价指标系统采用多层松耦合架构，各层服务独立分治。

图1 评价指标系统架构

如图1所示，服务细粒度，协议轻量级，服务边界清晰，业务逻辑明确，易升级与扩展，可自由应对由于指标动态变化而带来的系统变更问题。

教育信息化评价指标标准设置要适应教育信息化发展方向，动态性是教育信息化评价指标的基本特征，因而评价指标模板动态设置则是评价指标系统设计的基本要求。然而，在动态设置时要充分考虑到“静态”结构和“动态”数据的有效分离，平衡数据模板的可复用性和灵活度的原则。

“可复用性”指的是保证历年的评价指标数据可比较性，以普遍AHP结构和通用的指标项命名为代表；“灵活度”强调评价指标的高可适性。就上述问题，建设可复制的评价标准框架、可调节的指标模板成为安徽省高校教育信息化评价指标系统关键设计之一。

评价指标设置需考虑到指标文件的动态调整，指标要求频繁变化，数据结构设计需兼容各种形式的要求和填报形式。

在数据结构设计上，指标由粗到细被抽象成“评价指标体系”、“指标点”、“指标内容”、“指标要求”四个对象。

其中，“评价指标体系”是指参考引用的评价指标文件。“指标点”基于AHP三层静态结构，支持动态调整指标顺序、可设置不同的打分方式、是否需要证明材料。

“指标内容”和“指标要求”为一对多关系的动态数据，“指标内容”是对三级指标点的内容解释，“指标要求”可对不同的院校类型设置分值、考核类型和计算公式。计算公式采用工厂模式，可在不修改现有程序的情况下，扩展新的公式。

另外，系统允许每个指标要求具有“一票否决”的能力，也就是说，如果该指标考核要求不满足，那么该指标要求所在的三级指标项评为零分，以强调该指标要求的重要性。

可控评估流程

评估过程划分为评估前的筹备阶段、评估中的填报管理阶段、评估后的评分阶段和评估反馈阶段，分别围绕着系统管理员、高校填报负责人、打分专家、信息化决策者四个核心角色，实现以人工控制筹备、填报、专家打分、统计、发布五个主要流程节点；以自动设置纠错、自动流程提醒、自动计分、自动统计、自动分析为辅助流程节点，具体业务流程见图2。

图2 评价指标系统业务流程

可信数据填报

为保证可信填报数据，一方面评价指标填报可加入提供数字化凭证的要求；另一方面可将校领导干部的考核与信息化评价结果直接挂钩。

在考查形式上，指标要求主要以选择和填空的方式考核，通过自动计分的方式确保得分的客观性；而对于重要且难以量化的评价指标项，可通过上传证明材料的方式保证数据的真实有效性。由于证明材料的敏感性，需对上传的证明文件进行严格访问权限控制，严防未经许可的传播。

本系统将上传的文件保存在Web无法直接访问的目录，并生成具有访问权限校验、签名校验和时效校验的加密访问地址。对图片文件加水印处理，对PDF文件通过ImageMagick转换成图片。

主客观双机制评分

安徽省高校教育信息化评价指标打分系统采用以客观题自动算分为主，专家验证材料和主观题评分为辅的方式，尽量保证数据的真实性和评价结果的客观有效性。

在指标设置阶段，系统可设置评分标准以供专家参考，从而保证评分标准的一致性。在打分过程中，专家和待打分高校是多对多的关系，系统为每个填报完成的高校随机抽出三位匿名专家打分，以求平均分的方式获取最后得分；每个专家同时被随机分配多个匿名的待打分高校。

这种双机制评分方式具有很好的适应性和灵活性，是深度评价的必要手段，但需依赖于打分标准库的指导和稳定的专家团的组建。

自动数据分析平台

评价数据分析的目的：一是为高校的上级机构提供信息化建设决策支持；二是为高校提供个性化的信息化建设指引报告。

就上述目的，安徽省高校教育信息化评价指标数据分析平台具有评估数据综合分析功能和高校个性化评估功能，将评价的分析结果以可视化报告的形式呈现。

本系统的可视化使用基于JavaScript的开源可视化库ECharts（已被Apache收录），它提供直观、交互丰富、可高度个性化定制的数据可视化图表。

评价指标综合分析设计主要参考粒度模型、离差分析模型和基于K-means聚类算法的分类模型而实现的^[1]，也就是从横向、纵向、差异和分类的角度综合展示安徽省教育信息化的发展状态。

K-means聚类算法由于具有随机起始点的问题，会导致分类不固定的缺点。因此，我们结合本系统的特殊应用场景，使用固定起始点的方式进行聚类，选取固定起始点的方式：首先取得离集合中最小的和最大的元素，然后逐个取距离已有起始点最远的元素，以保证高校的分类组别一致性。

它主要从发展特征、各粒度指标横向比较、历年发展比较三个方面展示；并依据比较结果，在报告最后提出信息化发展建议，明确指出该校的教育信息化发展改进方向。

自2018年教育部印发《教育信息化2.0行动计划》以来，教育信息化被提升到教育教学改革的核心位置。随着后疫情时代的来临，不断验证了教育信息化发展的重要意义，进一步催化我国教育信息化急速发展。

2021年教育部发布了《高等学校数字校园建设规范》，这意味着我国高校教育信息化2.0建设将逐步从盲目发展过渡到有序稳定发展阶段。

因此，关于落实评价指标的评估和指引作用成为我们下一步的工作重点，建设集数据采集工具、评价流程控制终端、网上评分系统、评价数据分析平台为一体的评价指标系统成为值得推行的落实方案。

参考文献：

[1]任敏,蒋正飞,顾雨民.以评价指标体系护航信息化生态建设[J].中国教育网络,2020(07):51-54.

作者：任敏、顾雨民、夏玉良（中国科学技术大学网络信息中心）