数据驱动的在线学习倦怠预警模型研究与实现
导读
(一)在线学习倦怠内涵与结构维度的确立
图1 数据驱动的在线学习倦怠预警模型
2. 在线学习倦怠分析与预警方法
(1)学习倦怠预警基础数据获取
学习倦怠预警基础数据获取指监测并采集在线学习空间中的学习者基本数据、行为数据和结果数据,经规范化处理后生成供后续学习倦怠预警分析的数据集。其中,基本数据包括个人信息、个人特质等;行为数据包括课程学习行为、师生交互行为等;结果数据包括测试成绩、作业完成情况等。采集的原始数据从两方面为学习倦怠预警提供数据基础:一方面,依据在线学习倦怠特征指标形成学习倦怠量化数据集,用于学习倦怠状态的分析;另一方面,提取学习者情境要素和关键主体特征并存储于情境知识库,为后续学习倦怠预警决策奠定数据基础。
(2)基于动态数据的在线学习倦怠状态分析
基于上述学习倦怠量化数据集,在线学习倦怠状态分析过程包括量化数据集处理、学习倦怠分析模型构建与学习倦怠状态获取(如图2所示)。首先,提取学习倦怠量化数据集,通过差分得到变化特征数据,以此实现数据集的重构;其次,将重构数据集划分为训练数据集和测试数据集,结合学习者倦怠分类进行机器学习模型的训练与测试,构建具有良好拟合度和泛化能力的在线学习倦怠分析模型;最后,基于在线学习倦怠分析模型,通过学习倦怠关联数据的实时监测即可得到学习心理情绪、行为表现与成就水平及其所构成的整体学习倦怠程度。
图2 在线学习倦怠状态分析概要图
(3)数据驱动的在线学习倦怠预警决策
数据驱动的在线学习倦怠预警决策包括学习倦怠预警决策关联要素获取、学习倦怠预测分析、学习倦怠预警决策三个模块(如图3所示)。在关联要素获取模块,基于学习倦怠相关理论确定关联学习情境要素,依据JD-R模型,在线学习需求与大部分资源获取行为均围绕学习目标及其实现展开,因此,本研究主要监测学习目标与学习效果两大情境因素,并通过计算两者差距得到目标完成度。依据已有文献研究选取人格特质、应对风格与自我效能三个学习倦怠显著性影响因素作为关联主体特征[10]。学习倦怠预测分析模块主要基于学习倦怠关联要素,通过多元回归分析模型预测学习倦怠发展趋势,从而获取预警重要度。学习倦怠预警决策模块依据学习倦怠程度把学习者划分为危机、警戒与正常三种状态,对于警戒和危机状态学习者,结合预警重要度确定预警触发与预警信号输出。
图3 在线学习倦怠预警决策模型
(4)学习倦怠个性化预警呈现
依托学习倦怠预警决策结果,进一步确定基于学习情境与主体特征的个性化预警呈现过程。该过程遵循以下三项原则:①学习情境监控下基于敏感度的警示时机决策原则,即在学习倦怠状态分析与学习情境监控的基础上,基于指标节点敏感度分阶段进行预警呈现;②学习目标导向下基于状态值的警示内容确定原则,即以学习目标为导向,基于节点状态值选择性呈现情感和行为等整合性信息;③基于动态交互的个性化警示方式选择原则,即结合学习者交互风格采取适切多样的可视化呈现方式。此外,学习者可通过预警档案库查看历史学习倦怠预警数据及其变化趋势,教师可通过个体学习倦怠预警信息的统计分析与呈现把握整体学习情况。
学习情感极性S通过对交互信息的表情图片与情感词分析得到[12],见公式(1)。通过文本态度判别函数O(TC)得到文本情感极性,并与表情信息对应数量FN进行加权求和,γ1和γ2分别对应判别函数和表情信息的权重(根据数据集特征分别确定为0.7与0.3)。
学习情感强度Ti(Wj)的计算方法见公式(2),定义强度级别为L={l1,l2,…,ln},每个级别对应一个情感强度集合Ai,Ai的论域W={w1,w2,…,wk}由k个相互独立的观点词Wj构成,Ai(Wj)为交互文本Wj出现在强度级别li中的可能性,计算方法见公式(3),
为Wj在强度级别li中出现的概率。
平均学习时长AT由总学习时长与总登录次数k计算得到,计算方法见公式(4),学习者每次活动持续时间为登出时间t'i与登入时间ti之差。
登录间隔LI为第i次活动开始时间与第i-1次活动结束时间之差,计算方法见公式(5)。k次登录的总间隔为LS=LI1 LI2 … LIk,登录的平均间隔LAk=LS/k。
活动参与及时性TL为阶段内第j次学习任务完成时间tcj与任务发布时间tej之差(一般为一周),计算方法见公式(6)。
学习反思质量Rj借助学习系统搜集的学习者反思语料来获取,依据西蒙的反思性思维层次模型[13],反思语料按高、中、低分别编码为Rj={R1,R2,R3}={1,2,3}。
论坛发帖质量Fj依据发帖字数、与主题相关性等指标,划分为优秀、良好、一般、较差、不及格五个等级,分别编码为Fj={F1,F2,F3,F4,F5}={1,2,3,4,5}。
学习倦怠程度LBj划分为低、较低、中、较高、高五种程度,分别编码为LBj={LB1,LB2,LB3,LB4,LB5}={1,2,3,4,5}。
人格特质PTj划分为外倾性、开放性、神经质、宜人性、严谨性五种[14],分别编码为PTj={PT1,PT2,PT3,PT4,PT5}={1,2,3,4,5}。
应对风格CSj划分为灵活应对、问题应对、情绪应对、异常应对四种[15],分别编码为CSj={CS1,CS2,CS3,CS4}={1,2,3,4}。
自我效能SEj划分为高、较高、中等、较低、低五种程度,分别编码为SEj={SE1,SE2,SE3,SE4,SE5}={1,2,3,4,5}。
(二)基于贝叶斯网络的学习倦怠状态分析
基于在线学习数据的机器学习技术可高效预测学习倦怠程度,但有效地预警不仅仅是呈现与学习倦怠预测结果相对应的警示信号,更重要的是对学习倦怠状态可解释性信息的反馈。基于贝叶斯网络的学习倦怠预测可以动态分析学习倦怠量化各指标节点的概率变化及其与学习倦怠程度的关联关系,通过推理分析学习倦怠状态值这一关键节点能够了解具体学习情况,从而呈现全面准确的学习倦怠信息。因此,本研究选用贝叶斯网络作为在线学习倦怠状态分析的核心算法。
1. 贝叶斯网络结构构建
贝叶斯网络节点依托学习倦怠关联量化指标及其差分得到的变化特征指标,因此,需在贝叶斯网络中加入差分器。第k个差分器的输入为第k-1周的采样Xk-1及第k周的采样Xk,输出差分结果Yk-1和原特征向量Xk构成新的特征向量Yk。当k≥2时,变量之间的关系满足公式(7)。
在此基础上,依据变量间关联关系构建贝叶斯网络结构,经由专家进行审核修改后具有较强的综合性和科学性。由此,确定学习心理情绪、学习行为表现与学习成就水平三个指标层节点,通过指标层节点可以直接了解学习者在各维度的学习倦怠情况,该指标层又与可细化该层的节点建立逻辑关系,最终形成的指标层节点都指向学习倦怠状态值节点的贝叶斯网络拓扑结构,如图4所示。
图4 贝叶斯网络拓扑结构
2. 在线学习倦怠状态分析
贝叶斯网络拓扑结构确定后,采用EM算法进行参数学习,以确定网络节点属性及各属性概率。由于目前研究多以最大概率的指标属性作为预测值,无法考虑小概率事件,因此,本研究在贝叶斯网络内部界定一个判别值以准确全面地分析学习倦怠状态。首先,采用主次指标排队分类法和专家打分法确定节点状态各属性的相对重要程度,并赋予各属性概率权重,然后,基于学习数据和系统实验分析不断修正并确定判别值阈值区间。本研究中,对于三个状态的节点,其属于高、中、低的概率分别为a1、a2、a3,对每种状态概率分别赋予1/2、3/10、1/5的权重,判别值A=1/2×a1 3/10×a2 1/5×a3反映了该节点的学习倦怠风险水平,经理论分析可得A的取值范围为[20,50],将其划分为[44,50]、[39,44)、[34,39)、[28,34)、[20,28)五个区间,分别对应从高到低五个学习倦怠风险等级水平。对于五个状态的节点,由高到低状态的概率权重分别为7/20、3/10、1/5、1/10、1/20,其判别值A的理论取值范围为[5,35],从高到低五个等级学习倦怠风险水平的取值区间分别为[29,35]、[25,29)、[20,25)、[14,20)、[5,14),对应学习倦怠程度为无倦怠、轻度倦怠、中度倦怠、高度倦怠与极度倦怠。
(三)多维因素支持下的学习倦怠预警决策
学习倦怠预警决策通过计算预警重要度与学习倦怠程度并依据决策规则实现,其中,预警重要度代表当前情境学习倦怠的发展态势。为了研究情境要素与主体特征等关联因素对学习倦怠的影响程度,从而进行趋势预测,构建多元回归模型:L=β1y1 β2y2 … βkyk
,其中,yk代表目标完成度、人格特质、应对风格与自我效能等关联要素值,L代表学习倦怠态势。经过大量学习数据的多次训练,得到模型中各权重参数βk的数值,即各要素对学习倦怠的影响程度。为把握学习倦怠发展态势的稳定性,将预警重要度划分为高与低两个层次。
在学习倦怠程度和预警重要度分析的基础上,借鉴相关理论成果并调研学习者实际应用情境,本研究提出了三状态、六等级学习倦怠预警决策规则以确定预警等级、预警触发与预警信号,在实际应用中教学者可根据学习者具体情况对规则进行相应调整,具体见表2。
表2 三状态、六等级学习倦怠预警决策规则表
(四)学习倦怠预警结果的可视化输出
学习倦怠预警结果输出需充分考虑主客观差异等因素,满足面向主体多元化发展的自适应可视化需求。通过学习倦怠预警的诊断推理过程确定预警结果输出时机,该过程遵循学习情境监控下基于敏感度的输出时机决策原则,其主要思想为:在划分学习者课程学习阶段ls与课程查看阶段xls的基础上,依据学习倦怠预警结果推理分析学习者目前所处时刻Ti关键事件,并结合该事件指标的敏感度Si确定最终输出时机To,详见算法1。敏感度是指某些可能变化的因素对决策目标优劣性的影响程度,计算方法见公式(8),B0为已训练好的贝叶斯网络删除第i个特征项后的输出预测值,Bi为贝叶斯网络未删除特征项的输出预测值,L为训练样本案例,n为样本案例个数。
为保障预警结果的易理解性和可操作性,遵循学习目标导向下基于状态值的警示内容确定原则、基于动态交互的个性化警示方式选择原则,确定学习倦怠预警呈现的差异化内容与适应性方式。可视化内容主要涉及预警等级、学习心理情绪、学习行为表现、学习成就水平等个体预警信息,以及预警人数占比、预警人数趋势等群体预警信息。考虑到预警信息固有类型与呈现方式的适配性,以及学习者针对呈现方式的认知差异,本研究参考黄昌勤等人提出的学习行为大数据可视化对照表[16],确定可选择的适切呈现方式,并结合学习者交互风格最终输出可视化学习倦怠预警结果。
本研究依托团队已建立的iStudy在线学习平台,设计与开发了学习倦怠预警系统,并通过算法实验和系统测试验证了系统的有效性和可靠性。学习倦怠预警系统主界面及学习倦怠预警信息查看页面如图5所示。
图5 学习倦怠预警系统主界面与预警信息查看界面
(二)在线学习倦怠预警系统的应用及效果分析
1. 实验过程
为了分析在线学习倦怠预警系统对学习者的影响,本研究以学习倦怠程度和学习成绩为因变量,以不同系统的使用为自变量,设计并实施了一系列实验。选取H大学研究生一年级学习同一门信息类课程的两个班级学生作为研究对象,实验组(32人)使用具有学习倦怠预警系统的平台进行学习,对照组(30人)使用传统学习云平台进行学习,实验时间为8周。
2. 实验测量工具
为检验学习倦怠预警系统在不同学习阶段的应用效果,实验设置前、中、后测,学期初和学期末均测量学生学习倦怠程度和知识水平,学期中测量一次学生学习倦怠程度。知识水平的前后测均为20道多选题与10道填空题(满分100分)。学习倦怠测量问卷依据连榕等人的学习倦怠量表[11]修订而成,问卷Cronbach's α系数为0.891,对数据进行KMO和Bartlett球形检验,分析结果显示,KMO值为0.876,Bartlett球形检验的Sig.值为0.000,问卷信度和结构效度良好。为进一步验证学习倦怠预警的有效性,对实验组32名学生发送系统效果调查问卷CSUQ [17],问卷Cronbach's α系数为0.900,问卷信度良好。
3. 应用效果分析
在实验结束后,对问卷数据及系统收集的数据进行分析,评价数据驱动的在线学习倦怠预警模型应用效果,主要涉及学习倦怠状态、学习成绩与预警系统满意度。
表3 实验组与对照组的学习倦怠程度及单维度状态差异分析
(1)学习倦怠状态分析
对实验组和对照组的学习倦怠程度及学习倦怠各维度进行单因素协方差分析,分析结果见表3。在课程中期和末期,两组学生的学习倦怠程度均存在显著性差异(p=0.015<0.05;p=0.000<0.01),对比两个阶段协方差分析修正后的均值,实验组均值均低于控制组。可见,该预警系统可以有效缓解和降低学习倦怠。在课程中期,两组学生的情绪低落与成就感低维度均存在显著性差异(p=0.045<0.05;p=0.036<0.05),在课程末期,两组学生的差异更为显著(p=0.000<0.01;p=0.000<0.01)。行为不当维度在课程中期差异不显著(p=0.086>0.05),而在课程末期存在显著性差异(p=0.000<0.01)。这可能是由于该预警系统在课程初期主要作用于学习倦怠的情感和成就获得方面,之后才逐渐引导学生调整学习行为,其作用机制也许与学习倦怠的发展演变过程有关,该问题值得进一步思考和验证。
(2)学习成绩分析
对期末学习成绩进行单因素协方差分析,得到实验组和对照组的调整后均值分别为93.79和88.03,两者相差5.76,两组学生的学习成绩存在显著性差异(p=0.018<0.05)。由此可见,使用学习预警系统的学生的学习效果要优于使用传统学习平台的学生。
(3)预警系统满意度分析
从系统可用性、信息呈现质量与系统界面设计三方面调查实验组学生对系统的满意度。通过问卷数据分析得到以上三个维度的项目均值分别为4.04、3.93、3.92,表明学生对学习倦怠预警系统整体持满意态度,但系统的信息呈现质量和界面设计还需要进一步改进与优化。
数据驱动的在线学习倦怠智能化识别与适时性预警,为学习者、教学者等利益相关者的决策提供了有力支持,从而促进在线学习目标的高效达成,实现真正意义上的个性化学习。本研究确立了在线学习倦怠的内涵与结构维度,在学习倦怠量化表征依据分析基础上,构建了数据驱动的在线学习倦怠预警模型,提出了学习倦怠预警实现方法并进行预警系统功能设计与开发。通过对H大学在线学习者进行学习倦怠预警应用及分析,验证了在线学习倦怠预警模型的科学性和有效性。本研究提出的在线学习倦怠预警模型弥补了当前学习倦怠状态监测评价与预警的不足,为在线学习中的学习倦怠评估与心理状态预警研究奠定了一定的基础。然而,本研究的在线学习倦怠预警指标主要基于大部分网络学习平台的可采集数据,后续将充分挖掘在线内隐性数据进行预警分析;对于不同学科课程学习者的效果验证可能会使研究更具说服力;此外,针对不同类型学习倦怠学习者的归因与干预研究也将成为未来的研究重点。
HUANG Changqin1, TU Yaxin2, YU Jianhui1, JIANG Fan1, LI Mingxi3
[Abstract] Online learning burnout is a kind of negative mental state that learners tend to avoid learning due to the increase of perceptual learning pressure, and effective identification and timely warning of burnout are important for efficient online learning. This paper first defines the connotation and dimensionality of online learning burnout, and constructs the data-driven online learning burnout early warning model based on the analysis of quantitative representation of learning burnout. Then, starting with the early warning process of online learning burnout, the implementation scheme of the data-driven early warning for online learning burnout is elaborated. Finally, relying on the iStudy learning platform, this study achieves the functional design and development of the online learning burnout early warning system, and the system is applied and empirically analyzed with online learners of H University as the research object. The results show the proposed model can effectively alleviate learners' burnout and significantly improve the learning effect, laying some foundation for learning burnout assessment and intelligent early warning in online education.