高校数据治理常见挑战与对策

高校数据分析最早是 IT 人员用于改进学校信息化基础设施的管理运用,现在越来越多的学校开始使用数据分析来帮助推动学生获取成功。

以数据分析项目为代表的数据治理领域已经成为全球高校信息化发展的新热点。“大数据和学习分析的使用会改变教育领域”,这已经成为众多高校领导人的共识。在高校开展数据治理时会遇到一些挑战(如数据质量、数据获取权限、数据运用伦理),先行者们也已经探索出一些解决之道,提出了数据治理成功的关键因素。

高校数据治理常见挑战与对策

在谈到高校数据治理实践时,一些受访者提出常遇到如下的挑战:

挑战 1

如何让各级领导层建立数据分析思维?

很多领导只是把自己作为数据的消费者,等待技术团队提供可用的直观工具。但是一个机构要实现数据治理,是需要业务部门提出需求和想法,并参与数据分析工具的设计与开发的,为此,就需要各级领导参与相关的培训首先从建立数据素养和数据分析思维开始,提出业务工作中想利用数据解决的问题。

对很多大学来说,数据治理需要梳理决策逻辑、清理数据,从哪个业务先开始往往不能统一意见。据 2018 年 6 月美国的一项 200 所高校领导人调查发现,教学部门(如校长、教务长)会更关心学习产出、学生保持率和毕业率,信息技术部门则更关心如何提高大学的运营效率。在实践中,可行的做法是优先与能够应用数据分析解决问题的团队合作。

加州州立大学长滩分校(California State University, Long Beach)利用数据来提高毕业率。2015 年,启动了the Data Fellows program,一个 55 人的团队两个月开一次会,讨论与学生学业成功相关的指标。这个团队成立的目的是建立数据所有权文化,形成推动变革的解决方案。

在长滩分校,四年毕业率在过去两年(2016~2018) 从 16% 跃升至 28%,与此同时,少数族裔和非少数族裔学生的毕业率差距从 12% 下降到 4%。

挑战 2

如何保证所基于的数据具有高质量?

基于数据决策的前提是数据可靠且相关,数据必须是“真实可信的”,否则“输出将是误导和无效的”。但是学校所收集的数据可能不完全,或者更新不及时。不完全的数据,特别是不准确的数据,可能会带来更危险的决策。但是,所收集的数据来源多样,种类丰富,也很容易出现同一个数据(比如一所高校的在校生人数) 从不同的部门得到的数值不一样的情况。

IBM 认为,高质量的数据具有以下四个特征:

完整性(Completeness):要从所有可能的来源中关联相关的数据。

准确性(Accuracy):数据必须是正确的、一致的,没有输入错误。

可用性(Availability):数据必须在需要时可以获得。

时效性(Timeliness):当下的数据必须可以获得。

为了提高数据的质量,可能需要多管齐下。

首先要制订数据治理政策, 其次要开发和部署专门的工具来简化数据收集过程。美国的大多数高校会选择数据质量工具通过数据清理、匹配、监控和其他方式, 让质量保证过程自动化。

2013年圣母大学(University of Notre Dame)建立了商业智能(business intelligence)项目dataND ,经过摸索,发现制订数据治理政策非常有必要,即要定义数据是什么,如何使用这些数据,谁应该有权访问这些数据。其经验总结如下:

1.如何统一数据定义:雇佣了一个数据治理管家(a campus data steward)在部门之间协调,建立关于数据的共识。

2.如何确定谁能访问什么数据:正确的问题不是这个业务是否需要这个数据,而是获取这个数据是否会给大学带来风险,因为数据治理的目的是为了支持更广泛地使用数据,为了避免使用数据带来的风险,要加强对能够获得数据的人进行培训。当数据可能对大学造成重大伤害时,要有严格的限制。

挑战 3

如何获得各部门系统的数据?

不少学校在开展数据治理的时候,会遇到部门数据共享的问题。

  • 一方面,一些部门不愿意分享所管理的数据,比如,认为拥有某些数据是特权,或担心数据安全;

  • 另一方面,即使部门愿意共享数据,信息系统之间数据互通也会有技术障碍,比如,学校的信息系统有些是采购或定制的,供应商往往不太愿意做数据开放或数据导出接口,即使学校愿意在这方面做追加投资,也需要逐个系统去谈。

有些系统有数据导出功能,可以定期导入到数据分析工具中,只是这些数据在利用时很难做到及时更新。数据需要在整个机构内共享——分析不应该以竖井的形式进行,也不应该被视为机构内部门的独有特权。

范德比尔特大学 (Vanderbilt University) 建立了“自动数据质量流程”,其信息系统能够识别数据输入错误, 所有数据问题最终都由学校数据治理团队 (institutional data governance team) 解决。根据大学的说法,该团队的任务是“建立数据治理政策、程序、标准和指南”,以最大化学校数据的价值。

挑战 4 

数据使用边界与伦理

  • 使用学生数据进行学习分析会在多大程度上引发有关学生数据隐私的问题?

  • 高校如何使用和共享这些数据 ?

  • 如何审查依据数据的行动是否有伦理风险?

  • 当机器学习算法出错,无意中引导学生走向错误的方向时,会发生什么情况?

目前有很多数据分析项目是基于历史数据而做预测分析,但所有预测模型都受人类判断的影响,数十年来对隐性偏见的研究表明,潜在的认知偏见和系统性种族偏见,既影响数据模型的设计,也影响对研究结果的解释。比如,预测模型如果过度依赖关键的学生人口数据,如财务状况、家庭经济状况、种族、性别或文化背景, 很容易使教育机会存在的历史性结构不平等永久化。

预测分析模型另一个潜在偏见是“确认偏见”,当设计预测模型的人倾向于寻找并使用信息来支持他们自己已有的想法或信念时,就会发生这种情况。在这些情况下,不能支持他们思想的信息将被忽略或丢弃,“确认偏见”既会影响选择(或未选择)的数据类型,也会影响对那些数据相关的解释。因此,“深入理解分析方法背后的假设”至关重要。

消除预测模型中偏见的一个方法就是承认它。要认识到数据的选择、模型的定义、对发现的解释,以及基于这些模型采取的行动不可避免地受到“隐性偏见”的影响。在数据上贴上预测分析标签并不能确保判断错误不会发生,也不能减轻这样一个事实,即这些偏见在多样性背景下是极其成问题的。因此,我们必须不断挑战数据的来源、假设、数据收集方法、数据的解释和使用,特别是当数据涉及代表性不足群体或少数民族群体方面时。

在高等教育中,我们不仅要注重模拟结果的轨迹, 还要注重改变或破坏现有状态结果的创新方法。在继续推进数据驱动决策和预测模型分析的同时,必须牢记数据是可能有偏见的。

数据治理项目成功关键

已经有一些数据分析项目获得成功的高校总结出以下成功经验:

01

管理层支持

学校管理层是真正希望获取数据,并努力尽可能多地使用这些数据。为此,要专门成立数据治理管理机构,组织人力花时间有效地挖掘数据。

普度大学(Purdue University) 的“院校研究、评估和有效性办公室”(Office of Institutional Research, Assessment and Effectiveness) 设立了几个委员会,专门负责高校数据治理政策和标准研究,甚至还设立了一个数据质量小组(data quality subcommittee),专注于寻找数据质量问题的解决方案。

02

有强大的、标准化的基础设施

数据分析需要更强大的技术架构和熟练的专业人员。

03

直观的用户界面和报告

研究用户友好的数据分析产品,使更广泛的校园工作人员参与设计和展示数据分析成为可能。当目标明确、可衡量的结果有针对性时,分析效果最佳。

04

供应商透明度

为了确保模型和算法是健全的、透明的、没有偏见的,必须密切参与或了解预测模型和算法是如何构建的。

05

持续培训

持续介绍有什么数据分析系统可用,如何使用,持续培训会提高使用数据做决策的能力。

除了确保这些因素到位之外,重要的是确保教师、员工和学生具有数据读写技能,能有效地解析数据,从而在所有领域实现性能改进。

作者:汪琼

(0)

相关推荐

  • AI系统中的偏差与偏见

    人工智能系统中存在着偏见,但是有偏见的算法系统并不是一个新现象.随着包括司法和健康等领域在内的各种组织都在采用人工智能技术,人们开始关注对基于人工智能的决策缺乏问责制和偏见.从人工智能研究人员和软件工 ...

  • 数据治理系列2:元数据管理

    导读:元数据管理是对企业涉及的业务元数据.技术元数据.管理元数据进行盘点.集成和管理,按照科学.有效的机制对元数据进行管理,并面向开发人员.最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统 ...

  • DataOps(数据运维)指南

    [注]本文译自: A Guide to DataOps - DZone Big Data image DataOps 不仅仅是另一种开发方法.它通过民主化的访问和巨大的潜力从根本上改变了组织使用数据的 ...

  • 努力推动“大数据”下的高校治理

    杨杨 今年1月,全国教育工作会议提出了"教育治理"的理念,确定今后一段时间我国将"加快推进教育治理体系和治理能力现代化"."教育治理".&q ...

  • 高校数据治理挑战与对策

    高校数据治理没有最好的模式,只有适合自己的模式.各高校在管理方式.技术实施路径.工具平台选用等方面不尽相同,但在管理上却面临着大致相同的困境.这些困境直接影响了数据治理工作的推进和效果,需要我们正视困 ...

  • 人工智能赋能高校数据治理:逻辑、挑战与实践

    随着人工智能技术的不断发展,人工智能从概念层面逐渐落地形成众多"类人化"的产品与服务,实现了对传统信息技术的实质性突破.信息技术变革具有阶段性,从传统信息技术到人工智能.5G等新技 ...

  • 宋强:走出高校数据治理围城

    我们低估了高校数据治理结构的复杂性,对所面临挑战的难度定位偏低.高校校园表面上呈现为一个相对独立的园区,但实际上,是多个管理体系的浓缩.可以说,高校就是一个高度体系化的城市. 宋强 北京第二外国语学院 ...

  • 案例分享丨高校数据治理架构体系

    高校越来越重视信息化数据层面显现出来的相关问题,并围绕数据治理开展了卓有成效的实践.但当前的治理工作仍然主要驱动于技术,依赖于平台,依托于信息化部门进行,开展得不够广泛.深入和细致,未与管理.业务.服 ...

  • 众议:如何让高校数据治理走向成熟?

    思考"如何让高校数据治理走向成熟"时,一方面数据中台是近两年的热点话题,但在高校具体实践中,数据中台能否发挥重要作用,却是一个见仁见智的话题. 另一方面数据治理无法凭借信息化部门一 ...

  • 众议:如何推进高校数据治理?

    康慨:通过持续产出 让管理者尝到甜头 康慨 ■ 北京理工大学 ■ 信息化办公室副主任 学校在进行数据治理时,可重点关注几个问题: 一是要有完善的基础平台,如主数据库.元数据管理系统.质量监控平台.数据 ...

  • 高校数据治理应始终坚持价值导向

    数据治理的难点在哪里?一言以蔽之,就是基本上数据的生产者和数据的受益者都不是信息中心. 数据治理(DataGovernance)是国外首先提出的概念.国际数据管理协会(DAMA)提出了一套完整的数据治 ...

  • 啃下高校数据治理这块“硬骨头”!

    数据治理是高校信息化工作的"牛鼻子"和"硬骨头". 一阵数据治理热浪袭来,高校纷纷加大数据治理力度.10月中旬,北京理工大学开始第二轮数据确权工作,在第一轮的基 ...

  • 高校数据治理应用于哪些领域?

    高校数据分析最早是IT人员用于改进学校信息化基础设施的管理运用,现在越来越多的学校开始使用数据分析来帮助推动学生获取成功. 从现有高校数据分析应用的案例来看,数据治理已较为广泛地用于提高学校运营效率( ...