数据迁移的十个最佳实践

导读:本文为您介绍如何在数据迁移时定制计划,包括灾难恢复以及项目管理之技巧。

在某些时刻,受业务转换以及其它原因,人们会经历多次数据迁移过程,场景就是把当前数据库的数据从一个存储系统或计算机中移动到另一台。

数据迁移是一项非常复杂的任务。据统计有70-90%数据迁移最终无法达到目标。

迁移是一件困难的事情,而且据统计,有70%到90%的人未能达到期望。你必须先考虑所有利弊。此外,你还需要考虑迁移可能导致停机,不一致问题等的数据等做好准备。—— Dominik Kolasa

本文为各位提供一些有价值的迁移最佳实践,以帮助更多同学正确完成这一过程。

数据迁移的十个规则:

(1)数据备份

在开始做数据从一个系统迁移到另一个系统之前,需要管理员确保当前数据的安全,把当前数据备份以防任何潜在的风险导致数据丢失。

删库是小概率事,而磁盘损失溢出,数据并不完全可读等问题,在备份之前应检测完整,当出现问题时可以将数据恢复到原始状态。

(2)验证数据的复杂度与质量

数据迁移的下一步是验证数据的复杂度,通过它来决定使用哪一些方法最好。包括检查和验证不同形式的数据,存储位置和格式,迁移后的数据格式等。

检查当前数据的整洁程度,是不是需要更新。要对数据质量进行评估和检测,比如对防火墙状态下的数据传输,对好坏数据进行区分,消除重复数据。

(3)统一数据标准

当我们知道数据的复杂度时,就需要制定一系列标准。为什么要制定标准?为了让人们在可知范围内发现问题,确保在项目实施阶段避免发生例外。

数据是不断变化的,是可变的。制定标准有助于人们进行数据整合,确保在后续更好的使用数据。

(4)确定当前以及后续的业务规则

制定当前数据迁移过程和将来的业务规则,包括多种业务规则验证,确保数据一致性传输,建立数据迁移规则非常重要。

当完成一套数据迁移规则之后,在实施数据迁移时应该立即评估这些规则的合理性以及后续优化,例如数据复杂性的评估。

(5)创建数据迁移策略

接下就是进行迁移策略的的确立。有两种方法,一个是"大爆炸"式,另一个是”涓流“式迁移。

选择”大爆炸“是将整个迁移和传输在指定时间内完成,例如24小时内。当数据移到新数据库系统,迁移的实时过程即告关闭。此种方式最快,但风险也高。

”涓流“式数据迁移会将过程分成几个阶段。新旧两个系统会同时并行,中间不存在停机时间。虽然这个方法有些复杂,由于系统在迁移过程中不中断,可靠性更高。

(6)交换迁移心得

数据迁移的过程中,会有多个团队共同参与,彼此交流迁移流程是数据迁移的重要实践过程。彼此了解预期,亦能更好的分配任务与责任,列出所有任务和可交付成果,为项目分配角色,验证自己是否有正确的资源来完成任务。

你要着重考虑的事项:

1)谁对数据迁移过程拥有最终决定权

2)谁有权决定它是否成功完成

3)谁负责迁移后的数据验证

如果无法实现明确的任务和职责,就会导致组织混乱,延迟数据迁移之过程,甚至让迁移计划失败。

(7)正确的工具

在迁移中可以手动或使用脚本迁移吗?能,但不是一个好主意。在数据迁移过程中,使用正确的工具可以对数据做基本分析,数据发殃,数据质量验证以及完整测试,这让迁移过程更快捷,更高效。

根据组织和业务用例需求,选择最怡当的工具是数据迁移计划和过程的关键组成部分之一。

(8)风险管理策略

此外,在数据迁移过程中,要充分考虑风险管理,即在迁移过程中可能会发生的问题。列出这些问题,交提出解决它们的方法,特别是如何防止它们发生,包括旧数据损失,安全,用户测试,应用程序依赖项等,从而让数据迁移过程更顺利。

(9)时刻以敏捷心态对待

在数据迁移过程中,采取敏捷方法保持数据的高质量。其中包括高频的测试,发现并消除错误,在整个过程中保持透明。敏捷方法将明确任务划分,职责权属,从而使迁移成本和进度变得更加可预测。

(10)谨记测试内容

在数据迁移的每个阶段:规划,设计,实施和维护来测试数据迁移。只有如何,我们才能及时获取到所需的结果。

数据迁移是一个复杂过程,但它是公司和个人都必须经历的事儿,如果是非计划的数据迁移,及时备份数据是个好习惯。

不论是从一个系统迁移到另一个,还是迁移到云端或数据合并,制定风险管理策略,抓住潜在问题,提出解决方案快速搞定数据迁移。

来源:https://www.icode9.com/content-4-896651.html

(0)

相关推荐

  • solidworks弯管成型过程(数据迁移、钣金展开、激光切割)。

    solidworks弯管成型过程(数据迁移、钣金展开、激光切割)。

  • 英方备份一体机 复制规则 管理设置

    英方这个功能非常牛叉,各种备份功能,今天我们就复制规则看看吧,也是很管用,可以备份oracle数据,应用服务器等,整体功能如下 复制规则在  数据管理,点击进入里面可以看到 其它备份功能也可以看看 总 ...

  • 跨平台信息系统数据迁移技术研究与实现

    摘要 国网河北省电力有限公司信息通信分公司的研究人员李静.马超.黄镜宇.卢艳艳,在2019年第10期<电气技术>杂志上撰文指出,河北公司营销分析与辅助决策系统运行所依托的小型机设备已运行多 ...

  • 谈数据:数据质量管理的10个最佳实践

    作者丨石秀峰 来源丨谈数据 全文共3768个字,建议阅读需15分钟 数据质量管理是所有数据类项目重点关注的领域,从20多年前的数据仓库到如今的数据湖.数据中台,企业都试图将通过对改善数据质量来提升数据 ...

  • 大数据时代,企业如何利用数据实现精准化和个性化管理及服务 | 最佳实践分享

    本文原题:<大数据时代背景教育企业的精准化和个性化管理及服务实践>,以教育行业项目的建设为例,介绍了如何通过数据采集.数据清洗.数据治理.数据挖掘.数据分析.数据管理和服务的全方位大数据管 ...

  • 价值定位和数据治理:某大型保险企业CMDB平台建设经验分享 | 最佳实践

    [摘要]CMDB似乎是运维中永恒的老话题,方法论很多,落地却发现理想与现实间存在巨大差距.本文试图从各类复杂的解决方案背后寻找决定性的深层逻辑,将围绕CMDB价值定位和数据治理两个核心问题,揭示主数据 ...

  • 数据中心非业务网络的规划与实践 | 最佳实践

    [摘要]在数据中心的网络设计中,和业务相关的网络设计已非常成熟,而没有和直接业务相关的网络设计却未得到足够重视.当收到某项不和业务直接相关的网建设需求时,通常仅根据该需求建设独立网络,或在业务网内规划 ...

  • 数据治理的定义,挑战和最佳实践

    作者丨BARC 全文共3358个字,建议阅读需15分钟 这篇文章出自外文网站BARC,一个搞数据分析(BI)的公司 原文地址:https://bi-survey.com/data-governance ...

  • 干货:某保险企业数据备份系统的规划设计 | 最佳实践

    [导读]本文从保险企业数据备份系统建设的实际需求出发,充分利用重复数据删除等数据备份技术,来优化传统备份架构,从而完成备份系统建设方案的规划设计,对同行有一定的借鉴和参考价值.[作者]陈萍春,现就职于 ...

  • 2019,十个最佳城市更新实践案例的创新启示

    年初立了很多旗,时近岁末发现只有"走十座城市,看一百个案例"这个小目标将将实现.当然这已经成了我的工作,每次发现的不仅是惊喜,还有接下来的满满收获.今年的城市更新大会移师广佛,时间 ...

  • 7种人力资源最佳实践

    什么是人力资源最佳实践? 最佳实践是一套通用的人力资源管理流程和行动.在人力资源管理研究中,有两种关于如何管理人员的思想流派:第一个是最合适的,第二个是最佳实践. 最合适的观点指出,为了增加价值,人力 ...

  • 培训的定义、作用和最佳实践

    一.什么是人力资源开发? 人力资源开发一词最早是在1969年提出的,指的是劳动力的培训,教育和发展.它旨在弥合学校教育和工作场所要求之间的差距. 在早期,HRD会进行严格的动手培训,重点是掌握硬技能. ...