数据治理
一、背景概述
1.数据治理
由于切入点和侧重点，业内给予了不同的见解。
广泛认可标准：DMBOK、COBIT 5、DGI、和IBM数据治理委员会的定义。
- 明确数据治理的目标
- 理解数据治理的职能
- 把握数据治理的核心
- 数据治理遵循过程和规范
数据治理的本质：
数据治理不是一门技术，而是逻辑性很强的理论型学科。
1.1大数据治理
Sunil Soares
(1).大数据治理的工作就是制定策略
(2).大数据必须被商业化
从四个方面理解含义
(1).领域
(2).角色
(3).各角色如何参与
(4).大数据治理最终目标：决策
1.2 大数据治理框架
大数据治理范围
大数据质量：大数据质量分析、问题追踪和合规性监控。
大数据生命周期：数据的采集、存储、整合、呈现和展示、分析和应用、归档与销毁的流程。
大数据架构：大数据基础资源层、大数据管理与分析层、大数据应用与服务层。
大数据治理指标 （如下报表）
| 大数据架构（数据存储） | 安全 | 质量/标准 | 数据服务 | |||
|---|---|---|---|---|---|---|
| 清洗特征、画像 | 分析决策 | 洞察预测 | ||||
| 数据部门 | ||||||
| 业务部门 | ||||||
| 数据部门和业务部门联合 |
大数据架构与设计：
原则（但凡原则就有例外）
1.3 大数据架构
1.31 系统架构
分层原则（表现、数据、业务）
模块化原则
设计模式和框架的应用
1.32 数据架构
数据模型 （数据架构核心框架模型）
数据的价值链分析 （业务流程及组件相一致的价值分析）
数据交付与实现架构 （数据库架构、数仓、文档和内容架构，以及元数据架构）
1.33 大数据架构
数据处理中的元数据、主数据、数据仓库、数据接口技术。
数据采集、存储、分析和应用功能过程的虚拟化技术，分布式文件，非关系型数据库，数据资源管理技术
面向数据挖掘、预测、决策的大数据分析和可视化技术等。
1.34大数据架构参考模型
基础设施：商用服务器、可结合云计算虚拟化（比如私有云openstack）
非关系数据库nosql:类表结构数据库、 文档数据库、图数据库和键-值存储。
资源管理：一是虚拟化。二是基于Yarn或Mesos的资源管理层。
2.大数据管理与分析层
包含：元数据、主数据、数据仓库、大数据分析等。
2.1 元数据
关于数据的组织、数据域及其关系的信息。（数据的数据，类元注解这类的解释）
重点：元数据的管理。
元数据标准：行业标准和国际标准
行业标准：OMG标准、W3C标准，空间地理标准，非结构化数据的元数据标准，面向领域的元数据标准。
国际元数据标准：ISO/IEC11179
2.2 数据仓库
2.21 定义：
面向主题的、集成的、随时间变化的、相对稳定的（不可更新是历史数据的快照）、支持决策制定过程的数据集合。
2.22 主要功能：
主要有数据采集、数据存储与管理、以及结构化数据、非结构化数据以及实时数据管理等功能。
问：传统数据库有数据管理么？
答：有的，传统数仓管理中，DMBS是主流、大数据体系中，基于分布式文件的存储（hdfs或其他的如淘宝、腾讯等自研的）是主流
元数据机制主要支持以下几类功能。
（1）描述数据在哪个数仓中。
（2）定义入仓和出仓的数据。
（3）记录业务事件发生而抽取的时间安排。
（4）记录并检测系统数据一致性的要求和执行情况。
2.23 主数据
Mater Data指的是各个系统间要共享的数据。比如将人员组织关系数据标准化，统一管理。
构建在ETL之上、因此很多主数据管理平台包含（数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能）。
2.24 大数据分析
智能决策支持系统DSS
2.3 大数据应用与服务层
传统接口：JDBC、ODBC、WEB接口
DT时代：开放平台接口。https://www.datapipeline.com/
3.大数据架构的实现
基于hadoop的基础架构
ETL数据：低质量数据、无关数据。
Elect抽取数据-->从数据库中抽取
了解数据结构、字段含义（对文档、定需求）-->数据质量分析报告。
（1）抽取模式（数据平台通过一定的工具实现抽取，系统变更后导致失败，源系统不对数据质量负责，源系统的性能降低问题）（2）供数模式（源系统抽取）
！！！！！数据平台的项目不能失败
实时数据的抽取：
定时小批量的面向数据采集
实时业务的数据发送：轮询或者触发方式。
Transfer转换数据-->数据转换
简单映射、数据转换、计算补齐、规范化。
Load-->数据加载
小结：
数据采集一定要做
数据平台一定要有