从数据仓库到数据湖

文章目录

  • 1、数据仓库是什么
  • 2、数据建模
    • 雪花模型
    • 星型模型
    • 全量数据、增量数据
  • 3、传统数据仓库及代表产品
  • 4、大数据架构下的数据仓库
    • lamda架构
    • kappa架构
  • 5、数据湖是什么？
  • 6、数据湖、数据仓库有何区别
  • 7、数据湖应用场景有哪些
  • 8、参考材料
    • 从数据仓库到数据湖——浅谈数据架构演进
    • martin-flower-about-Datalake
    • 数据仓库的架构与设计
    • etl-开发过程介绍

数据库–>数据仓库–>数据湖的架构演变，反映的是数据需求变更
了解最近技术发展动态，记录一下相关知识点，跟上技术发展的步伐。

  • 上半年参加系统分析师考试，论文部分有个论题 是关于AIOPS的。我在想实际工作中，我们连DEVOPS流程还没做好呢，AIOPS已经在一些大公司实施了。
  • 刚刚过去的周六，参加系统架构设计师考试，论文部分又出现了数据湖的应用实践，数据湖与数据仓库的差异性有哪些？新的概念不断的冒出，基础知识，历史渊源做一个整理记录。

1、数据仓库是什么

“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.”
—W. H. Inmon

数据仓库和数据库的区别就是OLAP和OLTP的区别。
数据库支持是OLTP，数据仓库支持的是OLAP

数据仓库一般基于数据库实现，数据仓库可以是基于关系数据库实现的称为ROLAP，数据仓库也可以是基于多维数据结构实现的为MOLAP

2、数据建模

数据仓库最为核心的内容分类两部分：

  • 基于关系数据库的多维建模（RDBMS-based dimensional modeling）
    建模方法论-结合RDBMS的范式理论，建模过程中涉及的几个概念：

雪花模型

星型模型

全量数据、增量数据

  • 解决数据存储的拉链设计模式
  • 基于数据立方体的OLAP查询（cube-based OLAP）

3、传统数据仓库及代表产品

4、大数据架构下的数据仓库

lamda架构

kappa架构

5、数据湖是什么？

6、数据湖、数据仓库有何区别

7、数据湖应用场景有哪些

8、参考材料

从数据仓库到数据湖——浅谈数据架构演进

martin-flower-about-Datalake

数据仓库的架构与设计

etl-开发过程介绍

赞 (0)

相关推荐