查看原文
其他

漫画|数据仓库、数据中台、数据湖,终于搞懂了

信创咨询 2022-07-03



01

 数据仓库


数据仓库由数据仓库之父比尔·恩门于1990年提出,英文名称为Data Warehouse,可简写为DW或DWH。


数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建,为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。


主要特点如下:


■ 面向主题,指数据仓库内的信息是按主题进行组织的,而不是像业务系统那样按照功能组织。


■ 集成,指数据仓库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工、整理和汇总的过程,因此数据仓库中的信息是关于整个企业的一致的全局信息。


■ 数据是基于历史的,指数据仓库内的信息并不只是反映企业当前的状态,而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。


👉 MOLAP,数据以多维方式存储以减少存储空间并提高查询效率,代表厂商为微软;


👉 ROLAP,数据以关系数据库方式存储,代表厂商为SAP BO。


■ 数据实时性问题:由于数据仓库是基于历史数据的,无法满足现代企业管理需求,原来数据仓库基于历史数据设计主要是为了提高查询效率,但是现代的硬件技术与分布式计算早已提供了更好的解决方法。


■ 数据共享问题:数据仓库以主题方式组织数据,比如财务数据、销售数据、采购数据,就使得在解决数据孤岛的问题上又形成了一棵棵“数据烟囱”,各部门在使用数据时,仍然会面临数据不一致问题,且数据仓库与业务之间高度耦合,也使得数据仓库维护工作量很大,修改起来工作量巨大,难以跟上管理变革。


■ 数据分析对业务的支撑不足:由于数据分析是基于历史数据的分析,而业务是实时的,所以两者之间存在一定的时间差,导致数据分析只能起到对业务的“支撑”作用,而无法起到对业务的“驱动”作用。


02

 数据中台


数据中台主要特点如下:


■ 数据是“打平”的,而非主题式,以利于企业从全局角度对数据进行分析。


 数据是实时的,实时不是简单指数据只有最新数据,而是不仅仅有历史数据,也有当前实时数据,当数据发生变化时,如果对历史数据产生影响,历史数据的影响也要能实时反应出来。


■ 数据是可平滑扩充的,利用分布式存储与分布式计算技术,当数据量扩大或者分析业务扩充时,能够在不影响已有数据的情况下,快速平滑扩充。


■ 数据的变化与使用是可追溯的,支持血缘追溯功能,当数据发生错误时,可快速定位错误的来源,并且对数据的影响范围与用户清晰,化被动为主动。


■ 数据是以业务语言表示的,业务人员可直接使用:不同于数据仓库时代数据都是以表和字段等技术语言来表示,数据中台的数据要支撑管理模型,对外以业务语言来表示,能够为业务人员直接使用。


■ 数据与业务松耦合,当数据发生变化时,不会对业务分析造成困扰,同样当业务需求发生变化时,也不会直接影响到数据中台的数据组织方式。


注意:在数据中台阶段,因习惯性,数据仓库的名称仍然被沿用,此处数据仓库指的是数据中台内存储数据的数据库及数据(包括关系型数据库或分布式数据)。


03

 数据湖


数据湖的概念最初是由大数据厂商提出的,是一种数据存储的理念。


特点如下: 


■ 数据是以原始格式存储,不同于数据中台的结构化存储方式,数据湖以自然格式存储数据。


 数据不需要提前进行定义,在准备使用数据时,再定义即可,提高了最高的灵活性与可扩展性。


目前Hadoop是最常用的部署数据湖的技术,所以很多人会误解觉得数据湖就是Hadoop集群,其实数据湖是一个概念,Hadoop是实现这个概念的技术。同样很多厂商跟风宣称支持数据湖,其实只是支持Hadoop而已。


数据湖是一个新的概念,也是一个非常好的理念,但是从一个理念变成一个可以落地的系统时,就面临着许多问题


■ 数据的存储成本:数据湖把所有数据都存储下来,需要一个前提,就是存储成本很低,在当今数据爆炸的时代,把所有原始数据,不区分价值大小,都存储下来,这在经济上能否被企业接受,存在疑问。


 数据的安全:数据湖中存储着所有的明细数据、日志数据,这些数据的安全怎么保证?怎样划分权限?特别是以非结构化形式存储,权限如何划定?比如一个视频,员工A只能看第一分钟的左半屏的视频,员工B只能看第五分钟的上半屏的视频,当前权限无法支撑。


■ 数据治理、数据质量问题:数据使用时再对数据进行定义,谁来定义?数据谁来治理,谁来进行数据质量保证?数据发生错误怎样开速定位?


04

 对比与区别


三种概念的直接对比与建议:



比如企业A有两个客户:“明星公司”、“天天公司”,2019年“明星公司”收购“天天公司”,变成一家公司,新公司名称仍为“群星公司”,现在A企业要对所有客户进行收入分析与客户ABC分析。原始数据如下:



1)如果用数据仓库方式实现,设计如下:


参照表:(数据处理过程表,不面向最终使用者)

在数据抽取时,会对数据进行标准化处理,结果如下:


① 如果是在2019年前进行的数据仓库建设,事实表如下:

2018年的数据作为“历史数据”,不会被后来发生的事情影响,那么当进行客户增长性分析、客户利润分析及ABC分析时,会得到错误的结果。


② 如果是在2019年后进行的数据仓库建设,事实表如下:


作为历史的“天天公司”在业务人员面前“消失”,但是当进行地区分析时,又会得到错误的结果。


2)如果用数据中台方式实现,设计如下:


参照表(对业务人员开放):


数据在进行抽取及清洗时,不进行标准化处理,而是把历史数据与变化信息均存储下来,并形成一个客户变更的模型,在变更模型内,业务表与参照表自动建立关联关系,当业务人员查询时,会根据需要自动形成如下结果:

业务人员可以根据分析需求使用数据,保证了数据的正确性。


3)如果用数据湖的方式实现


数据将采用与原业务系统一致的方式存储,但是在数据使用时,需要对数据进行定义。


基于目前的成熟度与企业未来发展与扩充考虑,我们建议企业采用混搭结构,数据统一以原始格式存储于数据湖内(直接用Hadoop即可以实现),确认有用的数据从数据湖内转为结构化存储,进入数据中台使用。


来源:数钥分析云


温馨提示

如果你喜欢本文,请分享到朋友圈,想要获得更多相关资料,请关注“信创工程咨询”。我们的推送时间是18:00或24:00,一定不要忘了给“信创工程咨询”设星标哦!获取投稿入群方式, 请在公众号对话框回复“投稿”或“入群”获取!


相关阅读



六大国产CPU | 全面梳理分析

工业软件:研究框架 (130页 | 附下载方式)

ARM架构要逆天?

碾压 Intel、AMD:基于 Arm 的 CPU 荣登超级计算机 500 强榜首

为什么说ARM可能是国产计算架构的最优选择

政务云转型进入黄金年代

速来围观!《中国长城网信产业生态图谱》隆重发布!

确认!英特尔已“暂停”向浪潮供货!预计两周内恢复

乘风破浪的ARM计算产业

中国软件信创“1+7”产品化工作取得重大进展

硬核 | 公安部五亿采购国产服务器等设备大单被废标!

农行率先采购2000台国产服务器 | 金融业“新基建”悄然而至

中国新基建459家细分领域龙头名单

《新基建产品手册》最新出炉 | 60页可下载

看懂云计算、虚拟化和容器,这一篇就够啦!

【漫画解读】数据治理:元数据是个啥,它有啥用?

“新基建”政策白皮书(附下载方式)

安徽发布第一批【896项】新基建技术产品服务目录(附下载)

“新基建”中的大数据中心,该是什么样?| 弯道超车的“新基建”

上海版“新基建”35条重磅发布 | 首批重大项目投资2700亿

Win7停服,引发国产操作系统“蝴蝶效应”

中国移动2020年度13.8万台服务器、80亿元采购大单意味着什么

“新基建”必须走自主可信创新之路

国家发改委将出台“新基建”政策 | 实施全国一体化大数据中心建设

重磅发布 | 等保2.0定级指南GBT 22240-2020(附下载方式)

《2020城市新基建布局与发展白皮书》发布(可下载)

新基建深度报告:新基建浪潮中的七大领域十大龙头分析

新基建时代下,“华为云”战略投入转向政企市场

信息化行业的“两会行情” | 两会期间“新基建”预期升温

地方版新基建加速落地 | 全国16省市新基建政策方案一览

某县级市城市大脑项目建设方案

两会知识点 | “两新一重”指的是什么?




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存