与数据同行

其他

未来十年,数据团队最核心的能力到底是什么?

他们会说业务能力,比如业务管理、客户细分、营销能力、销售能力等等。如果你问公司的数据团队:“你们最核心的能力是什么?”
2023年10月28日
其他

从ODS到ADS,详解数仓分层!

DWD、DWS、ADS,但建议优先考虑使用汇总度高的数据。ODS->DWD->DWS>ADSODS->DWD->ADS一文搞懂业务架构、应用架构、技术架构、数据架构(4A架构)71页PPT
2023年7月17日
其他

一文搞懂业务架构、应用架构、技术架构、数据架构(4A架构)

引言思考:如果不做架构规划,会带来什么问题?系统烟囱式建设,系统边界模糊扯皮现象频发,系统重复建设,标准不统一,系统之间无法集成,阻碍创新TOGAF的架构模型:·为什么干——战略目标、业务动机·
2023年7月5日
其他

为了搞懂ERP,我连问 ChatGPT 30个问题,通透!

我对ERP有很多的疑问,这次向ChatGPT请教,连问30个问题,瞬间觉得通透了很多,以下是我的问题和ChatGPT的回复,分为概念篇、架构篇和生态篇三部分,希望能带给你新的启示。一、概念篇1、ERP是什么?请通俗易懂的解释ERP(Enterprise
2023年6月5日
其他

李彦宏:大模型即将改变世界

傅一平评语:说得挺好的,通俗易懂,我觉得通用大模型最终1-2家独大,对于大多数行业和企业来讲,最终的赛道不是什么大模型本身,而是加载了领域语料的领域大模型之争,领域大模型的成功依赖要素有2个:业务场景和语料数据,语料数据考验着企业的数字化水平和数据治理水平,这一次,大模型真的拯救了AI产业,其对于TO
2023年5月27日
其他

信息化和数字化的四大本质区别 | 史凯

信息化和数字化的四大本质区别数字化的前身是信息化,但是数字化和信息化又有本质的区别,如果不能理解数字化和信息化的关系,则无法掌握正确的数字化转型的实施方法。《精益数据方法论》总结了信息化和数字化的四大本质区别。如图1-9所示,数字化和信息化有4大区别,分别是建设内容,协同方式,建设方式和建设目标的区别。图1-9
2023年5月6日
其他

孟晚舟:战略驱动是根本、数据治理是基础、数据智能是方向,华为的这三个数字化洞见靠谱吗?

2023年4月19日,华为第20届全球分析师大会19日在深圳开幕。本届大会以“跃升数字生产力,加速迈向智能世界”为主题,与全球行业与产业分析师、财经分析师、意见领袖及媒体等,共同探讨前沿趋势、产业发展策略、行业数字化方向。华为副董事长、轮值董事长、CFO孟晚舟在大会上发表了“初心如磐,奋楫笃行,共赢数字化未来”的主题演讲。她提到:“在近10年的持续变革中,研发、制造、销售、交付、财经等领域,都通过数字化转型得到了极大的能力提升。在我们看来,对数字化转型而言:战略驱动是根本、数据治理是基础、数据智能是方向。”“战略驱动是根本:数字化本质上是战略选择和战略规划成功的数字化转型,都是由战略驱动,而非技术驱动。数字化转型的关键,并不仅仅在于数字化,更在于变革意识。数字化转型,要对准战略方向,支撑战略达成,实现既定的商业目标,这是数字化转型的起点。在数字化转型的过程中,引入新技术、新装备是必不可少的,但这只是实现手段。”“数据治理是基础:只有通过对数据的科学治理,数据在企业内部的流动才具有意义,不同维度的数据汇聚在一起,才能创造新的价值。首先,数据有源且同频华为煤矿军团与国家能源集团联合伙伴,开发了矿鸿——面向矿山设备的新一代工业物联网操作系统,让所有设备都讲“普通话”。截至2022年底,矿鸿已经部署超过10个煤矿,实现了3300多套设备的数字化管理和运营。其次,数据集成与匹配通过业务对象、规则、过程的数字化,让作业转换为数据。以华为付款核算业务为例,通过数字化变革,IT系统在单据环节,能够自动集成与全检识别,多维数据能够实现分钟级的自动匹配,极大地提高了付款作业的效率。最后,分享下基于数据湖、数据仓技术的数据汇聚与共享目前华为的财务和业务数据都已基本入湖,使得业务与财务能够实时共享同一套数据,并基于同一套数据,展开衍生应用的设计与开发。”“数据智能是方向:数据正在成为生产力。在华为近10年的数字转型过程中,作业数字化、数字平台化、平台智能化、智能实战化,正在实现“小问题”自动决策、自动执行,“大问题”推送分析、辅助决策。作业数字化,数字平台化,使得数据清洁,透明,聚合,这是转型的基础;平台智能化,智能实战化,使得数据随需,易懂,有用,是数字转型的深化。”这三个数字化洞见挺有道理,但华为关于数字化的另一个洞见其实更令我印象深刻,即“任何不涉及流程重构的数字化转型都是装样子”,这是华为董事、质量与流程IT总裁陶景文在2021全球创见者大会上提出来的洞见,如果较真一下,就会问,这两者是什么关系?可以这么解释,战略驱动、数据治理和数据智能都是手段,最终的结果都体现在业务的流程重构上,因此说得都对。但我还有疑问,数据治理是基础,那技术创新难道不是吗?众所周知,数字化转型要求企业不断采用新的数字技术,如大数据、人工智能、云计算、物联网等,以提高生产效率、降低成本、优化产品和服务质量。因此,科技创新一定也是基础,既然都是基础,那么华为为什么要特别强调数据治理呢?也许是因为华为认为在现阶段,数据治理对华为的数字化转型作用更大,具体可以去看《华为数字化转型之道》这本书,或者因为孟女士是华为的数据Owner,需要对数据做进一步的强调,更有可能是孟女士还是华为的CFO,其对数据治理对于财经领域的巨大提升作用印象深刻,这可以从演讲中她给出的例子一探端倪:“以华为付款核算业务为例,通过数字化变革,IT系统在单据环节,能够自动集成与全检识别,多维数据能够实现分钟级的自动匹配,极大地提高了付款作业的效率”。智慧报账即通过报账数据的结构化和财务核算规则的数字化,实现报账数据的自动录入和智能审核,从而大幅提升报账的效率。由于财务的核算体系非常规范,因此只要数据治理的好,不仅报账更加准确,而且大幅节省人力。如果你的企业需要数字化转型,可以优先考虑财务领域,当然前提是财务部愿意来帮你梳理核算规则,即业务规则的数字化。然后孟晚舟又提了数据治理在业财一体化中的价值:“目前华为的财务和业务数据都已基本入湖,使得业务与财务能够实时共享同一套数据,并基于同一套数据,展开衍生应用的设计与开发。”
2023年5月4日
其他

阿里云数据中台数据模型-系列白皮书

傅一平评语:仔细看,有方法,有案例,能学到真功夫!正文开始免责声明:本公众号所发布的文章或为本公众号原创,或者是在网络搜索到的优秀文章进行的编辑整理,文章版权归原作者所有,仅供读者朋友们学习、参考。对于分享的非原创文章,有些因为无法找到真正来源,如果标错来源或者对于文章中所使用的图片、连接等所包含但不限于软件、资料等,如有侵权,请直接联系后台,说明具体的文章,后台会尽快删除。给您带来的不便,深表歉意。阿里宣布史上最大调整:加强敏捷,做薄中台,“大中台”
2023年4月27日
其他

71页PPT | 业务架构应用架构数据架构技术架构设计方案

对很多人来说,哪怕是对很多IT业内的老人来说,企业架构都是一个十分陌生的名词。“架构”是对一类存在共性的问题解决方案的抽象,这个词我们都很熟,搞IT的同学,经常聊着聊着,就开始聊到这个架构那个架构。企业架构很重要,那我们很自然就要问:什么是企业架构呢?软件架构我们都熟悉,那么,现在你要做的只有一件事:把由一个个活生生的人和部门所构成的企业,想象成一套超大型的软件。那么,这套超大型软件的“软件架构”,就叫企业架构。企业架构在信息化建设、数字化转型扮演了重要角色,而且国内在这一块上还有短板要补。但是,企业架构之所以讨论门槛高,是因为我们很多人都从没听过“企业架构”这个词,没有概念。为什么需要企业架构?答案和为什么开发软件需要软件架构是一样的。企业架构也好,软件架构也罢,“架构”这种东西并不是从来就有的,在最开始的洪荒年代,人们怎样开发软件?都是一边做一边想,正所谓草鞋没样,边打边像。这种充满了手工小作坊气息的开发方法,注定不能适应现代对软件工程化工业化的要求。以下出自国网,对企业架构进行了概述,介绍了企业架构元模型,重点阐述了企业架构视图,包括业务架构、应用架构、数据架构及技术架构设计方案,并对企业架构管控进行规划,可供企业架构规划建设时参考借鉴。免责声明:本公众号所载文章为本公众号原创或根据网络搜索下载编辑整理,文章版权归原作者所有,仅供读者学习、参考,禁止用于商业用途。因转载众多,无法找到真正来源,如标错来源,或对于文中所使用的图片、文字、链接中所包含的软件/资料等,如有侵权,请跟我们联系删除,谢谢!阿里宣布史上最大调整:加强敏捷,做薄中台,“大中台”
2023年4月25日
其他

为中台正名 | 数字化转型真谛是连接和开放,没中台和API还真不行

傅一平评语:我们的大脑有两种思维模式,系统一处理熟悉的事务,快速靠直觉。系统二处理陌生的事务,较慢更仰赖逻辑。我们处理新的事务的时候,一般只能靠系统二,依赖逻辑去做,否则太容易出错,这个时候速度就比较慢。那么怎么才能把新的事务做的快一点呢?
2023年4月16日
其他

把业务搞搞懂,比什么都重要

傅一平评语:刘润老师的很多书都看了,特点就是能把业务本质通俗易懂的讲出来,记得有个词叫商业模式,以前觉得很深奥,经他一解释才恍然大悟,这叫懂业务。从我去年开始负责管信系统建设开始,对我最大的挑战就是把业务搞懂,ERP、供应链、财务管理、项目规划,工程建设等各类业务流程和概念都快把自己绕晕了,有时会觉得脑子跟不上。但我清楚的知道,不理解业务,我就无法真正的进入这个领域,无法做很好的决策,更别提变革了,尸位素餐而已。现在数字化转型如火如荼,我们更需要回归初心,把自家的业务先搞清楚,才能知道路应该往哪里走,数据和技术才有用武之地。正文开始关于中国经济,我特别关心一个话题:业务的数字化升级。2月27日,中共中央、国务院印发了《数字中国建设整体布局规划》,提出要做强做优做大数字经济,推动数字技术和实体经济深度融合,在工业等重点领域,加快数字技术创新应用。《规划》提出,到2025年,要基本形成横向打通、纵向贯通、协调有力的一体化推进格局,数字中国建设要取得重要进展。到2035年,数字化发展水平要进入世界前列,数字中国建设要取得重大成就。数字中国建设体系化布局要更加科学完备,经济、政治、文化、社会、生态文明建设各领域数字化发展要更加协调充分,来有力支撑全面建设社会主义现代化国家。在最近大家热议的两会话题中,两会代表们也纷纷建言,再一次把“数字中国”这个词,带回到了我们的视野之中。而在这个沉甸甸的词背后,不是一串又一串的代码,不是一行又一行的数字,正是一家又一家的企业,是一摊又一摊的业务。我也发现,有不少企业,在如何实现业务数字化的问题上,有着自己独到的思考。有人说,要加强宣传,让更多人理解、加入业务数字化;有人说,要有一套好用的工具,让更多人能够实现更轻松的业务数字化;也有人说,要有一套先进的系统,让更多人能实现更强大的数字化。宣传、工具、系统。都很重要。但,这些真的就是我们想要的,真正的业务数字化吗?前段时间,我也和钉钉的同学聊到了这个问题。钉钉的同学给我的回答是:业务数字化的核心,是理解业务,是理解身在千行百业业务一线的,具体的,人。哦?有意思。为什么会有这样的思考。能展开说说吗?接着,我就听到了几个故事。这些实践故事,很有价值。也分享给你,希望对你有启发。晶澳:业务,不是来迁就系统的数字化这个话题,我们听了两三年,也聊了两三年。很多企业都开始意识到数字化的重要性,也拥有了自己的数字化系统。可是,为什么还是很难实现数字化的成功转型?答案是,很多时候,系统不仅没能赋能业务,反而成了业务的累赘。什么意思?我举个例子,你就明白了。晶澳,是一家光伏发电解决方案平台企业,产业链覆盖硅片、电池、组件及光伏电站。在全球拥有12个生产基地,在海外拥有13个销售公司。2020年3月,晶澳在浙江义乌投资了一个102亿的光伏智能制造基地,并于同年10月底投产。但投产之初,这座智能工厂就受到了巨大的产能挑战。首先,是生产方面。工厂的产线繁多,工序复杂。在整条生产链路中,光是组件二厂的生产人员就有上千人,一个车间有焊接、装框、清洗、测试、包装等等14条产线,操作点更是有几百个。一个岗位上的设备、产品出现问题,又没被及时发现,就会自动流转到下一个产线。下一个产线,又会继续在有问题的产品上做加工,直到所有工序完成,进入了质检环节,才会发现产品质量问题。这就意味着巨大的浪费,和超低的效率。那么,有没有什么办法,能及时发现这些问题呢?传统的方式是,登录特定系统,查看异常。可是,制造工厂,通常都会有很多套系统。每套系统又有自己的独立入口。需要某一类的数据,就要用电脑登入专门的系统查询。而且,大多数时候,这套系统只面向管理人员。再加上,一旦出现产线故障,还需要协同大量部门。比如工艺、设备、质量、动力等等。系统,没能跟上业务。相反,人还要追着系统跑。这就带来了巨大的协同问题。出了问题,发现不了,只能低效返修。发现问题,也只能靠喊。这对产量目标的快速实现提出了挑战。有一次,基地的夜班产线出现了材料问题,导致生产、运营、品质、工艺等等多个部门的停产。大家光是沟通、确认,就花了四个多小时,产线就这么一直停着。四小时的停产,对晶澳来说,就是阻止了500块组件的生产。怎么办?现在,晶澳义乌生产基地在钉钉群打通了自主研发的数字化生产管理系统:晶豹。在钉钉的“晶豹”系统上,晶澳的电池和组件业务的所有生产线都实现了数字化,形成了可视化地图。焊机、叠焊、层压、装框……每一条生产线上的每一道工序,都被标得一清二楚。任何产线异常,都会实时反映在钉钉上。相关的责任人会在钉钉上收到任务通知,超过3小时的产线异常会在业务群中推送并置顶提醒,产线管理员也可以在钉钉上打开相应故障警报,一键创建故障处理群,自动关联故障问题,并拉入相关问题的产线员工协同处理。蓝灯表示故障影响当前岗位,黄灯表示故障影响当前产线,橙灯表示故障影响所有产线的相同岗位,红灯表示故障影响所有产线。有了这种和钉钉机器人的深度集成后,晶澳就从组件二厂的4条产线,开始试点。慢慢地,推广到组件二厂的所有产线。一个月时间,就接收到了将近5000个故障工单。在过去,这些故障工单,都是影响产能效率的生产黑匣子。现在,各种消息、故障通知都能通过钉钉机器人,精准地找到特定的人。大家不需要反复解释在什么地方、是什么情况。只需要拍张照上传,这些曾经困扰大家的沟通时间、过程就完全省下来了。晶澳义乌生产基地数字信息部负责人说:“保守估计,每条产线产能提升10%。”以钉钉为底座,晶澳义乌生产基地把发现问题、解决问题的过程数字化,并深度集成各类生产系统,让每天的产能情况和卡点原因真实暴露出来,打破生产的黑匣子。更重要的是,这不是一套需要学习或者培训的系统,而是它符合晶澳的业务需求,所以大家很快就能用上。你发现了吗?这其实是钉钉对“真”数字化的思考:让系统来配合业务,而不是让业务来迁就系统。三菱:千行百业,都是独一无二的。让系统来配合业务,而不是让业务来迁就系统。说得真好。那既然如此,我们有没有可能实现,让一套足够强大的系统,来解决所有的业务难题呢?答案是,不太可能。中国有千行百业,而每一行每一业的业务,甚至是每一件产品,都是独一无二的。我举一个你每天都在用,但你都不一定留意到的例子,你就明白了。电梯。上海三菱电梯,是电梯品牌Top10中唯一的一个国资企业,累计出货量超100万台。2021年销售10万+台,维保43万+台。电梯这个行业,有两个非常明显的特点,也是痛点:第一是分散,第二是非标。分散,说的是生产线虽然只有1000多人,但是连同制造、销售、安装、维保、服务等等人员在内,加起来得超过3万人。这3万人,平常的沟通,主要还是在线下,或者是靠邮件和电话。这样一来,信息的传递就很不及时。而且下班,就等于下线。联系不到,很多事情就做不了。非标,说的是电梯并不是一个标准品品类。“没有两台电梯是一样的”。每台电梯的设计、安装方式,会因为施工现场的不同而不同。维修的备件更是种类繁多,有几万个零部件。想要高效、准确地为电梯提供维保服务,难度很大。也许有的人会说,那这些维修保养的知识,肯定有储存和沉淀吧,怎么还会难呢?有。但是,储存,主要是依靠办公室的面积。一些电梯的图纸和维保记录,过去都是用纸质的形式保存在资料室的。你想想,如果是在一线城市的分公司,光是房租就是一笔不得了的支出,更何况这些资料还很不方便查询。而沉淀,主要是依靠老师傅的大脑。维保人员大多数是年轻人,经验水平不一。有的到了维修现场才发现电梯型号没见过、故障类型没见过,不知道该怎么修,也不知道要用哪些配件。这些疑难杂症,只能是请教老师傅,因为“方子”都记在了老师傅的脑子里。更重要的是,这些维保人员还散落在全国各地,很难形成传统的师傅带徒弟的经验传承模式。当老师傅都没有办法的时候,也只好去资料室翻找。一趟下来,一台电梯平均的维修时间,大概需要两个星期。那怎么办?分散,就把大家串联起来。钉钉的协同办公功能,能让大家及时收发消息,随时随地都保持在线。但串联,只是第一步,更重要的是提供电梯的技术支持。非标的问题,怎么解决?三菱就通过打通设备IoT+电梯急修平台+钉钉的方式,解决问题。电梯发生故障时,IoT模块会将故障部件、故障情况等信息自动传入三菱电梯研发的“电梯急修平台”。这个急修平台,会把故障算好,通过一系列的组合判断(包括客户是谁、维保订单是什么、维保人员是谁、哪个维保人员离得最近、他的能力是不是能修这台电梯等等)之后,精准地把订单通过钉钉群发送给维保人员。而维保人员看到的信息,就包括电梯位置、电梯的基本概况、IoT采集过来的关于电梯当前的故障诊断,还有随着工单配好的可能需要的维保配件。更重要的是,到了现场之后,如果还需要支持,维保人员可以在技术支持的钉钉群里,询问钉钉机器人。这个机器人,已经用了一年多,沉淀了三菱电梯过往的各种技术资料、图纸、维保记录等等,并且每周都会迭代更新。所以,三菱通过设备IoT+电梯急修平台+钉钉的解决方案,实现电梯故障以秒级速度反馈到系统,维保人员可以以分钟级速度响应和到场。而原本平均长达两个星期的电梯维修时间,也缩短到平均3天。发现了吗?这也是钉钉对“真”数字化的思考:千行百业的业务,都是独一无二的。就连每一件产品,都是独一无二的。有零有食:一线,永远是最懂业务的人。千行百业的业务,都是不同的。就连每一件产品,都是不同的。既然如此,我们又该怎样来帮助这些截然不同的业务、产品呢?突破口在哪?答案是:人。身在千行百业业务第一线的,比我们更懂业务的,具体的,人。什么意思?这样。我给你讲个故事吧。故事的主人公,是一名程序员,叫:翁自豪。2020年,31岁的他决定离开厦门,回到老家,加入了一家食品企业,有零有食。有零有食,创立于2017年,主营的是冻干水果等等休闲零食,年产值在3亿左右。可是,一个程序员,到食品加工企业去,能做些什么呢?老板说:“你来管管电脑,选选系统吧!”当时,有零有食其实已经有了两个数字化系统,ERP和钉钉。但是,使用率非常低。低到什么程度呢?公司有个小食堂,每天会根据就餐的人数做饭,而统计就餐人数就成了行政人员每天上午最耗时的工作。行政同事就坐在翁自豪的对面,就看见她每天10点开始打电话,一个一个问要不要去食堂吃饭。他觉得很奇怪,公司不是有钉钉吗?行政同事说,没用的,发消息他们都不看,还是要一个个确认,要不然等下过去没饭吃,又怪我。大家还是习惯用电话、单据、Excel,数字化概念几乎没有。这就给业务带来了很大的麻烦。比如,运输。物流部门发货时,从ERP里导出货物在途跟踪Excel表格,发给不同的物流承运商,承运商会把这个表格导入它的系统,完成运输后,将客户签收订单邮寄回来。但问题是,货物的运输状况、仓储物流部人员的跟进记录、承运商的服务质量、运输费用的结算时间,都变得极难控制。再比如,协作。公司有ERP,也采购了CRM,这些系统工具必不可少。但问题是,这需要不断地在群聊和系统之间切换,文件、截图也要来回传输、修改,效率低,而且容易出错。这些,都是不在业务一线的人感受不到的,具体问题。是曾经的翁自豪永远想象不到的。于是,在老板的支持下,翁自豪开始试着用数字化解决这些问题。而他做的第一件事,是先在钉钉上把人事行政相关的功能用起来。比如,开会。发起人确定好日程,发给相关的参会人,能来就点接受,不能来就点拒绝并写明原因。再比如,统计就餐人数。行政在钉钉上发起投票,5分钟完成统计。统一公司上下的认知之后,翁自豪开始梳理公司的各个业务流程。基于多年软件系统开发的经验,他很快就意识到了“宜搭+酷应用”的潜力。酷应用可以通过机器人助手、卡片、吊顶等等方式,将业务流程自动发送到相关的群。相关人员就在群里确认、填报。数据也被自动更新到业务系统。再也不需要在不同的群聊和系统里来回切换了。在销管业务员、物流专员、承运商内勤组成的钉钉群中,运输信息可以以卡片的形式更新并提醒。群内成员单击卡片内容跳转至后台,就可以查看对应承运商运输情况。运输结束之后,回单拍照上传,费用线上确认。物流部门还能根据实际数据,来考核承运商的服务质量。和物流商的业务协同,就在聊天场景里完成了。接下来,有零有食还会让运输司机、客户也覆盖进来。开发这个运输管理系统,翁自豪只花了两周的时间。但是,结果还是很让他开心的。光是从TMS软件的采购和运输上节约下来的成本,一年就可以达到上百万。发现了吗?这还是钉钉对“真”数字化的思考:最懂业务的,永远是身在业务一线的,具体的,人。最后的话现在,让我们回到那个最开始的问题:什么才是真正的业务数字化?答案是,理解业务,理解身在千行百业业务一线的,具体的,人。业务理解不对,系统就会成为业务的累赘。把业务搞搞懂,比什么都重要。钉钉的思考,很有价值。但,我还是有一些好奇。我忍不住追问。这些思考,都是如何得来的?钉钉的同学和我说,润总,前段时间,我们见了一位大客户。出发前,我们还想着,要好好交流心得,分享数字化的体会。没想到见了面以后,对方满口抱怨:你们这些搞互联网的,天天就喜欢整一些大词。什么数字化,什么区块链,我一个字都听不懂。我只知道,谁能帮我把业务理顺了,把流程跑通了,把沟通弄好了,谁就厉害。这段话,给我们留下了很深刻的印象。是啊。真正的数字化,靠互联网式的傲慢,是做不出来的。千行百业的业务错综复杂,造车、挖矿、开店、教培……他们面临的问题各不相同。而我们呢,我们连一杯奶茶都做不出来。我们总觉得是我们在赋能一些企业。其实啊,我们哪有什么赋能的能力。钉钉唯一能做的,是把一个功能强大的底座,把一些灵活低门槛的低代码组件,交到一位最懂业务的人的手上。而最懂业务的人,是企业自己,是有着各行各业实践经验的SaaS厂商、服务商。不是敲着代码的我们。我一下子不知道该说什么。我想,这也许就是最大的“理解”吧。理解业务。也理解每一位身在千行百业业务一线的,具体的,人。祝福钉钉。也祝福每一家走在数字化道路上的企业。数字化基本概念|
2023年4月12日
其他

吴军: “ChatGPT不算新技术革命,带不来什么新机会”,我不太认同!

近日,吴军接受了采访,谈论了他对ChatGPT的五个观点。1、ChatGPT基于一个数学模型,即语言模型,该模型早在1972年就已存在。因此,ChatGPT并非技术革命。2、语言模型的复杂性需要大量计算能力,这是过去难以实现的主要原因。如今,它依靠强大的计算能力取得了进步。3、ChatGPT某种程度上有点像鹦鹉学舌,没什么原创力,未来替代的也是那些搬砖的工作。4、ChatGPT本身带不来什么新机会,但会让算力公司发财,正如加州淘金热那个年代发财的不是那些淘金者,而是做牛仔裤的。5、不要勉强去找所谓的机会,当心那些割韭菜的人。如果我没有亲身体验过ChatGPT
2023年4月10日
其他

吴 军:ChatGPT不算新技术革命,带不来什么新机会

来源:响铃说傅一平评语:吴军从技术原理的角度来说明ChatGPT不是什么划时代的技术革命,因此对于内容创造者没有影响,只影响搬砖的人,但我不太认同。技术的确是朴实无华的,但数据大了,参数多了,额外的智能的确“涌现”,就好比单个蚂蚁和大雁也许没什么智能,但群体的行动体现了很高的“智商”,当然以下的二个观点我是认同的:1、不要勉强去找所谓的机会,该怎么工作就是怎么工作。2,你要识破这些所谓的阴谋家或者想割你韭菜的人的那些把戏。但我还要加个建议,也是能保证的,就是去拥抱和应用这个技术,它最下限的能力就是辅助学习,缩小你跟吴军这类专家的差距,至于其他的,走一步看一步。正文开始从野蛮社会到人工智能,计算机科学家吴军为你讲解ChatGDP的来龙去脉。4月3日晚上,得到直播间邀请到了计算机科学家,自然语言模型专家吴军,就人工智能和ChatGPT等当下热议的话题展开了一次直播。Q1:ChatGPT的出现,为什么会引起恐慌?我知道,最近ChatGPT这事儿在中国很火,很多人在讨论。但很有意思的是,其实这件事在美国,已经没有太多人去谈论这个话题了。其实不光是ChatGPT,往前看十年,当时很多新技术出现的时候,我就发现在中国媒体上讨论的热度要远远高于美国。虽然那个技术其实主要出现在美国,但是中国人老百姓对此更关心。我认为这是一件好事,但也是一件坏事。这个“坏”在于,这些技术实际上是被过度的炒作了,在这个过程中,有很多浑水摸鱼的人从中赚钱。就比如说区块链,当时炒得那么热,但如今这个事已经很少有人讨论了,对吧?这是第一个。第二个就是元宇宙,目前美国只有
2023年4月9日
自由知乎 自由微博
其他

ERP原理 | 业财一体化的几种架构模式

傅一平评语:采用架构模式2。正文开始“业财一体化”是企业信息化领域里老生常谈的话题,本来算是我很熟悉的领域,然而最近我发现随着ERP技术升级换代,业界有厂商推出各种新名词,宣称“业财解耦”是颠覆性的解决方案,甚至还搬出了高深的会计学理论名词,我越来越听不懂。我在半年前的《业财一体化系列论坛心得
2023年4月5日
其他

问了ChatGPT 上百个问题后,我断定ChatGPT可以重塑学习范式!

ChatGPT现在火爆,关于ChatGPT的热点话题有三个,一个是技术,一个是赚钱,一个是聊天,但我对这些暂时都不感兴趣,我只对利用ChatGPT获得知识有兴趣。像我们这种做数据管理的知识工作者,是以吸收知识然后贩卖决策为生的,而知识是决策的基础,虽然知识工作者可以在实践中学,也会去看书,偶偶会向别人请教,但随着知识的增长,获得新知的门槛已经越来越高,达到一定阶段后基本停滞。我们越是以知识的输出为主,越会苦恼于没有新知获得的途径,虽然前有搜索,后有各种知识媒体,还可以去参加培训,但大多效率太低,成本太高,更关键的是,他们无法针对每个人做定制化教学。我对ChatGPT很感兴趣,因此一直不停的试用,ChatGPT作为新一代的知识引擎,虽然还谈不上替代我们,但在辅助学习上已经拥有着无与伦比的能力,甚至会改变我们的学习范式。古人道:三人行可以为师矣,现在应该换个说法:ChatGPT更可以为师矣啊,下面就来谈谈我使用ChatGPT的一些体会,总结为6个方面:1、解惑2、奥卡姆剃刀3、白话文4、生成式学习5、T字型6、善问1、解惑苏格拉底爱智慧,但这个世界像苏格拉底那样爱智求真的人可不在少数,就拿我来说吧,经常碰到一些比较陌生的技术词汇,虽然不搞懂这些技术词汇对实际工作和生活也没啥影响,但我就是希望知道答案,就是要知道为什么。这些问题深埋心底,偶偶会跳出来刺痛一下,相信很多人也也一样吧,比如我前年碰到过一个概念叫“主动元数据”,应该是Gartner创造的吧,我就很纠结到底是什么意思,也找不到合适的人问。ChatGPT来了后,我就问:“元数据和主动元数据有什么区别?举例说明”,然后ChatGPT给出了如下的答案,这种答案的质量是百度、谷歌无法比拟的:“元数据是描述数据的数据,可以用来描述数据的属性、结构、来源、含义、关系等信息。而主动元数据是一种特殊的元数据,指的是在数据生产过程中主动收集和记录的元数据。与之相对的是被动元数据,即在数据使用过程中自动生成的元数据。举例来说,一个文件的文件名、大小、创建时间等就是元数据,它们可以帮助我们了解文件的基本信息。但是如果我们想要对文件进行分类、检索或分析,这些元数据就不够用了。这时候,我们就需要主动元数据,比如文件的内容摘要、关键词、主题等,它们可以帮助我们更深入地理解文件的内容,并根据内容来执行相应的操作或做出相应的决策。”又比如我问:“元数据和标签有什么区别?”,ChatGPT马上就能点出本质区别,会有恍然大悟的感觉:“元数据是描述和提供其他数据信息的数据,它是数据的固有属性。举例来说,假设你有一个音乐文件,它可能有以下元数据:文件名、文件大小、时长、歌手等,这些元数据是音乐文件本身所具有的,不会随着用户的改变而改变。你还可以给这个音乐文件添加一些标签,例如流行、爱情、心碎、好听等等,这些标签是你主观选择的,不同的用户可能会给同一个音乐文件添加不同的标签。”虽然我们经过深思熟虑也许也能想到答案,但太花时间,而我们的时间过于有限,更关键的是,我们只对某个领域熟悉,而ChatGPT却可以覆盖全领域,而与跨领域的知识融合才更可能做出创新。2、奥卡姆剃刀IT行业更新换代很快,各种新概念层出不穷,数据领域也一样。但要在较短的时间内去理解某些概念对于任何一个管理者都是挑战,大家都致力于力通过ppt的形式跟老板讲清楚概念,ppt逐渐成为了决策的媒介,可惜ppt写着写着就变成了诱导、美化、炫耀的工具,老板看到的很多东西,实际是被粉饰过的,老板被过顶传球了,京东刘强东前段时间就在说:“我被PPT骗了”。为了降低信息不对称,除了塑造企业诚信的文化,刘强东也得自己加强学习,可惜现在自学的成本太高,老板身边一般也没什么老师,而ChatGPT这种生成式AI对知识本质的诠释能力很强,答案往往能直达核心,可以让一个外行在极短的时间内对某个知识点有大致的理解,这对老板的决策非常重要,其实最怕的就是简单的东西复杂化,违背奥卡姆剃刀原理。比如云计算的PaaS经常提到“运行环境”的重要性,但什么叫“运行环境”呢?用百度百科查到的答案是这样的:“运行环境(英语:Runtime
2023年4月3日
其他

阿里宣布史上最大调整:加强敏捷,做薄中台,“大中台” 将何去何从?

3月28日,阿里巴巴集团董事会主席兼首席执行官张勇发布全员信《唯有自我变革,才能开创未来》,启动新一轮公司治理变革。根据方案,在阿里巴巴集团之下,将设立阿里云智能、淘宝天猫商业、本地生活、菜鸟、国际数字商业、大文娱等六大业务集团和多家业务公司。此次变化的一个关键动作是,各业务集团分别成立董事会,实行董事会领导下的CEO负责制,阿里巴巴集团则全面实现控股公司管理。对各业务而言,治理架构独立意味着直面市场洗礼,与之对应的是创新激励的可能性,被认为是“阿里巴巴24年来最重要的一次组织变革”。让组织变敏捷,让决策链路变短,让响应变快,是阿里变革的初衷和根本目的。此次调整后,除满足上市公司合规要求外,阿里巴巴集团的中后台职能部门将全面做轻、做薄,集团将全面实行控股公司管理。而阿里多年以来积累的中后台能力,将有序进入到相关业务集团和公司,为前台业务发展继续发挥重要价值。多个业务集团和公司所必需的共享中后台服务,将通过专业服务公司的模式提供。可以看到,阿里“大中台”的命运,张勇用三句话其实就说清楚了。1、除满足上市公司合规要求外,阿里巴巴集团的中后台职能部门将全面做轻、做薄中台做轻、做薄一方面意味着“大中台”本身的去业务化,另一方面也意味着“大中台”很多能力会逐步被更强有力的前台吸收,以更敏捷的方式服务更多元化的发展需要,大中台彻底退出历史舞台。以数据中台为例,做轻就是数据采集可以不物理集中,逻辑集中都可以,做薄就是只做数据入湖,不做任何模型,直接开放给各个事业部使用,这意味着计划经济时代的统一的数据仓库将被抛弃,所见即所得的市场化的数据湖成为主流,数据仓库将只存在于业务单元中。2、阿里多年以来积累的中后台能力,将有序进入到相关业务集团和公司,为前台业务发展继续发挥重要价值“有序进入”说得委婉,阿里多年以来积累的中后台能力后续将面临业务前端的真正挑战,我相信,相关业务集团和公司未来一定会构建自己独立的中后台能力以适应瞬息万变的市场,直到进入下一个循环,事实上,除非原有中后台能力团队的人员能进入各业务单元,否则能力的持续运营都会是个问题。能力的沉淀和编排是每个做中台人的梦想,希望它们真的能如张勇说得那样,为前台业务发展继续发挥重要价值。3、多个业务集团和公司所必需的共享中后台服务,将通过专业服务公司的模式提供中后台职能部门成为独立的专业公司,集团将全面实行控股公司管理,意味原有中台组织享有的各种特权被剥夺,中台也许会进行市场化结算,这对于专业服务公司是巨大的挑战,想想都是,原来规定大家必须要用你的东西,现在权利被剥夺了,肯定要经历一番阵痛期。不过做专业服务公司这个事情早有先兆,去年阿里已经成立了「瓴羊DaaS」公司应该就是试水,当初自己还写了篇文章《阿里新推出「瓴羊DaaS」,有没有前途?》谈了对这类SaaS公司的看法。“2022年6月29日,阿里巴巴旗下沉淀数年的DaaS服务商瓴羊企业数智服务正式揭开神秘面纱。据悉,瓴羊由阿里巴巴数据中台、业务中台、服务系统等多个核心部门融合升级而来,并承担将阿里在消费等领域沉淀的数字化能力转化为智能产品及服务的重任,当前围绕企业经营生产已经打造了五大核心产品矩阵(分析云、营销云、产销云、客服云、开发云)”中台转转10多年,应了那句话,分久必合,合久必分,所有的战略都要为业务服务,在存量经营压倒增量经营的时候,野蛮生长会让道于集约化和共享,这让中台获得了长足的发展,但在市场突变,增量经营压倒存量经营的时候,敏捷创新还是成为了主旋律,这个时候,集约化的中台反倒成了创新的束缚,把中台做薄就是为了适应新的生产力要求,也是历史的必然吧。阿里的“大中台”算是结束了使命,那么其它的中台还好吗?无论如何,中台的概念近几年已经深入人心,每个行业都基于自身的实际做出了选择,作为中台的“始作俑者”既然转向了,那么带来的震荡和反思是肯定的......中台战略数据仓库与数据治理思维导图.xmind(全)6000字长文,终于将数据中台架构体系讲明白了一个具体场景剖析业务中台和数据中台的关系如何才能做好数据中台的API运营?by
2023年3月29日
其他

一张图看懂“数字中国”内涵

年远景目标纲要》中,有一个此前的五年规划当中没有出现过的概念——数字中国,同时,彼时文件详细阐述了数字中国内涵,包含数字经济、数字社会、数字政府以及数字生态等内涵。《规划》提出,到
2023年3月28日
其他

华为ERP详细情况到底是什么样的?【内部资料】

傅一平点评:文章写得还是比较务实,大家对于当前华为的ERP不要过度解读,更不要去做吹捧,对外的路还长着,结合文章谈四点看法:1、传统的ERP产品架构落后,大量单体,数据和应用紧耦合,扩容难度大,新技术集成难度大2、为了适配业务发展,只能做大量外挂,现在的ERP更多时候像是个数据库,整个系统搞得越来越复杂,这个可持续性差3、现阶段华为的ERP主要是对内,未来对外的客户主要是战略合作伙伴、国有大中型企业,但由于各行业业务流程复杂等因素,对外的产品没个5年以上估计出不来,大家不要理想化,路还长着呢4、ERP在国内的瓶颈在于业务理解,需要一些高级咨询顾问,可能要搞个平台生态来汇聚各行业专家,智能化、云化、服务化是下一代ERP的架构正文开始【摘要】华为ERP
2023年3月25日
其他

2023年,62家央企数字化转型路线图

中央企业数字化转型正在有序推进,越来越多的央企公布了企业数字化转型的战略方案或路线图。据《数字国资》最新统计,目前62家央企公开了数字化转型战略。2023年,这些头部央企将如何数字化转型?信息领域6家:中国电信、中国移动、中国联通、中国大唐、中国信科、中国电子;材料领域9家:中钢集团、宝武钢铁、中国稀土、鞍钢集团、中国黄金、中国盐业、中国建材、中国钢研、有研集团;能源领域22家:中国电建、中国电科、国家电网、国家电投、中广核、中核集团、华润集团、中国华能
2023年3月23日
其他

GPT-4发布!ChatGPT大升级!我试用了一下,超出预期!

https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI%E2%80%99s-GPT-4[3]
2023年3月19日
其他

终于有人把“下一代ERP”,说清楚了!

,大批CTO被裁...傅一平:业务流程的数字化到底是什么?查看全部文章点击左下角“阅读原文”查看更多精彩文章,公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶!
2023年3月15日
其他

数字中国顶层设计来了,一图读懂“2522”框架

近日,中共中央、国务院印发了《数字中国建设整体布局规划》(以下简称《规划》),并发出通知,要求各地区各部门结合实际认真贯彻落实。作为影响中国未来发展的重磅文件,《规划》明确了两个重要时间节点:到
2023年3月12日
其他

31省市数字化转型规划(2023)

傅一平傅一平:一文讲透DAMA数据治理基本概念(上)数据治理领域最容易混淆的16组术语概念辨析为什么《DAMA数据管理知识体系》这么晦涩难懂?by
2023年3月10日
其他

数字中国建设迎重磅规划!31省市锚定2023数字化战略

傅一平傅一平:一文讲透DAMA数据治理基本概念(上)数据治理领域最容易混淆的16组术语概念辨析为什么《DAMA数据管理知识体系》这么晦涩难懂?by
2023年3月5日
其他

2023版最新最强大数据面试宝典

傅一平评语:作为大数据面试官会去参加一些招聘,面试的时候能很好回答宝典中那些问题的,并不容易,很多问题不是那么容易临场组织和应答。但在面试的时候,其实我挺不想去问百度、谷歌都能搜到答案的这些问题的,更别说现在有ChatGPT了,这些“术”的东西总是能通过培养获得的,但有些东西不能。应聘者更好的方式是去参加一个大数据实践项目,把一个技术点学透做透说透,通过项目历程来展现自己解决问题的能力,这是面试官想看到的。当然很多人由于没有实践的机会,或者缺少方法,这种投名状的确也代表了诚意,不过由于技术点太碎,最好对于大数据的体系架构也有所了解。正文开始此套面试题来自于各大厂的真实面试题及常问的知识点,如果能理解吃透这些问题,你的大数据能力将会大大提升,进入大厂指日可待!目前已经更新到第4版,广受好评!复习大数据面试题,看这一套就够了!前言此版本面试题相较于之前增加了很多数仓以及算法相关的题,同时新增了数据湖,必备SQL题,Clickhouse,Doris,大数据算法设计等面试题。版本更新如下:版本时间描述V1.02020-12-18创建V1.22021-01-17新增:spark
2023年3月3日
其他

Teradata,不仅是数仓的黄埔军校,更是数据分析服务的天花板!

Teradata最近宣布退出中国,但Teradata大规模从国内撤出其实从2019年就开始了,当时我作为甲方经历了与Teradata分手的整个过程,其撑了3年多已属不易。Teradata早在1997年便进入了中国市场,巅峰期甚至占据中国数仓市场半壁以上,客观上带动了本土数仓技术的启蒙。有数仓老兵说到,现在国内使用Hadoop建立数据仓库的人,也会分层为原子层、汇总层、应用层,这就是Teradata进入中国市场的影响。有人说Teradata
2023年2月21日
其他

从ChatGPT到生成式AI(98页PPT)

ChatGPT研究框架(80页PPT,附下载)人工智能如何才能工程化?推荐
2023年2月19日
其他

ChatGPT研究框架(80页PPT,附下载)

来源:计算机文艺复兴这是一份关于ChatGPT研究的非常好的材料,分享给大家。来源:国泰君安证券研究所、计算机文艺复兴公众号。【文末附PDF下载方式】PDF下载方式:公众号后台回复关键字
2023年2月12日
其他

中台战略

傅一平点评:业务中台,数据中台,技术中台,算法中台,图文并茂,写得挺清晰的!注:侵删数据仓库与数据治理思维导图.xmind(全)6000字长文,终于将数据中台架构体系讲明白了一个具体场景剖析业务中台和数据中台的关系如何才能做好数据中台的API运营?by
2023年2月8日
其他

数字化基本概念| 从“企业信息管理” 到 “数据管理”

傅一平评语:此文中的部分观点值得商榷。IBM、SAP很早前提的企业信息管理(EIM),跟现在互联网公司提的数据管理,包括华为的大数据架构,没有什么本质的不同,诸如阿里的数据中台架构也具有普适性,也适用于传统企业。EIM提到的主数据、数据质量等模块,在互联网数据管理里面不是不体现,而是包括在了纵向的数据资产管理里面了,ODS等分层模块在阿里的数据中台是体现在公共数据中心里了,EIM有的元素,现在的数据管理架构里都有。现在的数据管理架构,无论是华为的,阿里的,还是很多传统企业的,相较于EIM进步的一点,就是所有模块是以数据加工的流程为核心串接起来,直观的体现了数据从产生、加工到应用的过程,逻辑性更强,更加通俗易懂,更加有业务指导意义。至于数据质量、主数据等等,都是辅助域数据流价值实现的,不应占据核心位置,我更认同现在数据中台的架构画法,EIM过于技术化。至于结构化数据还是非结构化数据,大数据还是小数据,在现在数据管理架构里是不需要区分的,因为逻辑是一样的,EIM会去做这种技术层面的区分,是受时代技术所限制的。正文开始最近几年“数据治理”、“数据中台”是个热门词,“数据”在企业内的作用,无论是支持决策行动,还是作为具有价值的企业资产,都需要有一套管理体系。不过,大家仔细琢磨过没有,在数字化企业的环境下,指导人们行动的是“数据”吗?我常说企业数字化的本质是:“一切业务在线,数据驱动业务”,这个表述其实隐含了一个逻辑错误。指导我们行动的不是“数据”,而是“信息”。“数据”是从业务作业IT系统或者其他数字化源头(例如社交媒体、物联网设备)产生的,但是原始数据并不能被直接使用,必须对原始数据进行提取、加工,此过程中会发生“用数据来生成数据”的情况——对业务有指导意义的技术对象是数据被处理后产生的“信息”。基于信息,还能够形成知识、洞察和智慧(数据、信息、知识和智慧,简称DIKW):我认为企业数字化是由两部分组成的,一是“生成数”:一切业务在线,生成记录的事实的数据,二是“用好数”:利用这些数据生成的信息,来指导并优化业务活动。因而数据是驱动这个飞轮。介于这二者之间,就需要“管好数”,来使得这两个齿轮能良好运转。正如我前天在《企业信息技术应用二十年来,什么变了,什么没变》中所写,过去二十年在企业信息技术应用中,对于信息和数据的管理的地位越来越显著。在进入二十一世纪前,企业信息技术应用的重点在于流程和系统,然而,一是由于企业内信息系统经过多年建设,数量越来越多,系统间数据不集成,二是利用数据生成信息时,不同系统以及不同来源的数据不一致,难以整合,三是随着信息技术和互联网发展,云和大数据带来了数据管理技术的革命,因而大约从2005年前后开始,在企业架构里,信息架构的独立地位得以开始凸显。当我们在企业管理和企业级信息技术应用的大背景下说“数据”时,实际上指的是客观世界的数字化抽象按照某种结构化的方式,进行数字化的管理。无论是从机器代码到数据记录到数据库的结构,还是从传统数据文件到广泛应用的关系型数据库(SQL)到互联网时代的分布式大数据(No-SQL)的进化,数据管理的技术在过去几十年里一直在持续发展:将数据提取、处理、加工为信息的过程,推动了“商业智能”、“数据仓库”、“主数据管理”等企业级信息技术应用在二十一世纪初的发展。就我的观察,在2005年至2015年期间,这套管理体系更多地是被称为“企业信息管理”(Enterprise
2023年2月1日
其他

我的2022年个人总结

2022年是变化的一年,我开启了数据治理的新旅程,执着于读书的灵魂三问,把写作当成思考的伴侣,靠着不认命的信念治病,追求着自己的诗和远方。一、工作关于数据要素有两件事很重要,一个是把数据本身做好,这就是数据治理;另一个是基于数据要素去实施数字化转型,我很幸运,能同时参与这两个事情。今年最大的收获,就是从0到1身体力行的完成了几件企业级数据治理的工作,开天辟地,包括:1、建立了跨部门联席会议和常态化沟通协作两大机制:2、发布了《对外数据开放管理办法》;3、重构了数据汇聚和数据开放流程;4、建设了公司第一个主数据管理系统;5、完成了BOMS四域数据资源全量盘点;6、构建了公司第一个数据资源管理平台;7、打造了统一的数据开放门户-数据地图;我一直期望能有机会去管理OLTP系统,今年终于得偿所愿,开始负责公司管理信息系统(人财物等)的建设和运营,做了不少数字化转型工作,包括精准规划、在线设计、数智采购、工程稽核、自动报账、数字员工等等,降低的人天以万计。我尝试着让数据团队与管信团队进行协同,以便发挥双方的优势,前者把数据模型能力封装成服务,后者将其嵌入到规划流程中去,共同支撑公司规划部门的数智化转型,现在看来还是比较成功的。这段经历让我对数字化有了切身的体会,特意写了一篇文章《傅一平:业务流程的数字化到底是什么?》来阐述自己眼中的数字化,同时对数据中台与业务中台的融合充满期待,无论是系统上,还是人员上。二、学习今年自己的学习有四个变化。第一、喜欢做些精读。特别是《学习究竟是什么》、《科学思考者》、《DAMA数据管理知识体系指南(原书第2版)》、《华为数字化转型之道》、《纳瓦尔宝典》、《曾仕强详解道德经》这几本,读了很多遍,也写了不少读书笔记,但仍然意犹未尽。我放慢了读书的节奏,经常会对着书中的某个概念想半天,有时候一个礼拜才翻一页书,然后会有三问:这个概念跟已经掌握的知识有什么联系?如何进行融会贯通?如何学以致用?第二、开始会有些批判。对于熟悉的领域,看到有读不懂的、或者与经验相悖的,我会去考据原始出处或者征询其他专家的意见,然后给出自己的看法,这种看法常以公众号文章的形式出现,比如《怎样画一张人见人爱的数据治理框架图?by
2023年1月16日
其他

OLAP关键技术全面解读

Hadoop开源生态得到蓬勃发展。数据存储在HDFS中,Hive进行数据结构的管理并支持SQL,处理引擎由MapReduce升级为Spark,实时流从Storm升级为Spark
2023年1月13日
其他

怎样画一张人见人爱的数据治理框架图? by 傅一平

今天听某大学的校长讲课,说做学问要严谨,虽然咱们干数据的不是做学问,但很多工作如果不严谨一点,的确也是不行的,比如画一张数据治理体系框架图。我理想中的数据治理体系框架图应该是业务导向、概念清晰、逻辑合理、边界清晰且能与实践很好的映射,但当前业界给出的各种数据治理或数据管理框架图离以上要求还是有些距离。因此干脆自己画了一张,姑且就叫作傅一平的“一体两翼“数据治理体系框架,具体见下图。同时我把自己能找到的其它框架图都列在文后,方便大家借鉴参考。“一体两翼”数据治理体系框架包括三大模块:“一体”:就是中间的数据价值流,体现了数据从源端业务流产生,然后归集进入数据底座,最后再服务数据消费的过程。“左翼”:指数据管理活动(蓝色框),数据管理活动实现数据价值流,达成业务目标。”右翼“:指数据治理活动(黄色框),数据治理活动确保数据能被管理,你可以理解为履行数据领域的政府职能,是对数据管理活动的管理,包括立法职能(定义策略、标准和企业架构)、司法职能(问题管理和升级)和执行职能(保护和服务、管理责任)。下面针对三个模块详细介绍:1、“一体”:数据价值流主要包括三部分内容:源端系统、数据底座和数据消费。源端系统:数据起源于业务流及其承载的系统,这里打破了传统数据管理架构图只局限在OLAP领域的画法,将OLTP也包括进来,因为数据治理一定是打穿所有业务系统和数据系统的。很多数据问题要从源头业务系统去解决(这里示例了BOMS四个领域的业务流),主数据、参考数据等数据管理活动其实就是为了解决业务系统数据一致性的问题提出来的,它们不是数据湖、数据中台的产物。数据底座:包含了数据湖和数据中台,主要负责数据存储和数据加工,实现将数据转化成信息和知识的目标。数据消费:包含了精准营销、精细服务、精益网运、精确管理及对外注智赋能五大部分,当然每个行业各有不同。2、“左翼”:数据管理活动
2023年1月4日
其他

加快构建中国特色数据基础制度体系 促进全体人民共享数字经济发展红利

​加快构建中国特色数据基础制度体系促进全体人民共享数字经济发展红利国家发展和改革委员会
2023年1月1日
其他

国资委:“企业数字化转型”的61个典型案例

数字原生企业和传统企业有个迥异区别,那就是原生企业秉持一种远方的思维、没有历史包袱、敢于突破创新、敢于走自己的道路,更专注于自己的客户,而不是看别人怎么做。但是传统企业尤其是一些国企,近年来我们也接触了不少,其共性之一就是转型先要看别人怎么做,也即别人踩过的坑不能踩,转型别出毛病,别违背相关红线、黄线、蓝线,一点点来,顶层设计一切都是虚空无意义的,上面让干啥要坚决完成任务、见效果就行了,你也别跟我谈架构与规划的事儿,“我都懂”,就告诉我怎么把这个技术项目给做了...在这种形势下,给国企做数字化转型咨询与项目支持的公司与个人自然也就成了命令导向,唯甲方是从,千万别让爸爸生气而且爸爸什么都“懂”,我们得找比他们还“懂”的人,何其难?没有“懂”的人。只能找到不懂装懂或者懂也装不懂的人。这是典型的保守的组织文化与个人思维在数转执行中的集中体现。数字化转型还意味着透明化管理,意味着平权,相关人能接受么?转型首先在于组织和人自身的转型,思维不转、用老一批人做新鲜事?难度何其大。在这种环境下如何创新、如何”转型“,绝不仅仅是技术问题。数字原生文化中用户第一、共同探索、共同创新、生态合作、共同成就的思维与态度首先就要被领悟到并落实到实际中去。转型起心要对。尽管存在各种难题,仍然有不少国企抱着开放的态度敢于革新、勇于探索、勤于实践,让人敬佩、也同样值得研究。我们从国资委发布的《2020年国有企业数字化转型典型案例》中挑选出了61个国有企业数字化转型案例,这些案例的类型包括:产品和服务创新、生产运营智能化、数字化营销服务、数字生态、新一代信息技术、工控安全、两化融合管理体系和综合等8类。现在,我们就来一起看看吧!1国家危险化学品安全生产风险监测预警系统企业:中国石化危化品安全生产风险监测预警系统是由国家应急管理部推进的,是利用信息化手段实现对全国危化品重大危险源的24小时在线监测和实时预警的重要系统。该系统是基于大数据、人工智能等新一代信息技术与安全管理深度融合而研发出的一款预警系统,如法米特物联网安全监控仪作为一款预警系统对于推进危险化学品安全安全管理数字化、网络化、智能化,高效推进质量变革、效率变革、动力变革都具有一定的积极意义。2重大装备润滑安全数字化运维平台企业:国机集团重大装备润滑安全数字化运营平台以实现重大装备安全、环保、智能、高效的润滑目标,基于在线监测预警、离线实验室诊断和现场润滑管理的润滑安全运维体系,应用物联网、云平台、大数据和人工智能等技术,构建润滑安全大数据中心和智能运维平台,建立“云平台+数据资源+评价预警+工业应用”的智能运维模式。
2022年12月26日
其他

身边人阳了一大片,自己没有感染也没发烧,什么情况 ?

我还没阳,但周围都阳了,我肯定不是什么天赋异禀,或者说是天选之子,本文真实的记录了自己的经历,然后分析了自己没阳的原因,就这样在平静中等待.......周三上午10:30我、同事A跟部门老大汇报工作,部门的人陆续阳了,每天比例都在上升。周三下午12:00
2022年12月24日
其他

数据团队分工的挑战、变革与实践 by 傅一平

梅西夺冠啦!!!
2022年12月19日
其他

傅一平:一文讲透DAMA数据治理基本概念(上)

傅一平8000字详解银行业数据治理架构体系搭建查看全部文章点击左下角“阅读原文”查看更多精彩文章,公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶!
2022年12月12日
其他

数据治理领域最容易混淆的16组术语概念辨析

傅一平评语:不搞懂术语,不咬文嚼字,我们实际是很难读懂DAMA相关书籍的,这是我近期的一个感受,为了搞懂术语,追根溯源是一种方法,比如DAMA中文版是翻译过来的,那就要去看英文原版,而通过比较来鉴别术语的真实含义,也是一种方法,本文提供了一些案例,大家可以参考借鉴,当然如要融会贯通,还是从实践中获取真知。前言近期拜访了不少客户,发现不同的客户对数据治理的相关概念理解都不一样,甚至完全是错误的,有些厂商为了追求时髦和新颖,一味追求新的概念,甚至有些概念的完全是张冠李戴,给市场制造了居多混乱和困扰,给客户带来误导。这也是我写这篇文章缘由,希望该篇文章能正本清源,能给广大读者起到一定指导作用。术语是对概念的特定描述,在不同的专业领域,人们对同一概念的理解各有侧重;在不同发展时期,人们对数据治理领域的同一概念的理解也会发生变化。术语的作用就是统一术语概念的语境,保证人们在给定语境能够使用专门的语言进行精确的交流。术语概念只使用一个最贴切的业务术语表述,避免使用多个近义词引起歧义。一3T差异((信息化(IT)
2022年12月8日
其他

腾讯出品:国有企业数字化转型调研报告

本报告核心观点:1、从数字化转型的进程看,六成受访者认为国有企业数字化转型仍处于初期阶段,与预期目标存在明显差距。2、从数字化转型的投入规模看,近六成受访者认为国有企业数字化转型的资金投入普遍低于营收总额5%;在国有企业数字化转型的外部合作商选择方面,拥有国资背景的企业和大型科技企业较受国有企业青睐,且方案选择上更倾向综合转型规划和解决方案。3、从数字化转型的重点投入方向看,有七成受访者认为应用软件部署和基础设施建设是主要投入资源。除此之外,数字人才培养也是转型重要投入之一,近七成受访者认为企业将在2022年加大对数字化人才培养上的投入规模。4、从数字化转型投入与成效之间的关系看,增加费用投入与提高转型成效并无明确正相关性。这符合企业数字化转型的典型特征:长周期、重投入、见效慢。5、从数字化转型的切入点看,大多数国有企业在数字化转型之初,普遍会优先选择管理和营销环节的数字化转型,从管理和用户入手来切入和推进企业数字化转型,其次才是从产品入手推进。一般转型顺序为:“从管理角度入手,优化行政和决策”“从用户角度入手,优化营销和服务”“从产品角度入手,优化研发和生产”。6、从企业数字化转型中可能存在的失败风险看,跟风上马数字化项目、资源浪费或投入不足、技术决定论等是国有企业在数字化转型进程中面临的主要风险。7、从国有企业数字化转型过程的主要障碍看,超过半数以上受访者认为国有企业当前面临的首要障碍是缺乏数字化转型的清晰愿景,从而无法对症下药制定数字化战略。而对数字化转型的认识不足和企业内部的认知差异被认为是导致国有企业数字化转型战略虚焦的主要原因。8、对于政府部门来讲,需要构建国有企业数字化转型的公共服务与专项支持政策体系。包括构建多层联动的产业互联网平台,加强对国有企业数字化转型的专项资金支持,鼓励构建多方参与数字生态共同体,创新人才培养机制。9、对于国有企业来讲,需要着力解决当前存在的偏离核心业务、内部协同机制复杂等问题。选择“小而美”的核心业务或项目,作为数字化转型的切入口;加强数字化转型知识学习,培育良好的企业数字文化;建立具有长期主义的数字化转型考核体系。10、本报告列出7家来自不同行业(能源、建筑、制造、信息技术服务业等)国有企业转型案例。从案例中可以看出,各家企业多结合自身业务的特定需求,选择从统一管理、办公协同、生产线质检、应用上云等局部场景出发,用以提升企业在管理决策、生产执行、资源利用等方面的效率。以下推荐腾讯研究院发布的报告全文,供行业参考。回复本订阅号“数字转型1122”,可下载本文献。来源
2022年12月5日
其他

企业数字化转型,失败率80% ,大批CTO被裁...

ERP都玩不转就不要搞啥数字化转型了连ERP都没搞好,搞个毛AI!查看全部文章点击左下角“阅读原文”查看更多精彩文章,公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶!
2022年12月4日
其他

商业智能BI爆发前夕,厂商们是否做好了准备?

傅一平:这篇文章对BI当前所处的阶段、存在的顽疾、未来的展望给出了一些看法,还是有不少启示的。前几年自己一直在做企业数据治理,最近由于工作需要,会重新接触报表、取数、BI的工作,后续会结合实际谈谈最新的感受,我有两个期待:第一,最近自己其实写过一篇文章《为什么BI软件没有得到很好的普及?》,但这个观点其实要追溯到7年前,自己挺想知道,最新的BI到底发生了什么变化?体验?性能?场景?功能?第二、如文中所说,数据治理、数据分析永远是一个相辅相成,不断迭代的过程,希望自己能让它们擦出一些火花。正文开始无论产品功能描述有多强,BI行业的第一性还是让业务用起来。自Gartner
2022年12月2日
其他

为什么《DAMA数据管理知识体系》这么晦涩难懂? by 傅一平

自己有近20年的数据管理实践,很早就接触DAMA,DMBOK,然后陆续学习DCMM、数据资产白皮书、工业数据治理等相关规范和书籍,也获得了很多启示,但其实有一个问题始终没解决,就是虽然这些规范和书籍都提出了一个框架,但我获得的知识大多却是碎片化的,为什么?最近2年自己有机会参与公司数据治理体系的建设,在拟定公司的数据治理体系框架中,我一直是处于矛盾之中,因为无法将诸如DAMA的体系和公司的数据管理实践很好的结合,公司实际的数据管理也并不是按照这些框架的逻辑运作的。DAMA在豆瓣的评分有8.3,最近的几个评价是这样:“为了项目读的,不敢直视=
2022年11月28日
其他

华为启示录:数据团队最核心的能力到底是什么?

他们会说业务能力,比如业务管理、客户细分、营销能力、销售能力等等。如果你问公司的数据团队:“你们最核心的能力是什么?”
2022年11月25日
其他

银行数字化转型中的数据治理

傅一平评语:银行数据治理是银行数字化转型的前提与基础,本文从银行数据治理面临的5D问题、银行数据治理“RSA2∞”框架、数据治理平台建设的“五化”思想、银行业未来的数据治理五大目标及数据要素融合新技术要素四个方面进行了体系化的阐述,值得看一看。1、数据治理面临的5D问题:信息缺失、口径不一、数据分散、信息重复及信息孤岛2、数据治理“RSA2∞”框架:数据需求、数据认责、数据标准化、数据质量管控、数据价值衡量及数据应用3、数据治理平台建设的“五化”思想:“治理服务化”“治理流程化”“治理场景化”“标准开放化”和“资产智能化”4、未来的数据治理五大目标:透明、公平、融合、安全和容错5、数据要素融合新技术要素的四个方面:市场化流通技术要求、数据资产价值保障技术要求、数据识别与处理技术要求及算法的技术要求正文开始2020年4月9日,《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》将数据作为一种新型生产要素,与土地、劳动力、资本、技术等传统要素并列,并明确要加快培育数据要素市场,推进政府数据开放共享、提升社会数据资源价值、加强数据资源整合和安全保护。数据是商业银行的关键生产要素,是数字化转型的前提和基础。传统银行机构虽然占据海量数据优势,但存在数据标准不统一、数据质量参差不齐等各种问题,已成为银行业数字化转型中的短板。而补足短板的途径就是加强数据治理能力,包括构建企业级数据能力、建设基础数据服务平台体系、建立数据全生命周期管理、打造通用数据装备工具、构建统一的数据底座等多重手段和方式。一银行数据治理“5D”常见问题银行的数据质量问题,其根源是潜于“水下”的深层次数据治理问题,常见问题主要有“信息缺失(Disappearance
2022年11月24日
其他

纵横20年,我所经历的数据开放演化史 by 傅一平

现在数据开放成了数据治理的热点,但数据开放是没法一步到位的,每个企业都要基于实际需要走出自己的路,下面就讲讲我所经历的数据开放演化史,整个过程长达近20年,大致经历了五个阶段:(1)数据仓库时期-应用开放模式(2004-2007)(2)数据集市时期-数据集开放模式(2007-2014)(3)大数据平台时期-租户开放模式(2014-2017)(4)数据中台时期-API开放模式(2017-2021)(5)企业级数据治理时期-统一开放模式(2021-至今)每个时期的数据开放模式也折射出了那个时期业务对数据的真正诉求,同时带有明显的时代特征。1、数据仓库时期-应用开放模式(2004-2007)业务驱动:主要是为了满足公司财务管理、市场经营,客户服务等生产经营需要,属于被动的刚性要求。数据来源:通过数据仓库归集业务系统的数据,加工处理后形成模型、报表和指标数据。数据范围:单领域级,以业务B域为主。开放形式:模式A-通过web门户等渠道向业务部门提供数据,后增加了自助等形式。模式B-通过定制化取数工单的形式提供数据。数据特点:模式A-加工完成的应用数据,以报表、指标为主,数据粒度较粗,一次使用完成后无法再重复利用,数据灵活性低,数据安全程度高。模式B-报表、指标及结果数据为主,一次使用完成后无法再重复利用,数据灵活性高,数据安全程度高。开放时效:模式A-所见即所得。模式B-依赖于数据团队的开发速度,一般为几天到几周。开放成本:模式A-一次性开发投入后持续自动更新和开放,受众范围广,性价比高。模式B-每次开放都需要定制化开发,受众范围小,性价比低,开放成本随着需求的增加线性增长。开放组织:经营分析室。2、数据集市时期-数据集开放模式(2007-2014)业务驱动:应用开放模式以开放固定的统计数据和结果数据为主,难以满足市场快速灵活的数据分析需求,一线要求开放可再利用的原生数据和模型数据,即采取“授人以渔”模式。数据来源:通过数据仓库归集的业务系统的原生数据及加工处理后形成的模型数据。数据范围:单领域级,以业务B域为主。开放形式:在模式A、B基础上,新增模式C-即通过数据交换需求工单的形式提供数据集到数据集市,一线自主加工后使用。数据特点:原生数据或者模型数据,以细粒度清单级数据为主,数据灵活性高,数据安全管控要求高。开放时效:一方面依赖于数据团队的交换配置时长和审批时长,另一方面也依赖一线数据团队的二次加工速度,一般为几天到一周。开放成本:一次性的数据交换成本及一线的二次开发成本。开放组织:数据运营部。3、大数据平台时期-租户开放模式(2014-2017)业务驱动:移动互联网时代开启,流量数据爆发式增长,市场竞争日趋激烈,公司一方面要求加强用户上网行为分析,进一步加快数据响应速度,另一方面也要求探索对外数据价值变现,这对数据开放支撑模式和开放范围都提出了更高要求。数据来源:通过大数据平台归集的业务系统的原始数据及加工处理后形成的模型数据。数据范围:多领域,包括B域规模数据,O域高价值数据(DPI,位置等),M域个别数据。开放形式:在模式A、B及C基础上,新增模式D-即大数据租户的开放形式,相对于数据集市,大数据租户不仅可以授权开放,省去了数据交换的环节,而且开通的速度和灵活性大幅增加,这让“授人以渔”的开放模式逐步普及,数据租户开始百花齐放。数据特点:原生数据或者模型数据,以细粒度清单级数据为主,数据安全管控要求高,数据灵活性高。开放时效:所见即所得。开放成本:由于要直接给业务人员使用,开放数据的加工成本和解释成本很高。开放组织:大数据中心。4、数据中台时期-API开放模式(2017-2021)业务驱动:针对数据开放运营中暴露的业务场景理解不深、能力无法沉淀和复用、开放过程无法掌控、开放效果无法评估、资源消耗过大,安全风险较高等问题,要求优化数据开放模式,提升数据开放的效率和效益。数据来源:在原来基础上,减少了原生数据的开放,加强二次加工后的数据模型的开放比例。数据范围:范围和类别基本不变,但基于业务需要不断丰富原有数据的属性和质量。开放形式:在模式A、B、C及D基础上,新增模式E-即API的开放形式,并对API进行闭环运营。数据特点:以模型数据及统计数据为主,时效性强、业务价值高、可解释性强,安全性较高。开放时效:所见即所得。开放成本:API封装需要一定的开发周期,需求方对接的开发成本较高。开放组织:大数据中心。5、企业级数据治理时期-统一开放模式(2021-至今)业务驱动:数字化转型要求公司实施流程重构,实现全局流程最优,这就要求建立企业级数据治理体系,实现公司全域数据的贯通、采集和开放。数据来源:通过数据湖归集的业务系统的原始数据及加工处理后形成的数仓模型数据。数据范围:全领域,BOM全域数据,全面的跨域开放。开放形式:整合C、D、E三种开放模式,打造统一的数据目录和开放流程,通过数据地图提供一站式的针对各类开放类型的数据订阅开放服务,确保一致的开放体验。数据特点:原生数据+模型数据为主,业务价值高、可解释性强。开放时效:明确C、D、E的开放服务承诺并进行闭环运营。开放成本:通过平台化、集约化、标准化、自助化推进开放成本降低。开放组织:企业数据管理部牵头,明确数据拥有方、数据申请方,安全管理方等的职责。从21世纪初数据仓库出现到现在已经过去近20年,数据开放的形式也在不断演化,不同的开放形式其实适配了不同领域数据分析的要求,在同一个公司,不同开放形式也往往同时存在,比如我所在的公司,ABCDE五种开放模式就同时存在。要承认,模式A和B仍然是大多数公司的开放现状,但按照数据开放最新的定义,A和B甚至不能叫作数据开放,因为其仅能为特定应用目的服务,很难二次利用,流动起来也没多大价值,因此,一个公司报表和取数做的再多,也不代表数据开放水平和利用水平有多高。相应的,C、D和E是更具价值的开放形式,但对这些原生数据的开采利用门槛会高很多,需要公司组织、机制、流程和平台的保障。比如数据首先要找得到,读得懂,这就对公司的数据架构管理水平提出很高要求,至少要建立基本的数据目录和数据标准,又比如数据开放出去需要有人会用,这就对公司数据需求方的技术能力提出要求,再比如数据开放出去安全风险很大,这就对公司的数据安全管理能力提出更高要求,再比如要确保开放出去的数据质量,这就要求数据提供方能给出SLA承诺,所有这些,都离不开企业数据治理体系的保驾护航。在相当长时间内,大多数公司只能将数据开放限制在特定的领域和特定的人群,这既受限于业务需要,也受制于生产关系,而数字化转型则是当前驱动数据进一步开放的催化剂。报告
2022年11月21日
其他

数据分类分级的概念、方法、标准及行业实践

傅一平评语:本文比较体系化的介绍了数据分类分级的概念、分类方法、国际国内相关标准及面临的挑战,给出了数据分类分级在工业,金融和政务的实践。正文开始前言数据战略上升为国家战略,数据资产成为国家各行各业的核心资产。在数字化时代,数据分类分级成为数据资产管理的重要组成部分。通过数据分类分级管理,可有效使用和保护数据,使数据更易于定位和检索,满足数据风险管理、合规性和安全性等要求,实现对政务数据、企业商业秘密和个人数据的差异化管理和安全保护。标准成为数据分类分级管理的重要抓手,为特定范围内的数据分类分级提供标准支撑,在国际、国家和各行业均取得了一定成效。本文从数据分类分级概述、数据分类分级在国家层面、国际层面、行业层面和地方层面的实践、以及数据分类分级的方法等方面阐述数据分类分级的必要性和在国家、行业和地方的数据改革和数据治理中发挥的重要作用。一建设背景1.1数据分类分级概念解析1.1.1数据分类概念及解析数据分类:根据数据的属性及特征,将其按一定原则和方法进行区分和归类,并建立起一定的分类体系和排列顺序的过程。数据分类一定是以各种各样的方式并存的,不存在唯一的分类方式,分类方法的采用因管理主体、管理目的、分类属性或维度的不同而不同。1)业务开展使用数据的视角--看到的是数据的业务特征,比如某企业内有研发、制造、销售、人力资源等部门,大量数据的产生天然就具备业务相关的特征,很自然的数据分类方式就是按业务分类:研发数据等等2)IT部门/数据管理部门视角--关注的不是业务分工,而是数据自身在IT系统里如何承载、管理、呈现,所以有IT/数据管理部门将数据分类为结构化、非结构化数据,主数据、交易数据、元数据等。1.1.2数据分级概念及解析数据分级:按照公共数据遭到破坏(包括攻击
2022年11月17日
其他

你的数据中台,可能建错了🤬

傅一平浅谈数仓模型(维度建模)阿里:淘系数据模型治理与方案分享查看全部文章点击左下角“阅读原文”查看更多精彩文章,公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶!
2022年11月15日
其他

在裁员风暴中,哪些数据岗位的人员最容易被优化?

傅一平评语:供需关系是看不见的手,有些岗位就是容易创造独特的价值,或者容易受到老板的认可,有些岗位就是容易泯然众人,要承认岗位歧视,有些岗位的起点就是要高一点,在下游的岗位就是要多努力一点,总要问自己三个问题,我为公司创造了什么独特的价值?老板有没有看到我工作的价值?我今天有没有获得新知?这有利于跳出舒适圈。正文开始最近有篇文章《我,阿里P7,找不到工作》刷屏,正好这位阿里的P7还是搞数据的,他是这么描述在阿里的工作的,”其实是做ETL,开发报表这样螺丝钉一样的工作,每天看似很忙碌,但做的事情价值有限,自己的成长也非常受限.......“那么,哪些数据岗位不属于螺丝钉的工作呢?哪些数据岗位更能对抗被优化的风险呢?不失一般性,非研发类企业的数据岗位,其抗风险的能力取决于两个因素,即价值创造力和不可替代性。价值创造力指数据岗位在公司的价值生态链中所处的位置,一般来讲,离业务越近价值创造力越大,以取数岗位为例,虽然技能要求偏低,甚至可以外包,但其价值创造力不低,因为是直接为营销或经营分析提供支持。但光有价值创造力是不够的,还要看这个岗位的不可替代性,比如取数岗位虽然价值创造力尚可,但显然不具备不可替代性,现在很多偏纯技术的数据岗位面临同样的困境,因为云原生、微服务、人工智能等的发展已经大幅降低了技术使用的门槛,大量通用技术被基础设施化。基于价值创造力和不可替代性两个维度,这里给出了六类数据岗位的排序,层次越高的岗位,在企业内越具有竞争力,被优化的概率就越低:第一层:算法第二层:取数、报表及数据开发第三层:数据建模及数据分析第四层:数据架构、数据产品及项目管理第五层:数据治理第六层:CDO这种排序会存在争议,因为以岗位论英雄忽略了人本身的因素,牛逼的人即使在最平凡的岗位也能脱颖而出。但岗位歧视是普遍存在的,从概率的角度看,也具备一定的合理性,正如985的学生比普通大学的学生普遍具有竞争力一样,公司让你去做数据治理,是对你综合素质的一种认可,让你去做取数,仅是对一种技能的认可,但两者的认可程度不一样。算法岗被放在第一层,一方面是因为技能通用性很强,缺乏差异化,另一方面算法带来的那些价值提升往往不够看,远小于业务能力+数据能力的加持,非技术类公司也不具备什么条件去研究牛逼的算法,很多在大学搞算法的公司新人要么转岗要么离职,这是客观现实。取数、报表及数据开发被放在第二层,相对于算法岗,其技术要求偏低,大多懂点SQL就可以了,但公司的经营分析、营销管理、财务风控等业务都离不开这些数据岗位的支持,因此人员基数最大,可惜的是,这类岗位的技术和业务天花板很低,2-3年即可毕业,然后一直呆在舒服期,意味着很容易被自动化的工具、培训和外包替代,阿里的P7也许就是这种情况。数据建模、数据分析被放到第三层,相对于取数、报表及数据开发,这些岗位不仅需要掌握更多的方法和工具,更需要对业务有深入的理解,比如数据建模的第一步就是要调研清楚业务流程,数据分析则对逻辑、沟通及表达能力提出了更高要求,这些岗位的天花板很高,个人能力很容易往上走。数据架构、数据产品及项目管理被放到第四层,相对于数据建模和数据分析,其最大的区别就是从追求个人贡献走向了团队贡献,优秀的管理能力带来的团队价值提升远高于个人,优秀的数据架构师可以大幅减少企业的技术负债和运维成本,优秀的产品经理和项目经理能让销售、架构、开发、数据、测试、运维等各类人员力出一孔。数据治理被放到第五层,相对于数据架构、数据产品及项目管理岗位,数据治理要求人员能超越领域的视野,站在企业的视角进行企业数据治理体系的顶层设计,从组织、机制、流程再到文化,如果说前四层的岗位主要解决的是生产力问题,那第五层则是要解决生产关系的问题,这类人员的不可替代性非常高,甚至有价无市。CDO独一档,没啥好说的。应该来说,业界关于数据岗位的名称还未完全统一,同样的数据岗位在每个企业的内涵可能是不一样的,比如不少企业会把干取数报表的也叫作数据分析师,因此还是要究其本质,不要望文生义。数据岗位的升级路线也展示了一些规律性的东西,告诉我们尽可能的要从技术走向业务,从被动走向主动,从具体走向抽象,从局部走向全局,这样才能让自己立于不败之地。PPT,如何向上管理?by
2022年11月12日
其他

数据治理红宝书是怎样炼成的?

傅一平评语:数据标准就是数据领域的统一度量衡,本书提供了参考和指引,关于如何落地,我的建议是不要贪大贪全,不要为了标准而标准,一定要从解决某个具体业务问题入手去考虑标准的建立,因为建立标准的代价是很大的,标准也是一定要嵌入到流程和系统中才能真正发挥出价值。DAMA等书籍没有提到数据标准,也许是因为要解决协同问题建立规则和标准是很自然的,不需要刻意强调,比如我们设计系统间的数据接口其实就是建立标准的过程,大多数企业的数据标准不是设计出来的,而应该是演化出来的,在演化中,我们可以参考本书的一些体系化做法。正文开始前言作为数字经济时代的新型治理范式,数据治理的核心特征是全企业的数据互通、数字化的全面协同与跨部门的流程再造,形成“用数据说话、用数据决策、用数据管理、用数据创新”的治理机制。在目前数字化转型大趋势的推动下,企业数据治理的需求迫在眉睫。为了促进企业有序开展数据治理工作,进一步厘清企业转型升级的主要痛点和关键需求,被称为数据治理红宝书的《数据标准化:企业数据治理基石》于近日出版面世。本文根据《数据标准化:企业数据治理基石》核心内容提炼总结,希望在数据标准化的理论介绍及实践经验方面,能为众多企业在数据治理的研究和实践中提供参考和指引,以期达到少走弯路,减少探索,打好基础,快速取胜的效果。总体介绍以数据为核心的组织数字化转型已形成社会变革的大趋势。积极开展数据治理,释放数据要素潜力,更好地赋能产业和推动数字经济发展,是当前企业尤其是央企和大型集团型企业的重要任务。数据治理与数据标准化是密不可分的。于数据而言,数据标准就是对数据的命名、定义、结构和取值规范方面的规则和基准。数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程。在开展数据治理时,数据标准化的制定工作是基础,是数据在统一标准下进行规范管理的保证。数据标准化主要涉及包括元数据、主数据、数据质量、数据安全、数据架构、数据建模、数据集成、数据仓库、数据存储和操作、文件和内容管理10个方面的工作。涉及的面比较广,专业性也比较强。面向企业经营过程中的业务需求,数据治理为数据发挥应用价值奠定了良好的基础。而数据标准化对于提高数据的科学性、统一性和规范性,实现数据的高度共享与应用,以及提升企业的数据治理能力具有非常重要的意义。本书封面总编介绍6位院士、高校院长,央企高管作序推荐周建平
2022年11月9日