数字孪生 | 中小企业数据治理该何去何从
关于数据治理,现在可以搜到很多的文章和资料,在研究了众多文章之后,发现大多数的文章常见大而全的框架图,方案上搭平台、建架构;案例上都是华为、阿里等头部企业。但是,大多数企业都不具备去实现这些复杂架构的基础条件,比如架构丰富度、数据基础能力、人才储备、内部流程完善度等。
本文作者在互联网领域数据板块工作近十年中,长期作为数据治理项目的核心成员,对于数据治理的策略和执行效果有比较深刻的体会。同时在观远数据接触了比较多的传统行业头部企业、中小企业、新锐品牌等,发现中小企业有不一样的数据治理方法。针对数据化建设1~5年、专职数据团队小于20人的企业,怎么做好数据治理,是本文将要解答的问题。
内容目录:
01. 数据治理的价值
02. 数据治理的内容
03. 怎么做数据治理
04. 总结中小企业和头部企业做数据治理的区别
05. 常见的坑有哪些
01. 数据治理的价值
为什么要做数据治理,数据治理解决的是什么问题?价值是什么?首先我们需要解决跟老板汇报的问题。
很多企业的CIO或者BI负责人意识到需要做数据治理时,常见是由于出现了指标乱、页面多、任务杂、权限管理不规范等问题,同时还可能伴随性能问题,比如页面卡顿,加载时间长等等。如果解决这些问题相对简单,就不用上升到价值输出层面。但是如果问题严重到需要撬动高层资源去形成一个项目,就需要有更多的价值呈现。
在对很多企业数据治理的痛点与最终创造的价值进行收集整理后,我们从四个层面总结了数据治理的价值,供大家参考:
一、信息价值。数据系统的基本使用保障,避免高层或者业务方需要看业务指标时无法看数,无法做出运营决策。或者一个指标在不同地方出现不一样的结果,口径、范围等不对齐导致的内部信息传递异常。
二、风险控制。规范的权限控制,对不同部门、不同层级的员工进行精准和一致的页面、数据表、任务权限管控,在保障必要的看数需求的同时,也避免数据泄露,满足内部风控部门要求。
三、成本控制。出现服务器性能瓶颈,最快速有效的方式就是服务器扩容,但扩容有成本,大多数企业都不能接受无限制的扩容,数据治理本身也是在做服务器的成本管控。
四、业务价值。数据治理最大的价值所在。我们发现如果一个企业的数据开发都在IT/数据部门时,往往不会存在数据乱、需要治理的情况。需要治理的情况很多都出现在开发能力往业务团队渗透的阶段,也叫业务推广期或者业务自助分析期。这个阶段不只释放了数据部门同学的人力,也是数据价值飞跃的阶段,业务同学会全面基于数据结论来指导运营决策,甚至去自发地基于自己的业务问题,做更多的数据探索和深度挖掘。在这个阶段做数据治理,保障数据的稳定和规范化的使用,本身就是在极大程度地创造数据的业务价值。
02. 数据治理的内容
业内比较认可的数据治理内容可以参考DAMA(国际数据管理协会)发布的车轮图和DMBOK金字塔:
图示2:DAMA车轮图
图示3:DMBOK金字塔
但是DAMA车轮图与DMBOK金字塔中的内容对于中小企业而言,既有内容和习惯上的不匹配,又有实际执行中的不够具象。观远数据的建议是重点从五个方面来做:数据表,任务,报表,指标,权限。当然企业实际执行需要考虑当下面临的问题来做选取和新增。
具体需要做的内容可以参考下表:
白皮书梳理了规模化企业对于“企业级BI”能力的要求,建设性地提出了企业级BI“五力模型”,为规模型企业提供新的BI建设思路与可落地的BI选择方法论,以及世界500强股份制银行、万店饮品连锁品牌、头部互联网公司在内的各行业规模型企业的实践分析。
03. 怎么做数据治理
“怎么做数据治理”这个问题的内核,其实涵盖着多个层面的问题,包括“什么时候开始做”“什么人做”“做到什么程度”“做多久”“如何考核效果”“用什么做”等等,下面我们就来逐个寻找答案:
3.1. 什么时候开始做数据治理最合适?
有两个比较好的时间节点适合开始做数据治理。
第一个是在S2渗透期,这个阶段数据内容持续增长以及数据建设的标准规范尚未建立,很容易造成各种数据资产混乱。同时在跟不少企业交流中有个共同结论:在前期有高段位的数据建设者时,提前重视规范化,后续会少走很多弯路。
第二个值得关注的时期是S4阶段开始之前或者S4的初期,在内容生产爆发之前做好规则设置、培训课程、监控机制、责任人设定等,让大家有统一的行为和规范化意识,也可以少走很多弯路。
总结一下,数据治理不要在大规模出现问题之后,应该是在爆发之前做好准备,“治”不如“防”。
头部企业大多数已到S4~S6阶段,进入了数据治理的常态化阶段,已经不存在“防”的说法,但是对于中小企业来说,抓住S2的规则空白期做规则建设,以及S4的爆发前做好用户教育,收益会非常大。
3.2. 数据治理需要哪些人来做?
这也与数据化建设的阶段发展相关。
在S2阶段做数据治理时,数据内容的生产100%来源于IT/数据团队,这个阶段的数据治理由IT/数据部门的人来负责。跟多个企业沟通下来,这个阶段的数据治理,限部门内部,相对容易完成。
真正有挑战的,是S4阶段的数据治理,这个时候内容生产者扩大到了业务部门,技术部门与业务部门由于能力差异与认知鸿沟,在数据治理的协作上往往会面临巨大挑战。当然,也存在部分企业内部技术部门和业务部门协作紧密,或业务部门具有较高的技术素质易于双方沟通,数据治理工作推动顺利的情况。因此,我们可以将这个阶段实际数据治理的类型总结为三类,每一类对应的协作方与合作方式如下:
一般来讲,对于中小企业,在企业数据化建设的早期,或者部门之间的关系非常融洽时,往往前面两种方式就能很好地做好数据治理。而当企业比较庞大,或者内部部门之间关系比较复杂时,往往都需要通过第三种方式。
对于最为复杂的第三种方式,我们要关注到在其中起到非常关键作用的两类人:
① 高层。主要是协助处理一些矛盾,合理运用高层资源,能很好地驱动项目落地。
② 种子用户。上述的第二、三种类型的数据治理中,这类用户非常值得关注。强烈建议技术部门去识别这类具备规范化开发素质与责任心的用户,树立标杆然后全员推广,使其在内部发挥帮带作用。
3.3. 数据治理具体怎么做?
首先需要理解数据治理的本质是什么。当很多认知和行为模式不一样的数据生产者同时在生产数据内容时,就会产生混乱的结果,这个也叫熵增。数据治理的本质,就是减熵,翻译成大家都听得懂的话,就是需要做规范化,或者叫标准化。而做标准化,又分为标准化的设计、标准化的执行两个方面。
标准化的设计可以有很多方向,这里大概列一下比较通用的标准化设计的方向,仅供参考:
① 数据表标准化
大多数企业发展到一定阶段都会做数仓的建设,数仓建设本身就是对数据表进行规范化设计和管理。即使没有数仓,我们也可以简单地从以下两个方面来做数据表的标准化管理:
• 数据表分层和分类。数据表分dwd、dws、mid、dm、dim层,以及按营销、商品、采购、仓储等域区分,同时有商品、部门、用户等主键用于权限隔离。
• 权限控制规范。不同层级表的读写权限控制,有公共库和业务库的区分,全量表和增量表的区分。
② 任务标准化
sql或者etl任务,在执行过程中的读写操作,是性能消耗的最大影响点,同时也决定了数据表数量和数据量的生成速度。任务的标准化对于数据治理而言重要性非常高,可以考虑从以下三个方向:
• 任务本身规范。包括命名规范,执行规范,全量表增量表的使用规范等。
• 任务之间的规范。依赖关系要有且清晰,以及层级清晰,层级也不宜太多。
• 性能最优。需要考虑单任务的执行效率,精准使用不同层级的表,以及不过度生产数据、不重复生成数据。在真正治理过程中发现性能异常的任务,往往都是因为没有做性能优化导致。
③ 报表页面标准化
报表在企业内会被大规模使用,核心报告也在被高层关注,对报告的标准化管理,能很直观地体现数据治理效果:
• 分层报表管理。核心公共报表统一管理 vs. 自由报表单独域或者目录,移动端统一管理 vs. PC端自由产出,部门级核心报告 vs. 次核心报告分层等。
• 目录规范。一般是建议按照业务属性、部门属性、项目属性进行划分,方便做权限管理。
• 页面规范。这个就比较细致了,包含对于表头,排版,颜色,字体,对齐,图表大小,筛选器位置,统计表和明细表规则等等一系列的规范。
④ 指标标准化
在数据治理中,指标的问题是看似简单但往往是问题最大的一类。我们常见的指标混乱问题,包括同样的指标多口径共存,口径范围不清晰,规则不清晰,逻辑不严谨等等问题,均需要做标准化处理:
• 指标和指标体系设计。参考阿里的原子指标、派生指标、衍生指标,不详细讲。
• 指标规范。需要从命名,口径,范围,逻辑,时间等等维度进行规范,建议做指标管理平台或建设企业的指标白皮书。
• 指标归属。核心指标归属IT/数据部门统一管理,并且需要做自上而下的宣导,以及统一性保障(错也一起错)。而业务部门自己开发的指标,在命名上就需要做一些区分,以及在使用场景上需要规避跟核心指标产生信息冲突。
⑤ 权限管理标准化
需要对指标、数据表等进行机密性分层,以及按不同部门不同层级的成员进行权限的划分,同时需要跟高层协商审批的规范,包含系统or邮件申请,不同类型申请对应的审核人。容易忽视的一点是,报表的权限和数据表的权限之间,需要保持权限的统一。
任何阶段的数据治理,标准化建设都是必不可少。中小企业对于这块容易忽视,在跑得快的过程中没有及时将规则制定清晰,会为以后留下不少坑。
在做好标准化的设计后,下一步标准化的执行,难度会大很多,需要的是做一系列的流程建设,为标准化落实下去保驾护航,方向包含以下几点:
• 监控机制。对于任务、页面、数据表等,进行监控,以及针对异常项报警,邮件或消息提醒。
• 复盘机制。月度或季度进行项目的复盘,针对治理的效果、目标达成进行反馈,以及头部异常客户通晒。
• 责任划分。责任到人,各方分别需要做的事情和承担的责任进行同步。
• 培训机制。使用规范的培训,确保大家有统一的行为准则。
• 启动专项。拉齐相关方,拉高层站台,组织项目启动会,并且做价值和目标的同步。
3.4. 数据治理究竟需要做成什么样?以及做多久?
数据治理是重要项目,但是在企业内部却不一定是最重要的项目。投入人力也很容易碰到边际效应,因此也需要考虑投入产出。我们需要做的其实就是抓头部、抓重点,针对核心有问题的个人进行专场的培训和案例分析,能解决很大一部分问题。
同时,数据治理是一件长期的事情,前期可能有较多的例会和讨论,中后期会逐渐趋于稳定和平淡化,但依然需要有专人长期对这个事情负责,对数据系统健康度保持关注,做风险同步和及时止损。
3.5. 数据治理专项的关键指标有哪些?怎么考核?
① 常用监控指标
• 资源利用率:内存/CPU/硬盘使用占比
• 冷任务、冷页面、冷数据表、空数据表的数量
• 计算超时(xx分钟)任务数/页面数
• 报表页面加载时间
• 核心任务执行完成时间
• 依赖超5层任务数
• 无依赖的任务数
② 考核指标
一般没有特别通用的考核指标,主要看各个企业当下最核心的痛点是什么。比较常见的考核项是上述的“资源利用率”和“报表页面加载时间”。
3.6. 可以用哪些工具帮助到数据治理?
借助工具能辅助项目团队更高效地完成数据治理任务,尤其是对于技术团队。往往项目内需要的工具包括如下两类功能:
① 资源管控类
• 数据源限制,设置角色/部门,新建权限/连接池个数/接入的数据源数量等的限制
• ETL限制,设置角色/部门,上线审核/ETL处理的数据行数等限制,优先级设置功能
• 存储限制,设置角色/部门的存储上限,以及公共存储池设定
• 算力限制,设置角色/部门的性能使用上限,以及灵活使用功能算力
② 监控和报警类
• 实时资源使用情况监控
• 针对角色的使用触达上限时的报警
• 异常任务/资源使用报警
• 任务血缘关系监控
• 短信/邮件/外呼等报警功能
• 智能运维的页面监控
精炼好用的工具才会对项目有帮助,过多的工具反而会让大家用不起来。熟悉观远数据产品的同学一定能感受到,观远数据一站式智能分析平台自带的「云巡检」功能其实能很好的帮助企业做好数据治理,并且本身的管理员配置界面中也有强大的资源管理和权限管理功能,让数据治理更加规范化、标准化。
04. 常见的坑有哪些
1. 认为是个技术问题。实际上,应该把数据治理当作一个管理问题,项目中真正难的,是部门间协同以及认知统一。
2. 认为是技术部门的事。看主要问题产生的根源在哪里。如果在S4阶段,那么技术部门和业务部门都是需要关注的。
3. 过度开发工具。在开发工具上投入过大,过度依赖工具,导致治理效率低下,实际上工具够用就行。
4. 建立机制但是执行不下去。机制好建立,但是真正能高效是机制的落地执行和行为闭环,需要从上往下驱动。
5. 短期达成目标后便忽视。这是一个长期的事情,需要长期投入人力做监控和预警,以及问题反馈和培训。
6. 过度投入。其实处理好最头部的有问题的任务或培训好相关人员,数据治理就会有一个比较明显的进展,项目不宜投入过大。
免责声明:
本文转载自【 一个数据人的自留地 】 张新厂,版权归原作者所有,如若侵权请联系我们进行删除!
易知微以自主研发的EasyV数字孪生可视化搭建平台为核心,结合WebGL、3D游戏引擎、GIS、BIM、CIM等技术,协同各个行业的生态伙伴,围绕着数字孪生技术、数字驾驶舱和行业应用,共同建设数字增强世界,帮助客户实现数字化管理,加速数字化转型。
易知微已经为3000+ 客户提供数字孪生可视化平台和应用,覆盖智慧楼宇、智慧园区、智慧城市、数字政府、数字乡村、智慧文旅、工业互联网等众多行业领域,包括国家电网、移动云、中交建、中铁建、融创、云上贵州、厦门象屿、天津火箭、上海电视台、金华防汛大脑、良渚古城遗址公园、李宁、浙江大学等典型案例!