云顶集团官网

股票代码: 300348
EN
数据模型与数据治理(二)|在企业级数据建模中治理数据
云顶集团官网动态
2024.03.18

导语::


随着越来越多的企业意识到数据作为出产身分的价值,,加快了企业数字化转型,,把美满企业级的数据治理系统作为企业数字化转型的一个指标!云顶集团官网科技在大数据领域始终维持足够的技术敏感度,,并堆集了丰硕的经验与资产!为此,,我们组织了一个系列专文,,分期颁发,,与您一路索求更适合当下行业发展的数据观,,欢迎各人持续关注!




作者|云顶集团官网科技大数据钻研院

内容|本篇共4010字,,预计阅读功夫15分钟



创建企业数据模型的过程与最终了局同样重要!正是由于数据建模的缺失,,更火急必要治理数据!即便一个小的业务处置系统的关系数据建模,,也能够预防或削减数据质量问题的产生,,有效降低将来数据治理和运营的成本微风险!R恍┢笠档氖葜卫斫鼋鍪俏寺慵喙芤蠖械谋欢形,,在IT建设过程中,,没有通过企业级数据建模进行顶层设计和两全规划,,随着监管科技的发展,,监管日益精密化,,处罚力度不休加强,,仅仅实现“划定作为”而没有通过系统化设计、、未能得到底子解决的各类数据问题逐步露出出来并带来了越来越多的负面影响!7粗,,借助数字化转型,,在内部推动企业级数据模型规划和落地,,并通过数据治理有效算帐积弊,,提升数据资产质量的企业,,则在数据资产化、、身分化的海潮中获得了当先的竞争优势!




01




关系数据建模步骤

仍是企业级数据建模的唯一选择


DAMA-DMBOK2总结了用于暗示数据的六个最常见的模式是::关系、、维度、、面向对象、、基于事实、、基于功夫和NoSQL,,其中最常用的是关系、、维度、、面向对象的UML,,每种建模模式都使用特定的暗示法-图表符号进行表白,,优良的设计模式提供丰硕的可扩大建模说话,,便于提炼专家知识的原型,,降低建模难度!


关系数据库治理系统的壮大能力与Peter Chen的原始ER实体关系模型的概念密不成分,,即逻辑数据模型!=萦肓鞒蹋ㄓ胍滴窳鞒毯拖低落鞒蹋┓指舻闹魈馑枷,,突破了面向流程的系统开发模式,,同时实现更新(操作运营)和接见(决策支持)的主张,,逻辑数据模型从业务角度实现了这种分离,,而物理数据模型从数据库角度实现了这种分离!9叵凳菽P偷氖堤迤肴、、参照齐全性、、用户界说的齐全性约束为高质量数据的实现提供了保险,,四十多年来,,关系数据建模一向是理解复杂业务与数据,,设计和部署拥有高质量数据的关系数据库与支持利用开发的火速的、、正确的、、靠得住的最佳步骤!R幸滴衤蚵粝低呈萑砸怨叵凳菸,,并适度降范,,能够与企业关系数据模型便捷映射!


对象建模与面向对象的法式设计步骤共同重要用于买卖系统数据模型设计,,对象中能够蕴含对象,,冗余设计不成预防线造成数据的不一致,,很难提供一个正确的界说来注明指标建设的数据,,数据可移植性差,,守护难题!N冉J抢眯枰纳杓,,即便设计企业一致的维度(也必须经历范式与抽象的思想逻辑过程),,也存在数据冗余!6韵蠼S胛冉U饬街植街璧某踔远疾皇俏擞靡恢植槐涠凸鄣姆绞矫枋鍪率,,以提供高质量数据并保障数据的陆续性,,因而这两种方式的建模过程不只无助于发现数据问题,,反而可能产生更多的问题,,不适合用于企业级的数据建!!


数据质量的怀抱治理与评价系统主题仍是基于关系数据模型成立的!DAMA-DMBOK2综合了8个拥有普遍一致性的数据质量维度::正确性、、完整性、、一致性、、参考齐全性、、合理性、、实时性、、唯一性、、有效性!SO/IEC 25012数据质量模型把数据质量个性分为不排它的固有的数据质量与依赖系统的数据质量,,排除依赖系统的数据质量个性后,,固有的数据质量个性都能够用关系数据库治理系统来治理!


一表通监管数据采集接口尺度把明细类数据划分为机构、、客户、、关系、、财政、、产品、、和谈、、买卖、、状态、、资源、、参数等10个主题,,把关系、、状态单列主题,,别离治理关系与汗青变动,,关系模型设计模式的监管要求比从前越发模型化,,能够越发齐全、、系统化评价数据,,对数据质量的要求越来越高!R槐硗ń涌诔叨却嬖诳隙ǖ娜哂,,必要在支持一表通的底层实现上提供一致的数据!







02


企业级数据建模

若何有效援手治理数据?


数据是业务与信息的最后载体,,企业级数据建模应自上而下参考企业业务架构与利用架构,,自下而上结合数据需要和数据近况!4邮萁銎舫,,整体上能够划分为信息索求、、模型设计两个大的阶段!



1.信息索求阶段


相识企业数据近况及其元数据是企业级数据建模内容行为必不成少的一步!P畔⑺髑笫嵌云笠迪趾奔萦胛牡到械餮蟹治,,鉴别其数据结构、、业务寓意、、数据关系、、数据流,, 从源数据中索求出信息的过程!D芄凰敌畔⑺髑蟮拿恳徊,,都可能发现必要治理的问题,,数据模型师作为数据考古学家必须耗费大量功夫深刻穿透缭乱复杂的数据表象,,反复提出如果,,验证或颠覆!


分解、、分析数据,,理解近况数据结构,,索求、、告发分歧数据元素的寓意及其之间的联系!J莩霾吆苌倌芴峁┪牡道蹿故妥约荷杓频氖菰⒁庥牍叵,,短缺业务元数据,,必要数据治理部门的支持并借助领域专家的经验!6悦空疟砩疃确治,,可能发现大量主键、、外键、、值域等数据齐全性问题,,以及违背业务规定的数据!


可视化业务源数据模型!S捎谝滴裣低澈苌偬峁┰茨P,,反向工程还原源数据模型是企业数据建模人员应该尝试实现的一项工作,,通过与数据出产者以及业务人员的交互,,更好地理解与验证数据,,确认业务规定,,更容易发现与确认数据质量问题!T词萁;;褂兄诮萦胝媸狄滴袷澜绫咎褰斜攘,,发现差距!


索求跨业务系统的数据关系与数据流!C蜗肭榭鱿,,企业应具备利用架构、、数据架构来注明分歧业务源系统之间的数据交互关系,,业务系统应提供具体的设计注明!0咽菁械揭宦方锌缦低成羁趟髑笱橹,,还能够进一步发现分歧系统之间的业务不一致、、账务不一致以及业务与账务不一致问题,,使各类问题充分露出!


形成企业数据CRUD散布图,,鉴别出有效的关键数据,,进一步确定黄金数据源!7⑾钟肴范ㄊ裁词且约拔裁词枪丶,,数据治理的重要主张之一是;;、、治理与共享重用这些关键数据!H羰遣恢要治理的数据是什么、、数据的寓意以及为什么对组织重要,,就不成能很好地;;ず椭卫硎荨!<鸪鋈哂嗍,,区别垃圾数据,,确定企业数据散布与集成的问题!P砦奘菸侍馐怯捎诓豢蒲У腃RUD造成的,,企业建模思想很容易发现利用架构、、数据架构在主数据、、数据交互与集成等方面存在的问题,,如统一主数据多个系统创建与批改!


提议数据资产评估,,盘点数据资产近况是数据治理早期关键活动!F笠导妒萁9讨械男畔⑺髑,,从数据到信息,,找到有价值数据,,发现必要治理的问题,,应是数据治理内容工作的重点内容!



2.模型设计阶段


数据模型是本体模型,,数据建模是一项专业设计工作,,在数据建模过程中融入数据治理思想,,经过专业掌管的沉思熟虑与验证,,精准设计与界说模型本体——每个概念业求实体、、逻辑数据实体及其固有属性!DP蜕杓圃毯魈饽P蜕杓、、概念数据模型设计与逻辑数据模型设计,,企业级数据仓库模型是企业级的分析数据模型,,还蕴含物理数据模型的设计!T诮缢凳菽P捅咎骞讨,,能够发现更无数据问题!


成立数据尺度!L嵋槭莩叨仁鞘葜卫砬捌诟哂畔燃豆ぷ髦,,数据尺度从何而来?除了国度尺度、、行业尺度之外,,信息索求阶段的产出应该作为界说数据尺度的重要输入参考!H羰侵贫┑氖莩叨韧牙氡酒笠迪质到,,落标时将产生大量不用要的刷新工作!


对企业关键概念业求实体与逻辑数据实体进行界说与分类,,成立关系,,构建可治理的、、不变的数据架构!I杓破笠导妒菽P,,即便有成熟的行业数据模型能够参考,,也不应该忽略概念模型的设计,,各父叩人对企业关键概念的理解达成一致共识,,是沟通、、治理与使用数据的前提!


选取范式与适度抽象设计思想与通用数据模型设计模式,,设计不变的数据模型,,使模型收敛而不发散,,改善业务一致性!Q细褚勒盏3范式要求设计逻辑模型,,必然会发现源系统好多因冗余设计造成的不一致性问题(固然业务系统通常选取范式设计模式,,但没有达到第3范式要求),,在物理模型设计中思考适度降范!


数据模型师与业务领域专家、、数据管家等一路界说数据模型!2痘褚滴袢艉蚊枋龊褪褂檬,,创建和集成统一、、共享的业务元数据!T诮缢倒讨惺凳奔吐几骼嗍菸侍,,加快数据治理工作!


可视化数据模型,,为业务与技术提供交互的接口,,为数据使用提供元数据,,验证与提升数据模型设计的正确性、、一致性与齐全性!


部署正确的高质量数据源!F揪菪畔⑺髑蟮牧司,,确定正确权威的数据源映射模型,,执行齐全的数据模型设计工作,,确保数据齐全性!T诩傻氖莼肪持,,基于数据模型进行全维度质量查抄,,把问题提交给治理团队铺排治理,,推动上游业务系统治理,,在源头产生高质量的数据!


节制整个企业中数据的设计和部署使用,,治理数据性命周期!=谥撇⑷繁Hㄍ数据鄙人游得到全面使用,,确保从安全、、合规到商务智能利用可回溯到源数据!



03


优良的数据治理,,

提升数据建模效能


数据建::褪葜卫矶际鞘萑悦芷谥卫淼墓丶澳芰煊,,二者相辅相成,,对提升数据的可用性、、阐扬数据价值拥有重要的意思!


数据治理是对数据资产治理行使权威与节制,,数据治理组织提议企业数据建模,,能够将数据建模视为对数据界说的权威与节制的执行和执行!F笠凳萁5淖荚颍ㄔ凇罢返摹惫Ψ,,由“正确的”人员为组织界说“正确的”数据,,确保唯一正确的数据放在唯一正确的处所),,必必要有规范或准则来确保数据设计切合必要,,这些规范由数据治理委员会委托有关职能团队设计并核准颁布!


数据治理职责描述数据治理岗位治理数据和流程的职责和责任, 确保有效节制和使用数据资产!J葜卫碜ㄔ敝霸鸬闹匾疃毯唇ê椭卫碇魈庠、、纪录规定和尺度、、治理数据质量问题、、执行数据治理运营活动,,必要把这些治理职责与活动嵌入到企业数据建;;疃,,在整个数据生态系统中的人员、、流程和系统中界说和开发“正确的”数据行为!


企业数据建模各阶段必然会遇到很多问题,,必要业务职能领域和 IT 组织协同,,与数据建模人员一路工作,,协助数据建模,,必要数据治理组织为数据的集成与整合提供推动与决策支持!T谡降氖葜卫碜橹闪⒅,,企业级数据仓库的模型建设重要由IT部门提议,,业务仅是作为数据利用的需要方参加,,项目中发现的数据问题没有相应的“司法”解决蹊径!


END


仅治理数据而不建模数据,,治理成就得不到坚韧,,不能利用于新的设计中预防或削减类似问题的产生,,各类问题循环反复!S氲ザ澜蟹制绲墓ぷ飨啾,,企业数据治理与数据建模结合起来更好,,嵌入数据治理能够更有效开发和守护企业数据模型,,企业数据建模使数据治理工作更有效,,全面提升数据出产质量,,给数据消费者提供高质量数据!



让中国金融科技 拥有世界影响力
云顶集团官网科技更懂若何为您的数字化转型赋能
地址: 丽江市南山区沙河西路丽江湾科技生态园一区2栋A座5层
电话: 0755-8616 8118
传真: 0755-8616 8166
【网站地图】