【观点】基于量化指标实现数据质量评估
2019-01-09 11:01 404 分享

2018年12月25日,由中国通信标准化协会大数据技术标准推进委员会主办的数据质量管理专题研讨会在北京召开,来自中国信息通信研究院、中国质量协会质量科学院、建设银行、京东数科、联通大数据、华矩科技、电信云、百度、中国外运、海尔、国网征信、等50余位专家学者参与会议,并围绕“数据质量”焦点问题探讨了数据质量评分卡、数据质量评价方案等重要经验,剖析了数据质量关联性评价难题以及数据质量与业务应用的关键性挑战等。针对数据质量评估热点话题,华矩科技董事长CEO谭海华先生受邀发表了“数据质量评估方法介绍”专题演讲。


数据质量是分析和利用大数据的前提,是获取大数据价值的重要保障。目前,国内外尚缺乏针对大数据质量维度和质量评估方法的全面分析和研究。而业界比较通用的也是基于完整性、一致性、及时性和准确性四个维度去评估数据质量,但如何量化并能真正辅助企业判断数据价值却是一直以来大家都在探讨的问题。

会上,谭总针对这个问题简单回顾了数据质量问题的来源、数据质量管理技术指标与数据质量管理业务指标,并基于数据质量管理流程理论,从3个层面上(数据属性业务规则、数据实体业务规则、企业特定业务规则)重点解说了数据剖析这一关键步骤,帮助大家理解如何将数据评估维度与业务流程对应,建立通用的数据质量评分KPI,同时根据具体业务场景调整评分体系中各维度的权重,最终以量化形式实现数据质量评估。

谭总指出,数据质量有多个关键的评估维度,这些评估维度都将通过业务规则,我们分成ABR(属性业务规则),EBR(实体业务规则)以及SBR(企业特定的业务规则),这三种业务规则基于不同权重去做的合规打分,形成量化的评估指标,最终得出数据质量的总评分。我们需要有这样一个量化机制来告诉企业这些数据质量好还是不好,有多好,具体表现在哪些方面不好,而权重则取决于这些不好的数据质量因素对企业影响有多大。

在这个数据质量评估量化理论基础上,华矩科技也进行了多次实践尝试,积极探索出针对不同企业需求的定制化评估指标,企业通过这套评估体系便可适用于全局的数据质量预判与优化。

数据质量管理及其评价体系是数据资产管理的重要内容,科学合理地开展数据质量稽核是发挥数据价值的基础,是实现数据业务应用的前提和保障。华矩科技作为数据治理技术与服务提供商,为客户提供数据全生命周期的治理服务与方案,包括元数据管理、数据质量剖析诊断、数据优化补全、业务规则库创建、数据质量持续监管、数据集成、数据存储、数据可视化分析等专业有效的数据处理服务与产品技术方案,服务行业涵盖电力业、金融业、医疗业、制造业等,已帮助多数500强企业全方位处理数据问题。


数据质量管理不是一蹴而就之举,需要我们持之以恒,华矩科技欢迎与业内行业专家共同讨论,摩擦出推动数据质量发展的火花,也愿与大家一同分享我们的经验成果,并为更多企业客户提供方案与技术支持。

Copyright 2003-2022HuaJu.All right reserved. 粤ICP备13073666号-2
市场部:
marketing@hjbis.com
客服咨询:
400-038-1778
华矩微信服务号