烟草公司数据运营平台数据质量管控&生命周期体系设计与实施

展开文章目录

文章目录

1 数据质量规范制定工作
2 数据质量规范落地工作
3 数据质量审核工作
4 数据生命周期策略制定工作
5 数据生命周期规范落地工作

数据治理体系的建设是促进公司数据管理体系建设和执行体系落地的有力支撑平台，将分散的数据通过标准化、质量探查、清洗、集成及监控等技术手段进行优化，形成公司内的数据治理体系，并结合公司组织结构，形成数据管控执行体系。数据治理是确定如何进行数据资产管理的组织制度、标准规范以及流程支撑体系建设，是一套涵盖组织、制度、流程、工具的管理体系，以提升数据价值，实现企业的数字化战略。通过数据治理体系的设计与实施，形成《重庆中烟数据治理体系管理规范》成果，内容包括但不限于：数据治理功能（数据标准管理、数据质量管理、数据资产管理、数据生命周期管理、主数据管理、元数据管理等）、数据组织架构（角色职责、策略规划、管理办法等）和数据流程制度（组织流程、建立流程、维护流程、考核流程）等。

本项目之数据质量管控体系设计与实施，主要包括以下三个方面：

1 数据质量规范制定工作

制定相关数据质量规范，确保在数据盘点到数据运营平台上线运行全过程进行数据质量管控；在数据资产盘点过程中，按数据质量管控要求和规范进行分析和评估，为数据质量规范的落地制定规范、明确现状和问题。

烟草公司数据运营平台数据质量管控&生命周期体系设计与实施 — 数据质量管理规则示例图

2 数据质量规范落地工作

在数据中台搭建过程中，针对存量数据已明确的数据质量问题，进行全面的数据清洗，保证装载到数据中台的业务数据符合相关数据质量要求；在数据运营平台上线运行过程中进行事中的监控预警，以及事后的数据健康稽查，并在数据运营平台上提供数据质量监管功能。同时从数据的产生、存储、共享、维护、应用、停用全生命周期的每个阶段里可能引发的数据质量问题，进行识别、监控、预警等管理并形成周期性数据质量报告。

3 数据质量审核工作

对传输和装载到数据中台的数据，按照数据“谁主管、谁负责”原则，针对不同类型数据审核要点及不同岗位审核要求，基于数据实际使用情况采用逐级审核、周期性检查、人工校验、数据修正等方式，建立逐级抓落实的数据质量审核责任体系，严格落实对源头数据质量的审核责任，满足数据质量完整性、一致性、准确性和及时性要求，实现数据质量的持续提升。

数据生命周期管控体系设计与实施，主要包括以下两个方面：

4 数据生命周期策略制定工作

根据数据的活跃度、及时性、存储成本、风险管理、运维成本等因素确定数据服务水平，依据业务数据服务水平的高低，明确数据全生命周期的存储处理操作规范。满足业务操作和管理分析的需要、对历史数据查询、相关政策和管理制度的要求、审计管理要求，减少数据冗余和存储、硬件、运维等方面基础设施投入，提高数据一致性和应用系统响应速度等性能。数据生命周期管理用于管理数据运营平台中的数据在创建、采集、传输、存储、处理，到交换、销毁等整个生命周期内的流动。对重庆中烟的数据资产清单中的逻辑实体进行安全定级，严格按照重庆中烟网络与数据安全策略，针对不同安全级别的数据实行相应的安全管控。

5 数据生命周期规范落地工作

在数据生命周期规范落地工作中，项目建设应严格按照国家、烟草行业及重庆中烟相关网络安全制度规范同步建设本项目网络安全内容。在数据运营平台应用和服务开发过程中严格遵守重庆中烟安全管理要求，结合公司业务和安全实际情况，采用公司统一的安全保障能力实现数据在产生、注册、处理、上线、销毁等全生命周期过程中的安全保障，并根据公司数据安全管理相关要求构建数据安全管理流程，实现数据运营平台统一的数据应用生命周期管控体系。基于公司数据加密、数据脱敏等技术手段与安全策略，从系统层面通过权限访问控制保障数据使用和传输安全。针对数据用户所提供的应用和服务，做好数据访问、操作日志的全面记录，支持事后的数据审计，并通过对用户行为日志的跟踪和分析，挖掘潜在的数据风险并提示预警，及时暴露数据状况。

本系列文章摘取自公开发售的项目招标文件，该项目（纯软件）招标控制价逾 1300 万元，最后德勤公司以 1100 万元中标，分享在此仅供技术交流。