本项目依托公司总部及重庆、涪陵和黔江三厂现有的云平台组件资源和业务数据,贯彻行业信息化战略要求,支撑重庆中烟“数字化战略”,以项目建设来满足企业越来越强烈的数据感知与决策业务需求,改进和提升企业相关管理能力与水平。数据运营平台系统建设,是结合公司“数字重庆中烟”建设规划总体规划发展路径,在中台化架构、云平台等新架构新技术下既是落实国家局党组关于全国烟草生产经营管理一体化平台建设工作方案的要求,也是推动烟草生产经营管理一体化平台建设“数据中台”落实落地的积极探索,较之行业内数据中心和大数据分析应用建设有更深的技术探索和变革意义。
本章节内容(项目建设内容)均为招标人关于本项目的基础要求,各投标人应根据相关要求优化技术方案。
1 烟草公司数据运营平台基础环境
本项目所涉及到的云基础及云平台软件由重庆中烟已完成部署的阿里专有云平台提供,硬件环境包含:物理服务器和网络设备构建的 IaaS 层;软件包括:云上运管服务、基础设施服务、数据库组件服务、大数据组件服务、中台组件服务、安全服务、移动协同应用服务、业务可视化服务、安全等保服务等。
数据运营平台所需组件的采购应满足在公司已购入阿里云平台组件基础上搭建的实施要求,确保完全适配现有原生阿里云组件,避免出现因不兼容、低适配等而造成的项目实施问题。所需相关已购组件清单及说明如下:
序号 | 采购项 | 软件名 | 说明 |
1 | 分析型数据库 | 分析型数据库(ADS) | 满足海量数据分析、实时高并发在线分析服务 |
2 | 数据传输服务 | DTS 数据传输服务 | 满足跨库跨系统即时查询 |
3 | 关系型数据库 | 云数据库 RDS MySQL | 满足引擎部署,即时查询 |
4 | 大数据存储计算服务 | 大数据计算服务(Maxcompute) | 满足数据中台数据存储和计算服务 |
5 | 大数据 service 服务 | API 网关 | 满足数据中台数据提供数据服务 |
6 | 数据可视化引擎 | DataV | 满足可视化大屏 |
7 | 数据总线 | DataHub | 实时数据汇集 |
8 | 云服务器 | ECS | 部署数据中台引擎 |
9 | 缓存数据库 | Redis | 部署数据中台引擎 |
2 数据运营平台组件采购
根据国家局关于烟草行业数字中台建设指导意见,按照行业统一新型数据仓库基础工具能力要求,满足行业新型数据中心基础工具能力,为避免重复采购,确保投标方在本项目所采购的支持数据运营平台及数据中台搭建组件应基于并完全适配重庆中烟现有的阿里云平台组件(具体详见本章第 3.1 条“基础云平台环境”),同时应满足如下功能要求:
- 大数据处理分析:离线计算,支持 MapReduce、UDF、data tunnel、管理控制台、ETL 调度;
- 多维实时数据分析:多维实时数据分析组件,支持数据写入、查询、导入,内置 Web Console,内置实时元数据仓库;
- 日志收集:提供一站式针对日志类数据场景的日志收集工具;
- 弹性搜索:提供分布式的全文搜索引擎中间件;
- 数据开发平台:提供端到端的一站式大数据开发、管理、离线调度和应用支撑平台;
- 数据构建平台:数据中台引擎,提供一站式数据集成、数据规范、数据建模、数据研发、数据抽取、数据资产管理和数据服务的全链路智能数据构建及管理组件;
- 数据总线:提供各类业务数据的接入和集成;
- 数据分析与展现:提供基于数据可视化方式的多源数据综合展现组件,满足 BI 分析报表开发需求,形成数据可视化分析平台,数据分析与展现组件有 QuickBI、SmartBI、FineBI 等;
- 智能报表:提供海量数据即席分析,实现拖拽式操作、丰富的可视化效果。
投标人必须基于重庆中烟现有的阿里云平台组件,明确本项目采购支持数据运营平台建设的数据组件、必须的软件授权采购数量和金额。
2.1 数据构建及管理组件
采购数据中台所需的数据构建及管理组件,一站式提供集数据引入、规范定义、数据建模、数据研发、数据萃取、数据资产管理和数据服务的全链路智能数据构建及管理服务,数据构建及管理组件应与行业省级基线版本完全兼容,应满足如下要求:
1)数据构建及管理组件应遵从数据规范统一的要求,采用维度事实建模理论,对维度、维度属性、业务过程、指标字段等进行严格的标准化、规范化定义,保障数据质量,避免数据指标定义的二义性。
2)数据构建及管理组件应具备自动化编码的能力,包括高效且自动化的编码和智能计算优化能力。高效且自动化的编码能力指基于函数化理念,对通用数据计算逻辑进行组件化定义,并可自由组建统计指标,从而实现自助化建模研发,系统自动生成代码执行数据生产。智能计算优化能力指支持从业务视角进行逻辑建模。逻辑模型发布后,系统自动化进行物理建模、编码,从而降低对开发人员的技术能力依赖。
3)数据构建及管理组件应具备全链路、一站式、智能化开发的能力,一站式地完成数据导入、建模、开发、运维、数据查找及探查等过程,开发链路统一且高效。可以完成模型和指标的抽象与自助定义、代码自动化生产、主题数据自动聚合并输出服务。
4)数据构建及管理组件应具备调度与运维的能力,对建模研发、编码研发生成的代码任务进行基于策略的调度与运维,确保所有任务正常有序地运行,包括部署数据生产任务、查看任务运行情况、管理及维护任务之间的依赖关系。
5)数据构建及管理组件应具备高效数据资产管理和数据资产可视化管理的能力,基于规范化建模、高效自动化的元数据抽取,以标准的技术框架系统地构建规范的业务化数据目录,形成数据资产地图,方便业务查找及应用。系统化构建业务数据资产大图,从数据视角还原业务系统、提取业务数据,快速感知业务关键环节及数据。
6)数据构建及管理组件应具备高效数据检索和主题式数据查询的能力,基于元数据及业务数据构建数据图谱,实现快速、智能检索数据表及数据。通过主题式数据查询服务,快速查询和访问开发构建的数据逻辑表。
7)数据构建及管理组件应具备一站式平台管理能力,包括账号管理、计算设置和智能引擎,可以通过管理中心来进行成员管理和计算设置,也可以通过智能引擎配置计算和存储规则,以提高数据构建的效率。在权限管理方面,应提供多种资产对象和功能权限的精细化管理,支持权限主动申请与交还、权限审批、主动授权或回收权限等功能,实现权限最小化管控,同时应能查看权限审批流程各环节的进展,及时跟进处理流程。在告警方面,要具备统一的告警中心,展示数据质量、实时计算、数据服务模块的告警事件和推送记录。
8)数据构建及管理组件应具备数据治理的能力,包括数据质量管理和数据安全管理。对于数据质量管理,要能提供全链路的数据质量方案,包括质量规则配置、质量监控、智能报警等功能。对于数据安全管理,要能提供数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助重庆中烟建立完善的数据安全体系,确保数据使用的安全合规。
9)数据构建及管理组件应具备数据服务的能力,提供高效、便捷的主题式查询功能及有效的 API 封装与服务注册能力,更好地进行数据资产应用以实现价值化。
2.2 前端数据分析展现工具
采购数据运营平台建设所必须的前端数据分析展现工具,通过智能的数据分析和可视化能力帮助重庆中烟建设数据分析与服务能力,满足 BI 分析报表的开发需求,从管理层决策分析和驾驶舱,到业务专题分析,再到一线人员自助分析和报表,实现企业数据分析全场景覆盖,应满足如下要求:
1)前端数据分析展现工具应具备高性能海量数据分析的能力,通过预计算、缓存等方式,实现 10 亿条级数据查询秒级获取。
2)前端数据分析展现工具应支持通过各种可视化组件(表格、趋势图、仪表盘等)构建具备交互式分析(联动、钻取、圈选、标注等)能力的报表或驾驶舱。
3)前端数据分析展现工具应具备构建开放式数据门户的能力,通过菜单和导航形式组织数据分析的服务门户,内容可以包括仪表板、电子表格、数据填报、自助取数、外部链接等,通过数据分析服务门户可以制作复杂报表体系,也可以制作面向某一专题的数据分析应用服务。
4)前端数据分析展现工具应具备即席分析的能力,可以让业务人员无门槛地通过自由拖拽指标合成报表,可以随意选择指标、维度和纬度值,可以对任意数据行列进行合并与拆分,支持在表格区域内直接进行多种计算、排序和格式化,当业务和组织发生变化后不需要底层数据改动就可以快速进行报表制作。
5)前端数据分析展现工具应提供百万级别的数据下载能力,可以将数据下载到本地或服务器端进行进一步的数据加工或分析。
6)前端数据分析展现工具应具备在线数据收集与上报功能,提供丰富的表单组件、批量上传能力、数据管理和审核、灵活的拖拽式操作和安全的数据权限管控体系。
7)前端数据分析展现工具应具备订阅推送功能,将报表内容以导出、截图等方式发送给用户,可以对接邮件、移动协同办公平台(重庆中烟专属钉钉)或企业微信群等方式推送订阅服务。
8)前端数据分析展现工具应具备监控预警功能,可以自定义异常情况的条件,通过不同时间周期实时监控报表中指标异常变化,并将监控信息通过邮件、短信、钉钉或企业微信群等方式发送给对应用户。
本系列文章摘取自公开发售的项目招标文件,该项目(纯软件)招标控制价逾 1300 万元,最后德勤公司以 1100 万元中标,分享在此仅供技术交流。