在项目中，我们需要制定全市公共数据汇聚的标准规范和管理制度，归集全市各单位的政府公共数据，形成的政务数据资源湖。同时经过对数据进行清洗、转换、融合、治理后，形成高质量的公共数据资源，构建形成标准化都大数据仓库。

基于全市的政务数据资源湖，利用经过治理后的数据，可以针对某一特领域的业务数据共享、应用需求，按主题归集形成专题库和主题库，并面向政务部门及社会进行数据开放。此外，我们还将持续开展、深入大数据的应用探索，围绕跨部门、跨领域、跨行业的数据应用需求，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，逐步建立不同领域的应用专题或主题库构建面向全市多部门提供统筹的数据共建共享共用的数据服务。

中心总体定位设计

大数据能力平台包括市级数据湖、基础库、主题库和融合业务应用数据库几大部分，是数据接入、数据归集和数据治理形成的结果。其中，数据治理保证市级数据湖中数据的规范，构建基础库和融合业务应用数据库，是更高层次的数据管理机制。通过数据治理，面向政务、物联、视频三大类数据，保障数据架构、数据标准、数据开发等数据管理职能的开展，提升数据管理水平，对数据采集、存储、交换、共享、使用等全生命周期进行持续改善。

本期项目建设的数据资源中心可覆盖各委办局部门，数据来源包括市级（含下属区县）各级政务数据、物联设备数据、视频数据等。可满足多源异构的结构化数据、半结构化数据和非结构化数据的存储，支撑政务数据共享交换需求，支撑数字建设上层应用算法模型训练需求，支撑上层应用系统的数据需求，需要设计相应的数据库以及数据存储结构。

大数据能力平台的建设采用市级数据湖+基础库+主题库的数据存储架构，市级数据湖与主题库依托于大数据支撑子系统建设。数据来源主要来自于各级委办单位、各乡镇街道，数据包括市政府及市级委办局政务数据、视频数据，事业单位数据等，经由数据数据交换子平台采集、归集后：

1. 将数据存储落地于市级数据湖，市数据湖中存储贴源业务数据，并形成共享数据的数据资源门户；

2. 由数据数据交换子平台将数据从市数据湖交换至数据治理工具；

3. 数据治理工具根据数据治理规则、数据标准、行业指标等特性，完成对源业务系统贴源数据的治理，形成高质量的业务数据；

4. 由数据数据交换子平台将经过治理的数据写入至基础库和各类融合业务应用数据库，在融合业务应用数据库中进行数据的主题分类、维度模型分析、内容分析等业务操作，形成主题库，并形成数据资源门户；

5. 对于基础库和融合业务应用数据库中高质量的业务数据，一则可通过数据数据交换子平台的交换功能对内提供各租户间的数据共享；二则可通过数据数据交换子平台的共享功能对外提供对外的服务发布与利用，包括对上层应用的数据支撑和对源各委办部门的数据反哺。

从上述各原始数据源→市大数据资源中心→外部应用/各委办的数据流向可以看出，市级大数据资源中心的数据库设计需能够满足关系型数据、多种类型数据文件、空间地理数据、半/非结构化数据、IoT数据、视频影像数据等的存储，并需要支撑各种多维、聚合数据的分析。

建设数据湖

市级数据湖通过数据数据交换子平台与进行政务数据、物联数据和视频数据的交换。依据部门类别、数据源类别等，通过数据库提供的多租户功能构建资源隔离的租户空间。市级数据湖中的共享数据依据元数据进行编目，建立动态更新的数据资源门户。

市级数据湖的数据存储规模庞大，需要支持存储扩展和横向、纵向迁移，直接用于分析的平均价值密度较低，通常需经过预处理、集成后，形成高质量的主题库数据资源支撑不同的上层应用。

数据湖数据范围

大数据能力平台的数据湖支持大范围内的各种类型各类数据的存储与管理，其数据的主要来源包括：

包括市政府各办数据、市下属各委办局数据、各乡镇、街道数据，省级平台下发的各类政务数据等。

市级自来水、电力、煤气、供热等公共事业数据，此类数据是和百姓生活息息相关的重要民生资源。

各类物联设备数据，包括设备数据、日志数据、事件数据等。

各类监控等视频类数据，包括半结构化数据、视频大图、视频小图等。

社会相关数据，包括各事业单位业务与管理数据、互联网数据等。

相关标签：