原文为WORD格式，来源公众号：优享智库

功能架构

1 大数据资源中心建设方案

在本次项目中，我们需要制定全市公共数据汇聚的标准规范和管理制度，归集全市各单位的政府公共数据，形成XX市的政务数据资源湖。同时经过对数据进行清洗、转换、融合、治理后，形成高质量的公共数据资源，构建形成XX市标准化都大数据仓库。

基于全市的政务数据资源湖，利用经过治理后的数据，可以针对某一特领域的业务数据共享、应用需求，按主题归集形成专题库和主题库，并面向政务部门及社会进行数据开放。此外，我们还将持续开展、深入XX市大数据的应用探索，围绕跨部门、跨领域、跨行业的数据应用需求，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，逐步建立不同领域的应用专题或主题库构建面向全市多部门提供统筹的数据共建共享共用的数据服务。

1.1 中心总体定位设计

XX市大数据能力平台包括市级数据湖、基础库、主题库和融合业务应用数据库几大部分，是数据接入、数据归集和数据治理形成的结果。其中，数据治理保证市级数据湖中数据的规范，构建基础库和融合业务应用数据库，是更高层次的数据管理机制。通过数据治理，面向政务、物联、视频三大类数据，保障数据架构、数据标准、数据开发等数据管理职能的开展，提升数据管理水平，对数据采集、存储、交换、共享、使用等全生命周期进行持续改善。

本期项目建设的数据资源中心可覆盖XX市各委办局部门，数据来源包括市级（含下属区县）各级政务数据、物联设备数据、视频数据等。可满足多源异构的结构化数据、半结构化数据和非结构化数据的存储，支撑政务数据共享交换需求，支撑数字XX市建设上层应用算法模型训练需求，支撑上层应用系统的数据需求，需要设计相应的数据库以及数据存储结构。

XX市大数据能力平台的建设采用市级数据湖+基础库+主题库的数据存储架构，市级数据湖与主题库依托于大数据支撑子系统建设。数据来源主要来自于XX市各级委办单位、各乡镇街道，数据包括市政府及市级委办局政务数据、视频数据，事业单位数据等，经由数据数据交换子平台采集、归集后：

1. 将数据存储落地于市级数据湖，市数据湖中存储贴源业务数据，并形成共享数据的数据资源门户；

2. 由数据数据交换子平台将数据从市数据湖交换至数据治理工具；

3. 数据治理工具根据数据治理规则、数据标准、行业指标等特性，完成对源业务系统贴源数据的治理，形成高质量的业务数据；

4. 由数据数据交换子平台将经过治理的数据写入至基础库和各类融合业务应用数据库，在融合业务应用数据库中进行数据的主题分类、维度模型分析、内容分析等业务操作，形成主题库，并形成数据资源门户；

5. 对于基础库和融合业务应用数据库中高质量的业务数据，一则可通过数据数据交换子平台的交换功能对内提供各租户间的数据共享；二则可通过数据数据交换子平台的共享功能对外提供对外的服务发布与利用，包括对上层应用的数据支撑和对源各委办部门的数据反哺。

从上述各原始数据源→市大数据资源中心→外部应用/各委办的数据流向可以看出，市级大数据资源中心的数据库设计需能够满足关系型数据、多种类型数据文件、空间地理数据、半/非结构化数据、IoT数据、视频影像数据等的存储，并需要支撑各种多维、聚合数据的分析。

2、总体设计

因此，在本项目中XX市大数据能力平台的建设采用市级数据湖+基础库+主题库+融合业务应用数据库的数据存储架构。具体，对于XX市大数据资源中心的建设规划如下：

大数据资源中心

2.1 建设XX市数据湖

市级数据湖通过数据数据交换子平台与进行政务数据、物联数据和视频数据的交换。依据部门类别、数据源类别等，通过数据库提供的多租户功能构建资源隔离的租户空间。市级数据湖中的共享数据依据元数据进行编目，建立动态更新的数据资源门户。

市级数据湖的数据存储规模庞大，需要支持存储扩展和横向、纵向迁移，直接用于分析的平均价值密度较低，通常需经过预处理、集成后，形成高质量的主题库数据资源支撑不同的上层应用。

2.2 数据湖数据架构

市级数据湖是所有从外部数据源落地到市数据管理部门的统一数据存储空间。市级数据湖将基于政务云存储服务和大数据支撑子系统提供的数据库服务进行搭建，存储通常包括分布式文件存储系统、关系型数据库、NoSQL数据库、列式存储数据库等类型，主要存储政务、视频和物联三大类多源异构、未经加工的原始数据，需要支持存储结构化、非结构化等多种类型的数据。

数据湖是存储各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖从全市委办多个数据源获取原始数据，并且针对不同的目的，同一份原始数据还可能有多种满足特定内部模型格式的数据副本。因此，数据湖中被处理的数据可能是任意类型的信息，包括结构化数据、半结构化数据和非结构化数据。基于以上，数据湖整体架构如下：

数据湖架构

3、建设XX市基础库

在本次项目中将基于数字XX市与XX市智慧城市大脑的建设需求，以数据湖数据资源为基础，建设全市统一的基础人口综合库、法人综合库、电子证照库与空间地理信息基础库，支撑全市基础数据相关应用。

其中，电子证照基础库已经建成，而人口综合库、法人综合库与空间地理信息库则需要新建（或重建）。

3.1人口基础库建设

通过对人口综合库数据源的全面梳理，构建全市统一的、以公民身份号位为唯一标识的、可共享的综合人口信息资源库。基于综合人口库，实现全市人口信息的汇聚治理、共享交换和应用服务，为开展跨部门、跨业务、跨区域的人口应用服务和数据共享，以及人口大数据分析、辅助决策等，提供全方位的人口信息支撑。

人口库管理应用提供对汇聚形成的人口数据的概况展示、人口个案查询及多条件查询、人口统计、人口画像等应用功能，并提供针对人口数据处理规则、数据模型、字段来源、生命周期配置等管理维护功能。

人口库

3.2 法人基础库建设

通过对法人库数据源的全面梳理，对法人库数据接入相关功能进行数据接入来源方面的功能整合开发。将原来由法人库向数据提供部门采集且已（将）接入大数据资源平台的数据，通过相关数据接入功能整合开发，改由大数据资源平台直接向法人库提供，不再需要相关数据提供部门重复提供。

构建全市法人信息基础数据库后，能把原先碎片化存放的信息归集到法人名下，全面立体的展示法人相关信息，并为全市其他平台和应用提供有力支撑。

法人基础库

3.3空间地理库建设

基于规划、国土资源等部门提供的图数据、坐标系和坐标数据，采用GIS、遥感影像、三维建模等技术，构建空间地理信息库，并将遥感影像、地址数据、政务信息图层等，与人口信息、法人单位、宏观经济等进行整合，为全市政府部门和企事业单位提供统一的、综合的空间地理信息服务。

本次项目建设将整合房屋信息和地址信息，房屋信息包括房屋地址、图纸、产权人（身份证或统一社会信用代码）、联系人、联系方式、开发单位、施工单位、房屋结构信息及修改时间，并按照住宅、商业和公用事业进行分类。地址信息主要为原有地址库数据的整合、清洗、加工，提高地址信息的数据质量，为城市管理和社会公共服务提供数据支撑。

4、AI赋能应用建设

4.1 AI赋能数据治理

大数据平台会归集各委办局及社会信息数据到大数据共享中心，而各类数据的质量参差不齐，结构化数据和非结构化数据并行，想要数据得到有效的利用，发挥大数据的价值，就需要对相应的数据进行清洗、加工、归类、结构化提取等。

4.2 AI赋能交通治理

针对交通卡口以及城市道路的视频数据及图像数据，对于交通事故、交通违章、精细化管理策略等，通过人工智能手段，即可实现自动化监控、智能化管理。

4.3 AI赋能路政治理

基于AI算法，结合相关数据，针对路政提供相应的符合XX市的智能路政管理平台，并从多个场景进行智能化管理。

4.4 AI赋能工地管理

智能工地管理采用智能化信息化管理的模式对施工现场的人员、设备、物资、安全、质量等做管理和控制，包括安全违规行为识别、人员及车辆进出管理、物料智能配置、高塔危险设备监控等；

4.5 AI赋能城市安全

构建智慧城市的安全系统，需要做到对异常变化的敏锐感知。要充分发挥人工智能的技术优势，针对人、车、物、地、事件信息进行实时采集与分析，将危险源、隐患、事故等数据相联动关联，实现对复杂场景的敏锐感知与精准掌控。

4.6 AI赋能市场监管

建设全市统一的市场监管大数据应用服务，通过提供基础监管数据库、精准市场日常监管、市场监管信息共享等关键数据指标服务，助力更新政府市场监管逻辑、消除信息不对称、增强监管合力、解决监管力量落差问题、降低市场监管成本。

基于大数据资源基于AI能力，构建基础监管数据库，提供精准市场日常监管、市场监管信息共享等关键数据指标服务。

4.7 AI赋能智慧旅游

汇聚全市旅游相关的各类数据，包括：旅游景点相关数据、旅游行业企业数据、旅游产业收入数据、旅游游客接待数据、游客分布分析数据、全市居民外出旅游相关数据等，建设全市统一、专业的旅游数据库，支撑全市各类与旅游相关业务的数据应用。

4.8 AI赋能智慧农业

建设全市统一的农业大数据应用与展示服务，汇聚农业研究、环境、生产与市场相关数据，构建农业综合信息服务、农业数据监测预警、农业环境监测等关键指标数据服务，为指导全市农业生产与制定发展决策提供全面的数据支撑，推动农业快速与高质量发展。

4.9 AI赋能全民健康

建设全市集中、全面的市民健康大数据应用服务，通过汇聚全市医疗机构与个人健康相关数据，建设全市医疗数据共享、公众健康指数等关键指标数据服务，助力降低医疗成本，预测流行病的爆发，改善全市人民健康状况，提高整体生活质量。

相关标签：