原标题：11万字智慧政务大数据平台底座、数据治理、数据中心建设方案WORD

资料来源网络，目的是交流学习，如有侵权问题，请联系删除，下载本文资料查看公众号：智慧方案文库，喜欢文章可以评论转发点赞。

资料内容如下：

目 录

第一章 项目概况

1.1 项目名称

1.2 项目单位

1.3 项目建设依据

1.4 项目建设内容和目标

1.4.1 建设内容

1.4.2 建设目标

1.5 项目投资估算及建设周期

1.5.1 项目投资估算

1.5.2 服务周期

第二章 现状

2.1 项目单位概况

2.1.1 单位职责、内设及下属机构、人员编制和业务情况

2.1.2 拟建项目与项目单位职责、业务的关系

2.2 信息化现状

2.2.1 本单位或本领域信息化建设的整体框架规划或设想

2.2.2 现有应用系统的情况

2.2.3 拟建项目与已有系统的关系

2.2.4 现有网络、设备以及其它信息资源情况

第三章 项目的需求分析

3.1 项目建设的背景

3.2 项目建设的依据

3.2.1 《XX公共数据和一网通办管理办法》（X府令9号）

3.2.2 《XX加快推进数据治理促进公共数据应用实施方案》（X委办8号）

3.2.3 《XX公共数据质量管理暂行办法（征求意见稿）》（X数函〔2019〕14号）

3.2.4 《2020年XX深化“一网通办”改革工作要点》 (X委办〔2020〕12号)

3.2.5 《关于加强数据治理促进城市运行“一网统管”的指导意见》（X委办〔2020〕24号）

3.3 项目建设的必要性

3.3.1 业务现状、存在的具体问题和业务目标

3.3.2 业务对信息系统的具体需求

3.3.3 成果应用效果、推广设想、可持续发展情况

3.4 用户和业务流程分析

3.4.1 用户分析

3.4.2 现有业务流程

3.5 平台性能需求分析

3.5.1 平台存储能力要求

3.5.2 平台数据计算/并发能力要求

3.5.3 平台门户使用要求

3.6 业务量需求分析

3.6.1 业务量分析

3.6.2 数据存储量分析

3.6.3 数据存储部署资源分析

3.7 硬件设备需求分析

3.8 功能需求分析

3.8.1 大数据底座

3.8.2 数据采集子系统

3.8.3 数据治理子系统

3.8.4 数据资源中心

3.8.5 数据共享子系统

3.8.6 门户子系统

3.8.7 统一运维子系统

3.8.8 数据安全管理子系统

3.9 数据分析

3.9.1 数据流程和属性分析

3.9.2 数据量分析

3.9.3 信创适配分析

3.10 满足应用的需要

第四章 项目建设方案

4.1 建设目标

4.2 总体架构

4.2.1 总架构图

4.2.2 平台架构关系

4.3 建设内容

4.3.1 大数据底座

4.3.2 数据采集子系统

4.3.3 数据治理子系统

4.3.4 数据资源中心

4.3.5 数据共享子系统

4.3.6 门户子系统

4.3.7 统一运维子系统

4.3.8 数据安全管理子系统

4.4 应用系统

4.4.1 大数据底座

4.4.2 数据采集子系统

4.4.3 数据治理子系统

4.4.4 数据共享子系统

4.4.5 门户子系统

4.4.6 统一运维子系统

4.4.7 数据安全管理子系统

4.5 资源中心建设

4.5.1 中心总体定位设计

4.5.2 XX市级数据湖

4.5.3 杨浦基础库

4.5.4 杨浦主题库

4.5.5 杨浦专题库

4.6 配套实施工作（三清单一目录）

4.6.1 概述

4.6.2 工作范围

4.6.3 梳理思路

4.6.4 梳理工作开展

4.6.5 梳理工作要求

4.7 网络系统

4.8 服务器和存储系统

4.9 系统软件

4.10 信息安全保障方案

4.10.1 安全体系总体设计

4.10.2 各层级的安全策略设计

4.10.3 安全管理要求

4.10.4 应急保障预案

4.11 数据管理方案

4.11.1 数据来源

4.11.2 数据更新机制

第五章 项目实施进度和组织安排

5.1 项目建设周期

5.2 实施进度计划

5.3 责任人和组织保障

5.3.1 项目领导机构

5.3.2 项目实施机构

一.1.1 大数据底座

建设统一的大数据底座基础平台，包含大数据存储、计算、分析、处理、管控、运维等能力。

建设统一多租户模型，实现大数据域组件的管控，实现组件资源的运营分析支撑，精细掌握租户分配状态，资源利用情况；建立租户运营流程，实现租户及资源分配的统一管理，租户管理能力标准化。支持租户管理，实现组件资源的分配及实例创建，并支持组件的细粒度授权。

Ø 建设统一多租户模型，贯通Hadoop、Kubernetes、数据中台，打造集合平台、应用及运营的全场景化能力体系

Ø 建设资源服务目录，实现Hadoop组件HDFS、Hive、HBase、Yarn及Kafka的接入。

Ø 实现租户资源管理及实例创建功能，实现区大数据中心、区委办的资源分配的统一管理，提供资源监控能力，租户管理能力标准化

Ø 实现细粒度权限管理，组件的细粒度授权功能，支持组件的精细化管理，提升组件的安全管理能力，并支持数据及资源的开放能力；

Ø 支撑平台运营管理，实现线上的租户管理、租户分析，用量提醒，支持平台运营管理。

一.1.2 数据采集子系统

数据采集需要实现对全区各委办单位的数据采集功能，包括离线采集、准实时采集和实时采集的采集方式，根据各委办局业务数据的情况进行采集技术的实现。

Ø 数据采集：政府数据来源多样，包含视频类数据、物联感知类数据以及传统的政务公共数据，各数据来源的数据格式也不一致，在收集的过程中需对数据进行规范化处理，以便于管理使用。

Ø 大数据存储：实现现有应用的大量结构化数据、半结构化数据，以及将全市统一规划的大量图片、视频资料等非结构化数据的存储需求，要求大数据基础平台采用分布式文件系统实现对汇聚的多类型海量数据的存储。

Ø 大数据分析计算：数据分析的处理速度、准确度对实际应用的及时性、高效性都有至关重要的影响。大数据平台提供分布式计算、流式计算、内存计算多种数据计算引擎，能够针对不同的场景采用不同的计算模型，对数据进行大规模批量处理或者实时处理，大大提升政府部门的决策效率能力。

Ø 分布式资源管理和调度：Hadoop 2.0中的资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。

Ø 大数据集群运维管理：作为运维系统，为数据基础支撑子平台提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装/升级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。

一.1.3 数据治理子系统

建设大数据治理子平台，提供数据标准管理、元数据管理、数据质量管理能力，实现对数据的规范治理与管理；提供数据工厂能力，实现对归集的数据进行清洗、加工，支撑业务的数据应用需求。具体，在本次杨浦大数据资源平台建设项目中，数据治理子平台的建设内容包括：

Ø 资源目录管理：提供资源目录管理功能，包括：资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等；

Ø 数据标准管理：提供数据标准管理功能，包括：字典标准管理、命名标准管理、维度标准管理及数据项标准管理；

Ø 元数据管理：提供元数据管理功能，包括：元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析；

Ø 数据质量管理：提供数据质量管理功能，包括：质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告；

Ø 数据开发平台：提供数据开发平台能力，支持可视化开发和原生态开发两种开发模式，实现原生态开发与可视化编排的互相转换；

Ø 统一调度管理：提供统一调度管理功能，提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。

一.1.4 数据资源中心

在本次项目中，我们需要制定全区公共数据汇聚的标准规范和管理制度，归集全区各单位的政府公共数据，形成XX市的数据资源湖。同时经过对数据进行清洗、转换、融合、治理后，形成高质量的公共数据资源，构建形成杨浦标准化数据仓库。

基于全区的数据资源湖，利用经过治理后的数据，可以针对某一特领域的业务数据共享、应用需求，按主题归集形成专题库和主题库，并面向政务部门及社会进行数据开放。此外，我们还将持续开展、深入杨浦大数据的应用探索，围绕跨部门、跨领域、跨行业的数据应用需求，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，逐步建立不同领域的应用专题或主题库构建面向全区多部门提供统筹的数据共建共享共用的数据服务。具体，在本次杨浦大数据资源平台建设项目中，数据资源门户的建设内容包括：

Ø 建立XX市级数据湖：构建全区公共数据的存储与计算空间，支撑各类数据资源的汇聚存储、处理计算与查询应用，并依据部门类别、数据源类别等提供资源隔离的多租户数据应用空间；

Ø 完成数据对接的实施：完成与区各委办业务与管理系统、XX大数据资源平台以及物联网相关平台数据的对接，汇聚各类业务数据，形成全区公共数据资源池；

Ø 建设基础库：建设全区统一的基础人口综合库、法人综合库、电子证照库以及地理空间库，支撑全区人口、法人、电子证照与地理空间等数据相关应用；

Ø 建设主题库：建设全区统一的产业经济主题库、电子证照主题库、权力事项主题库等，支撑全区产业经济相关数据应用。

Ø 主题库

围绕跨部门、跨领域、跨行业等的通用应用服务，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，提供超级应用级数据服务。主题库的建设是为了满足某一特大型领域的业务共建共享需求，需要多个部门合作，在大数据主管部门的支撑下，构建面向全区多部门提供统筹的数据共建共享共用的数据服务。

为了解决目前全区面向企业法人提供服务缺失基础数据的情况，本次项目拟建设XX市企业精准服务主题库。

Ø 专题库

面向特定领域专题应用的数据服务。一般由各自委办局自行开发建设，也可以根据实际情况由委办局委托大数据中心代建代运营。作为领域的专题数据，一般不作为支撑大型跨领域、跨行业的超级综合应用并向外部门提供数据服务，更多的是满足部门自身需求。

一.1.5 数据共享子系统

为减少不同委办大数据服务中共性模块的重复建设，实现对外服务的规范、安全管理和成功案例的快速复制，最大程度吸引外部开发能力，建设大数据对外服务基础平台，提供数据交换管理、自助数据探索、个性化推荐、行业标签等共性服务功能，实现大数据对外服务的快速部署。

建设数据共享服务将功能和接口，要求以应用需求为导向，在政务服务、市场监管、城市管理、社会治理等领域探索开展公共数据共享应用，为跨区域协同发展提供数据支撑。

包含数据交换和服务管理，支持结构化库表下发、文件共享、API接口共享、非结构化数据共享、接口代理等多种数据共享方式。

一.1.6 门户子系统

在XX市大数据资源平台项目的基础上扩展功能。主要包括消息推送、数据推送、个人信息管理、系统管理等功能。

建立数据开放门户：主要实现数据目录、数据接口、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户目录的建设。包含业务流程申请、展示、统计、查询等功能。

Ø 分析、统计、展示功能

将数据共享情况、数据归集情况进行统计分析后展示。可对填报、统计分析数据设置审批岗，对数据进行双重把关，对统计结果进行推送。KPI指标监控、监控指标预警信息及时推送、数据钻取，实现由粗-细，切换维度的数据分析、可视化图表，易于信息获取。

Ø 查询及业务流程申请功能

当委办向大数据中心提出查询要求，需要通过申请审批完成数据资源分享，同意后，方可对委办开放查询服务，以满足委办对于某项或某类数据的需要。

大数据中心对接委办的管理流程，委办提出需求需要查询某数据项，将在该门户提出申请，如三清单一目录的申请，直接进行登记。

一.1.7 统一运维子系统

为了实现杨浦大数据资源平台下的高效运行和维护，提供标准化的监控管理指标和数据，对云资源、应用和业务对象的性能数据管理、运行状态监视和告警管理等，及时发现异常和潜在问题，对云管理运行过程中的监控及容量使用情况等运维数据进行深入分析，保障大数据资源平台稳定、高效的运行以及资源安全、合理的分配。构建一站式数据资产可视化管理，实现对数据生产的全过程监控，实现对数据资产的血缘谱系和信息资源目录的统一管理。

一.1.8 数据安全管理子系统

大数据资源平台应有完整的安全策略控制体系，通过流量监控、防火墙、内容审计等多种手段实现全方位、多层次的监控、防护，保障平台数据传输的可靠、安全、高效和事件行为的可回溯性。大数据资源平台需充分利用平台各组件内生的安全能力，并通过对标准化解决方案进行定制化开发并与各组件集成实现安全能力的全局赋能，包括统一的身份和权限管理、统一的敏感数据发现、统一的加密和秘钥管理、统一的数据脱敏、统一的用户行为分析和数据安全态势感知 。通过安全能力的建设，满足《网络安全等级保护基本要求》(GB/T 22239-2019)、《数据安全能力成熟度模型》和《政务信息共享数据安全技术要求》（送审稿）等数据安全合规要求。

一.1 数据分析

一.1.1 数据流程和属性分析

所有区级委办单位将直接作为数据源，汇聚至本次建设的区级平台中，各单位的数据更新和共享机制以数据资源目录所确定的数据集更新要求为准。

一.1.2 数据量分析

Ø 数据汇聚接入、数据交换用户

目前，数据汇聚接入、数据共享交换的服务对象，全区75个委办及12个街道；数据采用实时对接方式，实现自动化接入，平均每个委办按5个用户计算，大数据中心20个用户，厂商运维人员50，用户数预计400，根据目前业务发展情况预测，3年内用户规模预期达到600个以上用户。

一.1.3 信创适配分析

1、市平台建设初期，市大数据中心无AK基础设施环境，包括：

服务器、操作系统、数据库、中间件，且目前AK云仍在建设起步阶段；

2、市平台目前采用的技术路线，包括开源框架和部分数据库、数据湖产品，AK名录中并未收录；

3、考虑到大数据工作的数据量大、性能要求高等特点，市平台未以AK方式建设，且目前为止无AK改造计划。

市平台一期建设已通过验收，目前正常运行，支撑全市大数据工作开展。区大数据资源分平台建设，技术架构对标市平台，从基础设施方面、技术/产品选型方面和性能/量级方面，均无法完全按照AK要求建设。项目现阶段建设，可部分参照AK要求，在相关技术、产品和硬件条件具备后，进行AK适配并做好迁移工作。

一.2 满足应用的需要

对于如一网通办、一网统管等特殊应用，平台支持各部门政务应用系统与数据资源池的直接双向交互，无需通过数据湖进行中转，通过平台的调度引擎可进行交换链路的灵活设置。

第二章 项目建设方案

二.1 建设目标

杨浦大数据资源平台项目建设的主要目标是要搭建杨浦统一的大数据资源管理平台并实现基础功能架构，出台相关管理办法，支撑全区各政务部门的数据共享需求；建立大数据资源中心，完成标准化数据仓库的建设，并构建基础及融合数据库，为全区的政务处理、经济发展、社会民生、城市管理等实现数据赋能。

本次项目旨在通过建设大数据资源平台（一期），搭建可承载市级大数据资源平台通过市区级联落地的区级数据平台，并同时构建区级采集、治理、共享的数据运营体系，形成区级的“三清单一目录”和综合库，与区级委办单位形成互联机制，提供区级层面各业务应用场景的数据支撑服务，确保满足市级下发的各类“一网通办”、“一网统管”两网建设相关的业务要求，以及对于区级数据运营的考核工作。

l 建设统一的大数据资源管理与应用平台：建设包含数据支撑底座、数据采集管理、数据整理治理子平台、数据共享交换子平台、统一运维子平台、数据资源门户为核心功能的大数据资源平台，实现大数据综合管理与服务功能；

l 启动杨浦大数据资源中心建设：完成标准化数据仓库的设计与规划建设，并完成与区各委办业务与管理系统、XX大数据资源平台以及物联网相关平台数据的对接，汇聚各类业务数据，构建杨浦大数据资源中心；

l 在杨浦资源中心数据湖基础上，建设基础数据库，包括人口综合库、法人综合库、电子证照库以及地理空间库，为全区各政务部门提供人口、法人、证照与地理空间相关的数据服务；

l 在杨浦资源中心数据湖以及基础库的基础上，持续深入大数据资源的建设与应用探索，基本完成支撑全区一网通办、一网统管、城市规划、应急指挥等主题的资源归集，并形成相关的专题库和主题库；

l 建立统一的政府数据信息资源目录，建立动态更新机制，明确全区各部门可向其他政府机构共享的公共数据，建立全区统一的数据交换共享平台及数据中心，对上对下实现垂直共享，横向打通各部门间的数据交换共享，实现部门间业务协同和指挥联动；

l 充实现有管理功能，形成共享工作体制和制度。

二.2 总体架构

杨浦大数据资源平台基于基础设施（网络&技术&存储）、技术标准体系规范及信息安全保障体系建设数据支撑底座、数据交换、数据资源中心（基础及融合数据库）、数据整理治理、数据服务、数据分析、数据共享应用及数据资源门户模块，并实现与XX大数据资源平台的共享与交换。

二.2.1 总架构图

本次项目建设的总体架构如下图：

功能框架图：

整体格局：

二.2.2 平台架构关系

二.3 建设内容

结合区级数据平台的建设方向，从聚、管、通、用的业务维度考虑平台的建设功能，将包括数据采集、数据治理、数据共享方面的建设功能，具体功能方面需求描述如下：

二.3.1 大数据底座

建设统一的大数据底座基础平台，包含大数据存储、计算、分析、处理、管控、运维等能力。

建设统一多租户模型，实现大数据域组件的管控，实现组件资源的运营分析支撑，精细掌握租户分配状态，资源利用情况；建立租户运营流程，实现租户及资源分配的统一管理，租户管理能力标准化。支持租户管理，实现组件资源的分配及实例创建，并支持组件的细粒度授权。

Ø 建设统一多租户模型，贯通Hadoop、Kubernetes、数据中台，打造集合平台、应用及运营的全场景化能力体系

Ø 建设资源服务目录，实现Hadoop组件HDFS、Hive、HBase、Yarn及Kafka的接入。

Ø 实现租户资源管理及实例创建功能，实现区大数据中心、区委办的资源分配的统一管理，提供资源监控能力，租户管理能力标准化

Ø 实现细粒度权限管理，组件的细粒度授权功能，支持组件的精细化管理，提升组件的安全管理能力，并支持数据及资源的开放能力；

Ø 支撑平台运营管理，实现线上的租户管理、租户分析，用量提醒，支持平台运营管理。

二.3.2 数据采集子系统

数据采集需要实现对全区各委办单位的数据采集功能，包括离线采集、准实时采集和实时采集的采集方式，根据各委办局业务数据的情况进行采集技术的实现。

Ø 数据采集：政府数据来源多样，包含视频类数据、物联感知类数据以及传统的政务公共数据，各数据来源的数据格式也不一致，在收集的过程中需对数据进行规范化处理，以便于管理使用。

Ø 大数据存储：实现现有应用的大量结构化数据、半结构化数据，以及将全市统一规划的大量图片、视频资料等非结构化数据的存储需求，要求大数据基础平台采用分布式文件系统实现对汇聚的多类型海量数据的存储。

Ø 大数据分析计算：数据分析的处理速度、准确度对实际应用的及时性、高效性都有至关重要的影响。大数据平台提供分布式计算、流式计算、内存计算多种数据计算引擎，能够针对不同的场景采用不同的计算模型，对数据进行大规模批量处理或者实时处理，大大提升政府部门的决策效率能力。

Ø 分布式资源管理和调度：Hadoop 2.0中的资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。

Ø 大数据集群运维管理：作为运维系统，为数据基础支撑子平台提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装/升级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。

二.3.3 数据治理子系统

建设大数据治理子平台，提供数据标准管理、元数据管理、数据质量管理能力，实现对数据的规范治理与管理；提供数据工厂能力，实现对归集的数据进行清洗、加工，支撑业务的数据应用需求。具体，在本次杨浦大数据资源平台建设项目中，数据治理子平台的建设内容包括：

Ø 资源目录管理：提供资源目录管理功能，包括：资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等；

Ø 数据标准管理：提供数据标准管理功能，包括：字典标准管理、命名标准管理、维度标准管理及数据项标准管理；

Ø 元数据管理：提供元数据管理功能，包括：元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析；

Ø 数据质量管理：提供数据质量管理功能，包括：质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告；

Ø 数据开发平台：提供数据开发平台能力，支持可视化开发和原生态开发两种开发模式，实现原生态开发与可视化编排的互相转换；

Ø 统一调度管理：提供统一调度管理功能，提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。

二.3.4 数据资源中心

在本次项目中，我们需要制定全区公共数据汇聚的标准规范和管理制度，归集全区各单位的政府公共数据，形成XX市的数据资源湖。同时经过对数据进行清洗、转换、融合、治理后，形成高质量的公共数据资源，构建形成杨浦标准化数据仓库。

基于全区的数据资源湖，利用经过治理后的数据，可以针对某一特领域的业务数据共享、应用需求，按主题归集形成专题库和主题库，并面向政务部门及社会进行数据开放。此外，我们还将持续开展、深入杨浦大数据的应用探索，围绕跨部门、跨领域、跨行业的数据应用需求，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，逐步建立不同领域的应用专题或主题库构建面向全区多部门提供统筹的数据共建共享共用的数据服务。具体，在本次杨浦大数据资源平台建设项目中，数据资源门户的建设内容包括：

Ø 建立XX市级数据湖：构建全区公共数据的存储与计算空间，支撑各类数据资源的汇聚存储、处理计算与查询应用，并依据部门类别、数据源类别等提供资源隔离的多租户数据应用空间；

Ø 完成数据对接的实施：完成与区各委办业务与管理系统、XX大数据资源平台以及物联网相关平台数据的对接，汇聚各类业务数据，形成全区公共数据资源池；

Ø 建设基础库：建设全区统一的基础人口综合库、法人综合库、电子证照库以及地理空间库，支撑全区人口、法人、电子证照与地理空间等数据相关应用；

Ø 建设主题库：建设全区统一的产业经济主题库、电子证照主题库、权力事项主题库等，支撑全区产业经济相关数据应用。

Ø 主题库

围绕跨部门、跨领域、跨行业等的通用应用服务，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，提供超级应用级数据服务。主题库的建设是为了满足某一特大型领域的业务共建共享需求，需要多个部门合作，在大数据主管部门的支撑下，构建面向全区多部门提供统筹的数据共建共享共用的数据服务。

为了解决目前全区面向企业法人提供服务缺失基础数据的情况，本次项目拟建设XX市企业精准服务主题库。

Ø 专题库

面向特定领域专题应用的数据服务。一般由各自委办局自行开发建设，也可以根据实际情况由委办局委托大数据中心代建代运营。作为领域的专题数据，一般不作为支撑大型跨领域、跨行业的超级综合应用并向外部门提供数据服务，更多的是满足部门自身需求。

二.3.5 数据共享子系统

为减少不同委办大数据服务中共性模块的重复建设，实现对外服务的规范、安全管理和成功案例的快速复制，最大程度吸引外部开发能力，建设大数据对外服务基础平台，提供数据交换管理、自助数据探索、个性化推荐、行业标签等共性服务功能，实现大数据对外服务的快速部署。

建设数据共享服务将功能和接口，要求以应用需求为导向，在政务服务、市场监管、城市管理、社会治理等领域探索开展公共数据共享应用，为跨区域协同发展提供数据支撑。

包含数据交换和服务管理，支持结构化库表下发、文件共享、API接口共享、非结构化数据共享、接口代理等多种数据共享方式。

二.3.6 门户子系统

在XX市大数据资源平台项目的基础上扩展功能。主要包括消息推送、数据推送、个人信息管理、系统管理等功能。

建立数据开放门户：主要实现数据目录、数据接口、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户目录的建设。包含业务流程申请、展示、统计、查询等功能。

包含业务流程申请、展示、统计、查询等功能。

Ø 分析、统计、展示功能

将数据共享情况、数据归集情况进行统计分析后展示。可对填报、统计分析数据设置审批岗，对数据进行双重把关，对统计结果进行推送。KPI指标监控、监控指标预警信息及时推送、数据钻取，实现由粗-细，切换维度的数据分析、可视化图表，易于信息获取。

Ø 查询及业务流程申请功能

当委办向大数据中心提出查询要求，需要通过申请审批完成数据资源分享，同意后，方可对委办开放查询服务，以满足委办对于某项或某类数据的需要。

大数据中心对接委办的管理流程，委办提出需求需要查询某数据项，将在该门户提出申请，如三清单一目录的申请，直接进行登记。

二.3.7 统一运维子系统

为了实现杨浦大数据资源平台下的高效运行和维护，提供标准化的监控管理指标和数据，对云资源、应用和业务对象的性能数据管理、运行状态监视和告警管理等，及时发现异常和潜在问题，对云管理运行过程中的监控及容量使用情况等运维数据进行深入分析，保障大数据资源平台稳定、高效的运行以及资源安全、合理的分配。构建一站式数据资产可视化管理，实现对数据生产的全过程监控，实现对数据资产的血缘谱系和信息资源目录的统一管理。

二.3.8 数据安全管理子系统

大数据资源平台应有完整的安全策略控制体系，通过流量监控、防火墙、内容审计等多种手段实现全方位、多层次的监控、防护，保障平台数据传输的可靠、安全、高效和事件行为的可回溯性。大数据资源平台需充分利用平台各组件内生的安全能力，并通过对标准化解决方案进行定制化开发并与各组件集成实现安全能力的全局赋能，包括统一的身份和权限管理、统一的敏感数据发现、统一的加密和秘钥管理、统一的数据脱敏、统一的用户行为分析和数据安全态势感知 。通过安全能力的建设，满足《网络安全等级保护基本要求》(GB/T 22239-2019)、《数据安全能力成熟度模型》和《政务信息共享数据安全技术要求》（送审稿）等数据安全合规要求。

二.4 应用系统

二.4.1 大数据底座

大数据底座整体技术架构如图所示，其中包括大数据基础平台、集群洞察、集群管控运营、流处理引擎、关联检索引擎几部分。

大数据基础平台（DP），实现统一的资源分配，应用管理及为数据治理提供了标准化的产品和服务。

集群洞察（CI）是大数据集群资源、性能、安全的深度洞察和智能规划，保障大数据集群的合理部署和不断优化，达到充分利用资源的目的。

集群管控运营（CM）以多租户管理核心，面向企业实现大数据集群资源管控，实现大数据平台的租户能力开放管理能力。

流处理引擎（SP）实现统一的实时数据接入、分析处理、分发订阅，全面保障实时的业务场景开发。

关联检索引擎（SP）建立丰富的索引，多样化的查询接口，支持各种结构化业务数据解析，能够为更多的用户，丰富的数据类型，为多样化的业务提供通用的查询能力。

资料来源网络，目的是交流学习，如有侵权问题，请联系删除，下载本文资料查看公众号：智慧方案文库，喜欢文章可以评论转发点赞。返回搜狐，查看更多

责任编辑：

相关标签：