首页>>新闻资讯>>行业动态

省大数据中心大数据平台运行服务

2023-11-08 09:13:35 28

一、 项目背景

1.1 市大数据平台

按照 “一次汇聚,多次共享”的原则,2016 年某某市信息资源管理中心依托市政务信息资源共享交换平台建设了某某市大数据平台,并于建成后对平台功能进行了多方面的升级改造,整合了政务地图服务、共享交换服务等内容,现有目录链、数据服务、数据治理、组件服务、评估评价五大功能模块。

省大数据中心大数据平台运行服务

市大数据平台支撑了反恐怖情报信息平台、应急指挥、小客车调控、限购房调控等重大应用,为全市各部门和区提供了航拍影像、政务电子地图、政务信息图层、POI、三维模型等数据服务,以及路径导航、地址编码、地图标绘、空间查询、空间分析与专题可视化等功能服务。

市大数据平台现已汇聚了人口、法人、信用等 57 个市级部门的 2223 类、25321 个数据项的政务数据,10 个国家部委的 36 类、697 个数据项政务数据,以及移动、联通、电信等社会机构的 108 类、712 个数据项的社会数据;重点围绕“人”“企”“物”等基本信息,发布了 10964 个数据项的数据接口。

在市大数据平台数据汇聚的基础上,某某市于 2018 年启动“领导驾驶舱”建设,旨在整合汇聚和处理城市运行相关的各类数据资源,推动数据资源全面汇聚共享,建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制;为高层管理者提供“一站式”决策支持服务。大数据平台为领导驾驶舱提供了某某市地下综合管廊运行基本情况统计数据等 316 类数据。

1.1.1 市共享交换服务

为了解决政务信息资源共享中存在的协调难度大,重复协调,重复建设等问题,在市委、市政府和各级领导的大力支持下,某某市经济和信息化委员会以某某市政务信息资源共享交换平台(以下简称市共享交换平台)建设为基础,形成市区两级的政务信息资源共享交换体系,逐渐打破部门和行业界限,实现了政务信息资源的跨部门、跨层级共享。市共享交换平台承载了某某市大数据平台的数据交换服务。

1.1.1.1 市共享交换平台整体情况介绍

市共享交换平台于 2006 年 4 月 28 日上线运行,目前共接入 86 个市级政务部门(包

括 16 个区);支撑了 6200 余项跨部门、跨层级信息的共享交换工作,数据量累计超过 1471亿条,日均交换量 2117 万条左右,2020 年日均交换量 1.8 亿条;支撑了新冠疫情防控、数据汇聚、领导决策、应急指挥(08 年奥运会、60 年大庆、70 年大庆)、小客车调控、房地产市场调控、社会救助资格审核、高法案件执行、出入境证件办理、执法信息共享等重大应用。

市共享交换平台共接入 144 个交换节点;接入 6200 多类交换资源,超过 1 万个数据交换流程。

1.1.1.2 市共享交换平台管理中心端部署情况

产品

部署位置

中心节点数

交换中心

Fiorano9 主从版交换中

六里桥政务云/信创云各一

10

东方通 DXP3.0 交换中心

六里桥政务云

1

平台管理

六里桥政务云

1

其中两套 Fiorano9 管理中心互为热备,一套管理中心服务出现异常时,另一套管理中心能够自动接替各项管理与监控功能。

1.1.2 政务地理空间信息共享服务相关系统

1999 年 11 月,时任某某市市长刘淇正式提出了“数字某某”的概念及其实施计划, 为了满足“数字某某”建设需求,以及解决某某市地理空间信息资源跨部门、跨区域共享困难和“信息孤岛”现象严重等问题,2001 年 6 月,某某市启动了年度航空摄影工作。此后,为了便于航空影像成果及相关地理信息资源向政府部门提供在线共享服务,某某市建设了一系列针对地理空间信息资源共享的应用系统,主要包括:某某市政务地理空间信息资源共享服务平台、空间数据分析服务系统、地址数据库管理与应用服务系统、移动地图平台等,形成一套集多源、海量地理空间信息资源管理和多层级、跨平台共享服务为一体的应用服务体系,为政府各部门提供了一个政府内部统一的综合地理空间信息服务窗口, 满足各部门对地理空间信息数据的共享应用需求;通过基础数据与共享服务平台集约化建设、各部门免费使用、统一运维管理的模式,避免了重复建设,提高了资源利用率,节约了数亿元资金,社会经济效益显着。为保障系统服务的稳定、及时、可靠,并持续不断的满足用户业务需求,需要持续开展对现有系统的日常运维管理以及对外技术支持工作。

政务地理空间信息服务系统相关平台简介:

1.1.2.1 政务地理空间信息资源共享服务平台

为了实现全市基础地理信息资源的在线共享服务,某某市于 2007 年完成了政务地理空间信息资源共享服务平台(以下简称“政务地理空间平台”)建设,主要对航拍影像、政 务电子地图等基础性政务地理信息资源进行统一管理,并基于政务外网面向全市各区及各 部门提供在线地理信息云服务,旨在打造政府部门内部共享应用的政务地理空间“一张图”。

政务地理空间平台面向各区及各部门在线提供航拍影像、卫星影像、政务电子地图、

POI 信息、政务信息图层、2.5 维地图、三维模型、街景地图、实时路况等地理信息资源服务,以及地址编码、空间查询、地图标绘、公交路线、路径导航、空间分析、专题数据可视化等功能接口服务。政务地理空间平台主要由数据管理子系统、空间服务子系统、资源展示子系统和运营支撑子系统等组成,平台发展沿用继承、迭代模式,现已更新至 V6.0 版本。

目前,政务地理空间平台已为市规划自然资源委、市城管执法局、市工商局、市应急局、市民政局、市发改委、市住建委、市公安局等 50 多个部门(含十六区)提供了高效、

安全、高可靠的政务地理空间信息资源应用服务,并陆续支撑了 190 多个业务系统建设和

应用,平台接口服务日均访问量已达到 70 万次;应用服务领域由规划、住建、国土、房屋、交通、农林等传统领域,逐渐扩大到城市管理、应急指挥、工商管理、资源规划、防汛减灾和民生服务等新领域,应用水平由初级的空间可视化逐渐向深层次业务融合过渡。

1.1.2.2 空间数据分析服务系统

为了满足政府部门多源、海量业务数据的空间位置信息融合、空间统计与分析处理以及空间专题可视化等方面的应用需求,2018 年完成空间数据分析服务系统(以下简称“空间分析系统”)建设。平台建设主旨是充分发挥某某市大数据管理平台的分布式存储与计算能力,打造一个集地理空间数据接入、处理、分析与可视化等功能服务为一体的一站式、云服务平台。

空间分析系统主要包括数据接入、数据处理、数据可视化、资源监控和后台管理等功能模块,目前可实现常用关系型数据库接入,数据同步传输与文件导入;具备常用数据处理工具和空间分析模型,并支持程序化建模方式和定时执行等功能;提供 SQL 脚本编辑窗口,支持自定义脚本保存和定时执行;支持饼图、柱状图、金字塔图、雷达图等一般统计图表创建;支持散点图、格网图、等级颜色图、热力图、密度图、OD 图等专题地图可视化表达方法;实现脚本、模型、传输和同步等执行任务的动态监测和管理等功能,为政府部门提供了针对空间大数据分析应用的“一站式”解决方案。目前,空间分析系统已应用于人口、法人等基础库的空间位置融合分析,为民政养老服务和领导决策业务以及市领导驾驶舱等系统建设提供了有力支撑。

1.1.2.3 地址数据库管理与应用服务系统

某某市自 2001 年开始研究、建设地址数据库管理与应用服务系统(以下简称“地址库系统”),从地址模型研究到地址匹配引擎设计,从地址数据采集到地址匹配服务应用,经过多年的摸索和实践,解决了一系列关键技术和工艺流程难题,于 2005 年底完成了系统建设及全市域地址数据采集工作,并进入系统运维和数据动态更新维护阶段,现已积累全市各类门牌、楼名、街道等 28 类 140 多万条地址数据,并通过航拍影像辅助判别与现场采集、匹配结果日志分析、互联网数据对比等多种渠道开展地址数据库的动态更新和维护。

地址库系统主要包括地址录入系统和地址匹配引擎两部分内容。为保证地理编码数据库中地址数据的质量,在严格的地址数据采集录入工作流程基础上,建设了支撑数据采集、录入管理的地址数据录入系统,以及基于 PDA、GPS 的外业采集工具,大大提高了地址外业采集效率及数据质量。地址匹配引擎根据空间位置属性信息从地址数据库中快速匹配获取对应的空间地理坐标信息,实现业务数据与空间地理信息融合;地址匹配引擎采用分词、全文索引检索、别名库和标准化预处理等技术,匹配效率和准确率高、抗干扰能力强。

地址库系统目前主要有两个应用场景,一是中心内部地址匹配任务,用于满足已汇聚委办局业务数据的空间信息图层制作及相关业务需求;二是通过政务地理空间平台对各部门提供地址查询和地理编码等接口服务。目前,已为全市 30 多个委办局(区)提供了服

务,支撑 400 多类政务信息图层制作,累计地址匹配处理上亿次。

1.1.2.4 移动地图平台

为满足某某市各部门、各区用户在移动端共享应用政务地理空间信息资源的迫切需求, 解决用户在全市统一的移动电子政务管理平台下开展移动地图业务应用建设的共性问题, 我市于 2014 年开展移动地图平台建设,基于 Android 操作系统订制了移动端应用程序开发包(SDK)和展示 APP。委办局用户利用移动端 SDK 可便捷地调用政务地图及相关功能服务,灵活订制开发移动端业务应用程序,实现移动端与桌面端、WEB 端业务系统集成和联动,实现多端互联、协同共享的政务地理空间信息应用模式。展示 APP 集成了移动地图平台的全部数据资源和功能服务,主要用于用户预览和服务推广。

移动地图平台面向委办局用户提供航拍影像、政务电子地图、地名地址、政务业务图层、交通流量等数据资源服务,以及路径导航、公交查询、POI 检索、地图定位、空间查询、数据采集、热力图、OD 分析等功能服务,用户授权和管理依托政务地理空间平台统一开展,实现云端一体化服务。用户业务系统移动终端需在移动电子政务管理平台注册后,通过 APN 接入移动政务外网,方可访问移动地图平台提供的服务资源,保证用户业务数据传输和使用安全可控。目前,移动地图平台已支撑市发改委、市城管执法局、市文物局等多个部门的移动端业务应用。

1.2 某某市领导驾驶舱

为推动数据资源全面汇聚共享,建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,有效运用大数据提升城市管理精细化和决策科学化水平,提高政府服务的效率和质量,某某市于 2018 年启动领导驾驶舱建设,并作为某某大数据行动计划的核心内容之一。领导驾驶舱是依托市大数据平台建设的领导决策大数据综合应用服务平台,通过市大数据平台汇聚整合能够反映城市运行情况及态势的基础数据以及支撑领导决策的主题数据,开展数据治理、融合分析和应用建设,面向用户提供城市运行监测、问题预警跟踪、专题分析分析和决策指挥调度等“一站式”决策支撑服务,包括热点专题区、系统接入区、时空可视化展示区、指挥调度工具栏等功能版块。

2019 年 7 月领导驾驶舱 1.0 版上线试用,并采取“边应用、边完善”的原则持续开展

功能优化升级,目前已完成部门画像、人口态势、疫情防控等 10 多个专题应用,以及领

导批示、视话连线、指标搜等 6 个指挥调度工具建设;接入 49 个部门 772 类数据及 3328

个城市运行监测指标,以及 46 个部门及若干企业机构 400 多个信息系统,并持续完善各部门及行业领域专题应用、数据和系统接入工作。

目前领导驾驶舱已为主要市领导以及 47 个市级部门主要领导开通用户服务,相关成果为国庆活动保障、疫情防控与复工复产等工作提供了有力支撑。随着用户应用过程中不断涌现新的需求,以及城市运行发展过程中出现新的问题和热点,领导驾驶舱需要持续开展相应的数据接入和分析应用,为领导驾驶舱运行服务提供数据支撑。

3.1 工作目标

3.1.1 市大数据平台运行维护

3.1.1.1 市大数据平台运行基础运维

项目目标是完成市大数据平台日常运维、数据交换服务运维、应用支撑服务,保证全年稳定运行,具体包括:

(1) 做好市大数据平台的日常技术运维、安全运维和应用支撑服务保证其稳定运行,出现故障 24 小时内恢复;

(2) 按需做好市大数据平台的数据汇聚和共享,包括政务数据、社会数据的汇聚, 以及通过共享交换、接口等方式的共享服务;

(3) 按照市级委办局和各区对国家数据共享交换平台(政务外网)(简称国家平台)资源的调用需求,配合做好与国家平台服务调用联调。

3.1.1.2 政务地理空间信息共享服务相关系统运维

有效地开展政务地理空间平台、空间分析系统、地址库系统、移动地图平台的日常运维和服务保障相关工作,使系统可持续稳定运行;完善系统运行与维护的各项管理制度, 规范运行与维护业务流程;有效开展系统更新部署、运行监控与维护、故障诊断排除、隐含错误修复、数据备份与恢复、日志管理与分析等工作;及时响应用户的业务需求,为用户提供专业、高效的技术支持;配合做好用户培训与宣传推广等工作。为市领导驾驶舱、局领导驾驶舱、空间专区、位置专区等内部应用建设和运行提供深度技术支持和服务保障。

3.1.2 领导驾驶舱服务支撑

开展领导驾驶舱已接入数据的日常更新维护服务,确保数据服务更新及时、稳定、准确、可靠;持续完善部门信息系统“入舱”工作;结合智慧城市建设运行管理以及领导决策支撑等方面的数据应用需求,不断优化完善领导驾驶舱指标体系,开展新增数据对接、指标加工处理和分析展示;设计和编制一套适用某某的城市运行监测指标体系标准规范。

3.2 工作内容

3.2.1 市大数据平台运行维护

3.2.1.1 市大数据平台基础运维

3.2.1.1.1 市大数据平台日常运维

3.2.1.1.1.1 大数据平台日常内容维护

(1) 数据接入服务:负责项目期内的政府数据接入、社会数据接入、政府应用接入和社会应用接入等工作,包括数据接入方案论证以及数据汇聚实施,并按照相关要求对接入数据资源进行分级分类存储和管理;

(2) 应用支撑服务:为各类政务应用提供支撑服务,包括平台能力培训、应用支撑方案制定、技术支持服务等,为各类政务应用提供数据存储、数据计算、数据治理、数据标签、数据可视化等组件服务。

3.2.1.1.1.2 大数据平台技术运维

提供 7*24 小时的人工巡检服务及应急响应服务、日常维护服务(包括且不限于系统使用的应用程序、数据库、操作系统和中间件软件)、平台检测服务和定期巡检服务。对平台进行监测,对异常状态及时进行上报和处理。

3.2.1.1.1.3 大数据平台安全运维

对平台进行定期检查和安全加固工作,对服务器系统进行脆弱性加固;编制相应的安全策略和应急预案,项目期内开展不少于一次应急演练;及时发现平台安全漏洞、隐患和攻击事件。

3.2.1.1.2 数据交换服务运维

数据交换服务是某某市大数据平台开展数据汇聚的基础,也是现有各部门、各区开展数据交换的技术通道,运维目标是保证数据交换工作全年稳定运行。

3.2.1.1.2.1 日常运维

(1) 完成数据交换各个功能的日常运维,主要包括日志检查、定制统计、功能巡检、运行监控、系统备份、数据备份、故障检查与问题处理等,做好数据交换管理中心双节点的确保数据交换各功能的网络环境、基础软硬件环境的稳定、正常运行。

完成每个工作日对数据交换进行功能巡检、服务巡检,出具巡检日报;定期进行系统备份和数据库备份。

交换日志纳入某某市大数据平台日志统一管理。

(2) 做好对某某市电子政务重大应用中数据共享交换工作的支撑,包括上门调研、提出数据交换实施方案和计划、网络调试、交换流程配置、交换结果比对等。

(3) 安排节假日值班及重大活动保障(包括现场值班和电话值班)。

(4) 对紧急事件进行处理,在数据共享交换服务发生异常时,应及时到达现场进行处置并于 24 小时内恢复。

(5) 协助采购方开展其他相关工作,如国产化平台适配等。

3.2.1.1.2.2 共享交换节点运维

(1) 确保已采购的交换中心及交换节点软件(Fiorano9,TongDXP3.1)能够正常使用。

(2) 完成交换中心的运行维护,保证交换中心的可用性。

(3) 完成已接入的 144 个前置节点和 12 个中心节点的运行维护工作,在节点发生异常情况时进行调试和处理。

(4) 有接入需求时,完成新增交换节点接入市大数据平台,工作内容包括节点服务器配置检查并提出补齐措施,节点软件调试,网络、路由、文件路径、数据库架构配 置,交换组件、日志组件、权限控制组件、错误数据处理组件安装调试,交换中心与前置交换节点的交换通道调试以及交换中心与前置交换节点间文件、数据库交换测试等内容,不包括委办局自身系统改造、前置机购置等委办局需完成工作内容。

3.2.1.1.2.3 数据汇聚和交换运维

(1) 完成已接入的 1 万余个交换流程的运维工作,在流程发生异常情况或有流程更新时进行调试和处理。

(2) 继续做好现有 54 个委办局共 1123 类数据向大数据平台的汇聚,以及运营商数据等社会数据向大数据平台的汇聚。

(3) 根据新的汇聚和交换需求,完成新增数据向大数据平台的汇聚和委办局之间的数据交换;支撑委办局从大数据平台依职责、按需获取数据。

(4) 新增交换流程配置的主要工作包括:协调确定交换规则、指导提供方完成所提供数据在前置机的部署、完成共享交换流程配置、调试共享交换通道并进行部门间数据交换测试。

3.2.1.1.2.4 与国家共享平台的对接运维

(1) 与国家共享平台的目录和资源对接运维。市大数据平台能够获取和展示国家平台的目录信息,能够获取和展示国家平台资源。

(2) 接口资源申请和获取运维。市大数据平台用户能够对国家平台发布的接口资源进行申请、撤销申请等操作;并通过市大数据平台获取经国家授权的数据。

(3) 服务代理运维。维护服务运行环境,做好对国家发布的接口资源的代理转发工作,支撑市大数据平台用户对服务接口的注册、发布、申请。

3.2.1.2 政务地理空间信息共享服务相关系统运维保障

政务地理空间信息共享服务相关系统运维保障工作主要针对政务地理空间平台、空间分析系统、地址库系统、移动地图平台等相关系统的运维和技术支持等工作,投标人需根据如下需求制定详细、合理的运维保障方案。

3.2.1.2.1 政务地理空间平台运维保障

对政务地理空间平台提供 7*24 小时的运维保障,具体要求如下:

(1) 中标方指定专人协助招标方进行平台的日常维护工作,且需要驻场运维;

(2) 负责系统安装部署、系统巡检、故障排查与恢复、日志管理与分析等工作, 并总结记录和反馈相关情况;

(3) 在必要的情况下,保证运维保障人员 2 小时内到达现场,24 小时内解决问题;

(4) 提供平台功能服务状态巡检短信推送服务,相关通讯费用由中标方承担;

(5) 配合招标方开展应急演练、灾难恢复、系统补丁升级、漏洞排查修复等安全保障活动;

(6) 重大节假日或活动期间,需配合招标方参与现场值班等服务保障工作;

(7) 按照招标人指定的时间和地点,参加用户技术交流或培训会;

(8) 完成对政务地理空间平台 50 多个部门(含十六区)190 多个业务系统技术支撑和服务保障工作,包含项目对接、问题解答、远程协助、现场技术支撑等;

(9) 生成运维报告文档,文档中应包含但不限于新增业务系统记录、技术支持记录、系统故障与问题处理记录、系统日常巡检等内容。

(10) 按照系统需求升级服务器补丁,修复项目及中间件存在的问题,保障系统的安全性。

(11) 定期完成数据更新和备份工作,包含两个节点的地图数据更新。

(12) 定期开展用户回访,调研用户使用情况、问题和需求等,总结提取意见和建议,并制定问题改进和服务优化方案。

(13) 开展地图数据服务发布和更新维护,以及地图数据组织结构和地图模板风格优化。

3.2.1.2.2 空间分析系统运维保障

(1) 系统的日常维护、运维管理和模型脚本配置等工作;

(2) 更新系统安装部署、系统巡检、故障排查与恢复、日志管理与分析等工作, 并总结记录和反馈相关情况;

(3) 在必要的情况下,保证运维保障人员 2 小时内到达现场,24 小时内解决问

题;

(4) 重大节假日或活动期间现场值班等服务保障工作;

(5) 针对系统中已完成配置的空间化处理分析任务,开展数据接入、同步及相关脚本模型的管理和维护;

(6) 为领导驾驶舱空间搜工具、空间专区数据服务、政务空间图层加工处理等内部业务需求提供深度的技术支撑和服务保障;

(7) 为各部门用户提供技术支撑和服务保障,包括用户操作培训、协助数据维护、问题解答、重要数据及项目备份、用户推广等工作。

3.2.1.2.3 地址库系统运维保障

地址库系统支撑运维、系统巡检和应急响应工作,包括如下内容;

(1) 定期更新基础底图服务,支撑地址匹配接口测试和二次开发对接工作;

(2) 对 7 个子系统、8 个主要数据采集方式、56 个数据采集环节产生的数据流节点进行运维监控,保障数据采集业务在全年度顺利实施;

(3) 对底层数据库进行定期安全备份和运维,监控系统运行状态;

(4) 对数据采集功能点易用性和关键功能点效率提出改进措施,别名库建立和别名数据初步整理;

(5) 运维和调试手机采集终端软件,确保在 4G 网络条件下移动地图服务访问流畅,确保系统稳定运行;

(6) 对地址匹配引擎的“NC 内网”及“政务外网”进行运维支撑,包括每周的索引生成及更新同步,内网及外网引擎运行监控,地址查询和地址补全等接口稳定服务, 以及地址匹配引擎内置功能正常运转等;

(7) 生成运维报告文档,文档中应包含但不限于技术支持记录、系统故障与问题处理记录、系统日常巡检等内容。

3.2.1.2.4 移动地图平台运维保障

对移动地图平台提供 7*24 小时的运维保障服务,具体要求如下:

(1) 中标方指定专人协助招标方进行平台的日常维护工作;

(2) 负责系统安装部署、系统巡检、故障排查与恢复、日志管理与分析等工作, 并总结记录和反馈相关情况;

(3) 在必要的情况下,保证运维保障人员 2 小时内到达现场,24 小时内解决问题;

(4) 配合招标方开展应急演练、灾难恢复、系统补丁升级、漏洞排查修复等安全保障活动;

(5) 为市发展改革委、市城管执法局、市文物局等已有用户业务系统提供支撑保障服务;

(6) 生成运维报告文档,文档中应包含但不限于新增业务系统记录、技术支持记录、系统故障与问题处理记录、系统日常巡检等内容。

3.2.2 领导驾驶舱服务支撑

3.2.2.1 “入舱”数据维护

开展领导驾驶舱已建设专题应用以及已接入的 49 个部门 772 类数据和 3328 个指标的数据更新维护工作,包括但不限于每日数据更新状态巡检与日志记录、数据质量检查和问题反馈、指标运算脚本的日常维护等工作,确保数据服务更新及时、稳定、准确、可靠。

3.2.2.2 “入舱”系统维护

依托市目录区块链开展部门信息系统“入舱”日常维护工作,配合各部门完成“上链”新增系统与领导驾驶舱对接、CA 用户联调等相关工作;开展日常系统接入状态巡检和问题反馈等,确保系统对接状态稳定、跳转正常。

3.2.2.3 优化完善指标体系

结合智慧城市建设运行管理及领导决策支撑等方面的数据应用需求,基于市目录区块链开展大数据平台新增汇聚的政府和社会数据资源对接,以及新增指标设计和加工处理工作,新增完成不少于 500 个基础指标数据接入。

3.2.2.4 制定标准规范

根据某某智慧城市建设和发展特色,结合领导驾驶舱指标体系,设计和编制一套适用某某的城市运行监测指标体系标准规范,配合组织相关部门开展标准规范意见征询和修订,标准规范要求内容全面、实用性强、易操作、可执行。

3.3 其他要求

原则上沿用本项目现有技术体系和产品,如果需要重新建设部分内容应保证与当前系统平滑过渡。

大数据平台的共享交换服务目前使用的交换中间件为 Fiorano9 和东方通的DXP3.0,如果要采用新的产品除了要确保与市大数据平台的整合,还应确保将现有中心节点、前置交换节点、交换流程全部移植到新产品上,并且保证节点和流程可用。

四、 项目成果及指标

4.1 项目成果

本项目成果物至少包括但不限于以下内容

4.1.1 市大数据平台运行维护文档及成果

4.1.1.1 市大数据平台运行基础运维

(1) 大数据平台数据接入方案、数据接入报告、应用支撑方案、应急演练报告。

(2) 大数据平台运维报告(包括日常巡检报告、月报和年报)。

(3) 数据交换服务每日例行检查表(每个工作日一份,电子文件)。

(4) 前置节点接入工单(等于实际新接入节点数)。

(5) 交换流程接入工单。

(6)2021 年交换服务年度报告。

(7)其他过程文档:如项目周报、培训会议纪要等。

4.1.1.2 政务地理空间信息共享服务相关系统运维保障文档及成果

(1) 系统运维文档:项目运维保障方案、运维周报,日常运维巡检记录及技术支持记录工单,年度运维工作总结报告等。

(2) 项目所涉及其他成果。

4.1.2 领导驾驶舱服务支撑文档及成果

(1) 领导驾驶舱指标数据分析实施方案、年度工作总结。

(2) 城市运行监测指标体系标准规范(一套)。

4.2 技术指标

4.2.1 市大数据平台运行基础运维技术指标

(1) 灵活性和可扩展性需求

①支持线性‘边增长边建设’模型。如果平台数据增加,只需增加相应的数据节点和管理节点。

②支持数据节点和管理节点数动态增加;支持数据服务不停止状态下动态增加新的节点。

③系统应具备良好的可扩展性,可根据需求的变化实现系统的扩展部署。可根据需求,对系统中使用的软件和工具提供升级扩展服务,如系统中使用的 Hadoop 生态圈中的开源工具等。

(2) 技术要求

①打通各类数据源支持连接到多种数据源,包括基于 HDFS 分布式文件系统、Hbase 等非关系型数据库、Oracle、MySQL 等关系型数据库以及 Excel、XML、JSON 等文件类数据。

②快捷高效图形配置。

③图表联动配置。图形之间消息机制,事件被触发时,图表之间的数据进行联动。

④视图适配多终端。数据分析和展现不仅仅局限于传统的 PC 端,根据不同场景,DVP 提供移动设备的跨屏支持,大屏、PC、手机、平板自动适配,并且根据不同的应用场景提供不同的展现主题。

⑤内置主题风格根据可视化使用的不同场景,需要不同的主题风格。

(3) 性能需求

①系统性能指标要求如下:

指标项

指标值

关系型数据库数据导入

10 万条

1 分钟

1 亿条

30 分钟

文本类型数据导入

10M

3 分钟

1G

30 分钟

系统性能

在线客户端数

100

并发客户端数

50

数据处理

ETL 处理能力

12M/秒/节点

分析挖掘

OLAP 处理速度

2 秒内有响应,首次操作 5 分钟内

产生数据结果,后续操作 2 分钟内

产生数据结果

操作性能

监控台查询时延

<20 秒

告警监控时延

<10 分钟

日志查询时延

<2 秒

可用性指标

99.992%

停机时间

≤42 分钟/年

配置数据恢复时间

≤10 分钟

(4) 安全需求

①提供安全可靠的数据传输能力,保证数据的完整性、一致性。

②存储安全:数据加密、数据脱敏,确保数据安全。

② 操作安全:提供功能操作的权限、数据权限控制及安全审计。

4.2.2 市大数据平台数据交换服务

原则上沿用现有技术体系和产品,如果需要重新建设部分内容应保证与当前系统平滑过渡。

除新接入节点外,目前使用的交换中间件为 Fiorano9 和东方通的 DXP3.0,如果要采用新的产品除了要确保政务信息资源交换管理系统平稳过渡、持续可用,并且与其他系统良好对接,还应确保将现有中心节点、前置交换节点、交换流程全部移植到新产品上,并且保证节点和流程可用。

(1) 交换技术需求

1) 支持中心通过图形化配置跨部门节点的数据交换流程。构成交换流程实例的不同组件可运行在跨部门的节点服务器上,从而形成跨部门的数据交换流程,并由中心统一管理交换流程;支持将数据从一个交换节点同时发送到多个交换节点的数据传输模式;支持交换流程在交换中心或交换节点的热部署和热切换功能。

2) 支持端到端同步和异步可靠传输机制,提供传输效验机制,并可对数据提供加密传输;支持多种传输协议,包括 TCP、HTTP、HTTPS、JMS、FTP、SSL。

3) 提供可靠的一次性的数据传输能力,保证数据的完整性、一致性,使传输的数据不丢失、不重复,次序不乱,传且只传一次,并应具备跨越多个网络环境,穿透多重防火墙的能力;支持断点续传。

4) 提供图形化界面工具,进行数据转换映像配置。支持 XML 之间 XSLT 转换标准、CSV 文本与 XML 之间转换,HL7 与 XML 之间转换,功能包括:编码对应转换、不同数据类型转换、字符串处理、算术运算、条件判断等。转换功能同时支持嵌入自定义开发函数。

5) 适配器应支持参数配置和版本控制管理。支持 Oracle、SQL Server、DB2、Sybase、

MySQL 等主流关系型数据库。支持大字段(Blob)等多种数据库数据类型。支持高级及复杂数据类型(BLOB、CLOB、UDT 及不同的数据时间格式)。支持增量实时交换及按时间规则同步交换机制。支持单表记录数 2000 万条以上数据库数据的传输;支持文件大小 4GB 以上单个文件的可靠传输。

6) 支持异构数据之间的格式、代码转换;提供数据转换规则定义接口和常用转换函数,并可自定义转换函数。

(2) 数据服务技术需求

1) 支持 Web Service、REST、JMS 标准的数据接口服务,可以快速将中心或节点部门的数据源配置生成服务并发布运行于平台中心节点服务器或部门节点服务器中运行;Web

Service 接口组件支持 SOAP 消息格式,包括简单类型和复合类型,支持 WebService 安全标准 WS-Security。

2) 支持同步和异步接口服务组件模型;支持服务组件的编排,组合形成新的服务。

(3) 高可用性(HA)、负载均衡、热备

1) 支持 7×24 持久的高可用性 HA 功能,对中心控制管理服务器、中心节点服务器、部门前置节点服务器均可实现双机热备,并对服务组件(适配器)提供备份和故障自动恢复功能,即在某一节点服务器中运行的服务出现故障,则可在另一备份节点服务器上自动启动该服务,交换流程不受影视,正在交换的数据不会丢失。

2) 数据流在各节点服务器之间并行流动,达到高性能和高可扩展性,避免中心单点故障和效率瓶颈。采用二个(多个)节点服务器即可以互为备份,又可以实现负载均衡。

(4) 灵活性和可扩展性需求

1) 支持线性‘边增长边建设’模型。如果部门节点增加,只需增加相应的部门节点服务器。如果处理数据的给定节点集合上的负载过高,则新节点可以在运行时添加到网络中,而不会干扰现存的服务和分配的流程。

2) 支持交换节点数动态增加;支持交换流程运行不停止状态下动态增加新的数据处理组件。

3) 支持数据流程的动态改变,并提供可视化工具,使用户可以利用可视化拖放方式来连接预先测试好的服务组件,构建特定的业务数据流程。

4) 提供远程统一部署和管理,允许网络动态安装和启动服务,使分布式应用的部署时间和成本显着减少。

5) 系统应具备良好的可扩展性,可根据目录管理需求的变化实现系统的扩展部署。

(5) 性能需求

1) 端到端数据交换能力:系统支持数据库、文件和消息等多种交换方式,并具有良好的负载均衡能力,交换传输速率应至少达到 1500x1k msg/sec,文件传输速率应至少达到 2M/sec,支持负载均衡、HA 高可靠性、持久连接和客户端存储机制。

2) 系统响应速度:节点之间支持 HTTP/TCP/SSL 安全传输协议,采用可靠事件传输机制保证数据传输质量和效率,在网络速度为 100Mbps 的情况下,传输 1KB 大小的数据,业务系统之间端到端每秒至少达到 1000 个(1KB*1000msg/sec),保证业务系统的效率和可用性;目录检索操作响应时间应少于 0.1 秒。

3) 平台 Web 管理服务系统支持多部门用户服务,并发访问要求支持不少于 100 用户, 在网络通畅的情况下,绝大部分数据库操作的响应时间控制在 1 秒以内,数据基本查询统计响应时间 3 秒以内,对于个别大量数据查询和统计分析响应时间 5 秒以内。

(6) 安全需求

1) 提供安全可靠的数据传输能力,保证数据的完整性、一致性。要求采用 SSL/TLS 协议实现安全连接与传输,可与第三方认证授信机构(如 CA 中心)进行数字证书的签发、认证与集成,对不同格式的数字证书均有良好的支持。

2) 交换安全:数据防篡改、不可抵赖措施,确保收发操作不可否认。

3) 操作安全:提供功能操作的权限、数据权限控制及安全审计。

4.2.3 政务地理空间信息共享服务相关系统

4.2.3.1 政务地理空间平台性能指标

“某某市政务地理空间信息资源共享服务平台”在政务云服务器(8CPU/16G 内存配置)、

1000MB 网络带宽的独立测试环境下,应达到如下性能指标:

(1) 电子地图 WMS 服务

单个用户下执行电子地图 WMS 服务<1 秒。

(2) 电子地图 WMTS 服务

单个用户下执行电子地图 WMTS 服务<1 秒。

(3) 矢量切片地图服务

单个用户下执行电子地图矢量切片服务<1 秒。

(4) 三维瓦片地图服务

单个用户下执行三维地图瓦片服务场景模型加载<3 秒。

4.2.3.2 移动地图平台性能指标

在 100Mbps 带宽或 4G 信号优良独立测试环境下,应达到如下性能指标:

(1) WMS 及 WMTS 地图服务访问加载时间小于 2 秒;

(2) 矢量切片地图服务访问加载时间小于 2 秒;

(3) 信息检索和查询时间:小于 2000 条数据请求的响应时间小于 2 秒,小于 500条数据请求的响应时间小于 3 秒。

相关标签:

发表评论:

评论记录:

未查询到任何数据!