招标项目范围及要求
根据省、市政府数字化转型,城市大脑建设及部门场景式多业务协同需要,全面贯彻落实数字绍兴建设要求,围绕产业数字化、数字产业化、提升数字技术、打造数字政府、建设数字社会五大主要任务,做好数据服务。为绍兴市城市大脑数据中台的建设提供目录、归集、治理、共享、开放、关联分析、应用等服务。
在现有的公共大数据平台成果上继续深化,持续推进数据归集工作,深入开展数据标准扩容、数据治理和数据关联分析等工作,重点做好数据清洗和共享,提升数据的一致性和准确性,满足各类复杂的、更高层次的、更精准的、智慧应用数据服务。一方面满足已归集数据项的增量数据持续归集和数据质量的提升;另一方面持续为各个部门拓展业务领域,提供新汇聚数据项的清洗、治理和分析。
提供包含但不仅限于以下的数据服务内容:
针对现有公共大数据平台的百亿数据,提供大数据集群升级服务:
▲投标人须对现有公共大数据平台有深刻了解,提供平台底层数据架构和技术架构的一致性说明。
迁移评估
对大数据集群升级、数据备份迁移等工作进行设计和评估,包括方案风险评估、迁移时间预估、可能发生的问题以及数据迁移过程造成的影响等。
节点扩容
新增服务器节点部署HDFS、MapReduce、YARN等Hadoop生态技术栈为主的大数据中台计算服务,以线性扩展硬件的方式提升平台计算能力。
版本升级
将Hadoop大数据技术套件进行版本升级,为目前底层大数据技术中的YARN、HDFS、MapReduce提供版本更新和性能提升。
并完成升级后组件版本的兼容性测试、性能测试。
数据和服务迁移
将备份的中台数据从现有集群迁移至升级后的集群内,并完成新老集群数据服务的平滑迁移。
整体迁移工作完成后,进行稳定性测试。
将现有公共大数据平台进行数据仓库层次重构和细分。形成完整的数据体系、清晰的分层结构、高效的数据组织形式,有效提高数据分析和统计的效率,并构建统一、可复用的基础数据层,为各类数据应用提供基础数据服务。
标准梳理
遵循维度建模理念,基于以下原则来制定数据仓库分层的技术方案标准、设计方法、实施细则。
(1) 成本与性能平衡
适当冗余数据来提升数据治理和分析的效率,不宜过度冗余数据,造成不必要的性能损耗。
(2) 一致性
参照绍兴市基础资源库数据元、业务对象、代码集和验证规则的统一标准,相同业务的业务字段在不同的分层和数据表内应具备一致的命名。
(3) 可读性
遵循数据库命名规范,实现命名的一致性与标志性。表命名规范需清晰、一致,表名需易于理解和使用。
数据仓库建模
(1) 选择业务过程
基于建模设计思想和原则,建立整个业务过程的一致性维度。根据业务单位的具体业务分类,首先选择数据建模专题对象的业务过程来表示业务执行的记录。
以业务过程作为建模驱动,基于具体的业务过程特点,构建关联描述性环境的维度表和最细粒度的事实表。
(2) 粒度梳理
精确定义业务过程的业务粒度,明确与事实表度量有关的细节级别。保证对业务过程的业务理解达到一致、对事实表的粒度达成共识。
(3) 维度表设计
以维度建模理论为基础,提供业务过程所涉及的用于过滤及分类事实的描述类属性,包含事实表所记录的业务过程上下文和描述性环境。
确定唯一主键以及维度属性,设计过程中尽量扩展更丰富、更通用的维度属性,并描述和维护维度属性的层次及关联关系,作为查询约束条件、分组与数据标签生成的基本来源。
(4) 事实表设计
将相同粒度的业务过程梳理、设计成事实表,并通过外键关联与之相关的维度表。围绕事实表展开数据分析和应用。
事实表的设计要综合考虑数据来源和应用需求,在满足业务事实记录的同时也要满足使用的便利性和性能要求。
(5)数据跨层预计算
提前做好细颗粒度、多维度的数据计算,以应对数据时效性上的业务需求。实现业务逻辑跨层间的单一维度数据计算、多维度数据汇聚。
按照绍兴市最新的数据标准体系和业务流程,使用现有绍兴市公共大数据平台,对绍兴市数据资源进行优化梳理,并对数据标准内容进行扩充。
配置数据元
根据绍兴市最新数据编目标准和规范,配置数据元。包括业务分类、数据元的标识码、字段名、字段中文名、数据格式。
配置业务对象
根据绍兴市最新数据编目标准和规范,配置业务对象。包括业务分类、业务对象的标识码、名称、分类、版本、组成的数据元。
配置代码集
根据绍兴市最新数据编目标准和规范,配置代码集。包括业务分类、代码集的标识码、名称、版本、关联的数据元和代码集属性值。
根据绍兴市最新数据编目标准规范和业务流程,对数据资源所需关联的验证规则进行扩充。
主要配置内容包括业务分类、验证规则的标识码、名称、关联的数据元和规则定义。
配置数据标准库
根据绍兴市最新数据编目标准和规范,配置数据表并构建数据标准库。配置内容包括数据库名称、表名、表别名、索引、是否加密、加密方式等。
遵循《浙江省大数据发展管理局关于印发省市两级公共数据平台建设导则的通知》(浙数局发〔2020〕3 号)的对接要求,实现市级部门业务库数据实时归集至省级数据平台、省大数据处理分析系统的结果数据实时共享至市级数据平台。实现省市两级平台数据互联互通、实时共享。
根据省、市政府数字化转型,城市大脑建设及部门场景式多业务协同需要,基于现有绍兴市公共大数据平台,做好数据高铁实施服务。
积极对接省级数据高铁基础设施,从等待各业务系统向数据中台推数据,转变为主动从业务系统拉数据。减少数据流转环节,提升数据及时性、完整性。
▲具备对数据高铁底层技术和工作方式的充分理解,提供省市两级数据流向的架构图和方案说明。
数据实时归集
对接绍兴市各局办,开放其业务系统数据库的日志访问权限,通过直接读取业务系统数据库日志,实现流式数据的实时采集。
数据实时治理
针对接入的数据开展清洗、加工、计算作业,并配置周期性调度任务。完成数据融合、数据二次加工和数据流量监控等工作。
利用现有绍兴市公共大数据平台,在全省归集的通用数据基础上,做好市域范围内个性化数据归集,完善归集任务管理、数据同步通道、配置管理等体系,完成数据归集流程创建与运行,实现批量数据离线归集入库。
具备制定数据交换、归集标准和规范的能力。投标人参与过省级及以上《数据交换与共享接口规范》的制定,提供合同证明。
省平台数据推送
对接省级数据平台,按照省级数据资源目录要求,完成数据从市级到省级的归集工作。
局办数据归集
将各局办前置机上的数据归集到数据中台的中心前置机内。
针对局办业务系统建设的数据需求,梳理其提出的数据资源目录,进行数据再归集工作。
区县数据归集
将越城区、柯桥区、上虞区、诸暨市、嵊州市、新昌县六大区县的区县前置机内数据归集到数据中台的中心前置机内。
针对区县业务系统建设的数据需求,梳理其提出的数据资源目录,进行数据再归集工作。
基于省公共数据平台,管理、运维绍兴市租户空间,并承担本租户内部的数据安全责任。
项目空间管理
通过市级大数据主管部门向省大数据局申请租户空间,根据全市的项目情况申请开通计算资源与存储资源,并对资源统一进行管理,后续根据使用实际情况扩容或缩减资源。
批量数据申请
通过公共数据目录提交批量数据共享申请,经省大数据局和相关数源部门审批后获取批量数据使用权限。将申请使用的数据在地市仓中配置加工、计算作业和周期性调度任务。
个性化数据按需导入
将绍兴市个性化数据导入已申请的省公共数据平台租户空间,进行融合加工。
批量数据导出
提交数据导出申请,经相关数据管理部门安全评估审批后,实现分析结果数据的导出,并在申请范围内进行应用。
或者向省共享系统提出分析结果数据接口封装的申请,由省共享系统导出至安全数据库后,进行接口封装并提供使用。
根据业务需求,借助现有绍兴市公共大数据平台,在省域治理专题数据库基础上,将已归集并清洗的各横向业务局办数据进行融合、关联分析。
业务梳理
基于特定业务系统或者专题的数据需求,通过和相关局办对接,梳理所需整合数据的业务逻辑。
细化已定义的业务需求,识别出业务需求与数据、数据规范、流程、组织和技术之间的关联信息,定义信息生命周期,确定数据来源及范围。
数据准备
基于梳理好的业务逻辑,对照数据资源目录,明确构建业务系统或者专题库所需的数据项。针对已编目待归集的数据项,开展该项数据的再归集和清洗工作。
省平台对接
对接省级部门牵头建设的生态环境、交通出行、教育文化、医疗卫生、社保就业、城建住房、社会救助、法律服务等省域治理专题数据库。
通过接口、数据交换或其他共享方式,对接并获取省级平台专题库数据。
碰撞分析
将不同局办、不同业务系统的数据进行融合、碰撞分析等处理,针对数据的不同业务标准,进行业务逻辑不符、业务数据冲突等质量问题的发现。
溯源数据进行问题定位,确定数据质量问题的根本原因。在解决数据质量问题后,开展特定数据的再归集、清洗和关联分析工作。
专题库构建
针对绍兴市各项个性化业务需求,构建本地市域治理个性化数据专题库,并对外提供专题服务,为数字化应用建设提供数据支撑。
使用现有绍兴市公共大数据平台,针对数据进行拆分、细化、整合,定制符合业务需求的标签,实现精准服务用户、满足特定场景的业务目标。
省平台对接
对接省级平台标签库,并依据其建设的公共数据标签体系,构建绍兴本地的标签库和服务,提升数据的价值密度,进一步为数据应用提供支撑,满足各级业务应用多样化、复杂化的数据需求。
标签库构建
基于数据仓库分层服务完成标签库的构建工作。
通过持久化数据关联分析结果进行统计类标签定义;通过配置政策法规、验证规则以及拓展性描述来进行属性标签定义。
标签维护
对标签库进行维护和更新。针对不断归集的数据,定义新标签的同时根据需求动态更新已定义标签。
使用现有绍兴市公共大数据平台,完成本体配置、知识采集、知识融合工作,实现面向自然人、法人、社会治理知识图谱的构建。
本体配置
梳理自然人、法人、社会治理知识图谱的实体、和属性以及实体间关系的业务逻辑,分别构建对应的本体配置,在本体内定义实体对应的概念、属性概念及关系概念,为知识采集完成准备工作。
知识采集
针对城市大脑数据中台已构建的人口综合库、法人综合库和基层治理信息库数据,依据梳理好的本体配置和语义解析,将关系型数据库内的数据解析和转换为实体、实体属性、实体关系,并将结果写入知识图谱。
知识加工
通过知识融合完成实体去重、实体消歧,解决知识采集过程中出现的配置不一致或数据不一致引起的实体定义问题。
针对知识图谱内现有的实体、实体属性、实体关系,通过知识推理来补充、完善实体间关系。
基于现有绍兴市公共大数据平台,加快推进省市两级之间、绍兴地区之内数据的共享开放,为市域范围内各级应用提供数据共享支持。
批量共享
针对各区县、部门提交的市级分析结果数据的导出申请,进行相关的安全、技术审核,并协助相关数据管理部门进行评估审批。
接口共享
提供包含但不仅限于结构化数据、非结构化数据的个性化接口。
基于现有绍兴市公共大数据平台,将实际数据源的连接配置信息写入虚拟库的配置中,建立平台内虚拟库与真实数据源的映射关系。
通过配置虚拟库,为数据提供方设置不同数据访问方的访问权限,满足局办数据保密等级需求。
基于现有绍兴市公共大数据平台,提供包含但不仅限于以下个性化接口的定制开发:
非结构化数据接口
基于云OSS,实现数据中台租户非结构化数据共享等个性化服务接口。
结构化数据接口
通过对城市大脑数据中台内专题库、共享库数据进行接口封装,将开发完毕的结构化数据接口注册至绍兴市公共数据共享平台进行资源化管理,为横向局办和六大区县提供接口形式的数据共享服务。
基于现有绍兴市公共大数据平台,在目前支持接入关系型数据库的功能基础上,提供包含但不仅限于以下数据来源接入扩展的开发服务:
文件数据源配置扩展
支持文件数据源的配置,配置内容包括本地上传的文件对象、文件格式等。
消息队列数据源配置扩展
支持消息队列数据源的配置,配置内容包括消息队列的服务地址、端口号等,并对消息队列服务的访问连接进行有效性验证。
项目实施人员按照项目投标文件承诺的人员、数量,到招标人指定的地点进行现场实施。项目负责人专职负责项目的设计、建设和运维整个流程,如要进行人员调整时,应事先由中标人提出书面申请,征得招标人书面同意。
由于人员不稳定等因素,对项目建设进度及维护质量造成严重影响的,招标人有权终止合同,并要求中标人进行赔偿相应违约损失。
服务开始时间以最终用户的书面确认时间为准,项目服务期为一年,进行数据服务工作,服务期满后进行最终验收。
1) 项目组人员资质要求
项目组驻场人员不少于10人(提供所有项目实施人员最近6个月及以上社保缴纳证明及相关证书复印件,加盖单位公章)。
项目组成员至少要包含以下人员:
项目经理1人:需要5年以上信息系统建设项目管理从业经验,本科及以上学历。
系统架构设计师1人:需要5年以上信息系统从业经验,本科及以上学历。
数据库管理工程师1人:需要3年以上数据库管理从业经验,本科及以上学历。
数据分析师1人:需要3年以上数据分析从业经验,本科及以上学历。
技术服务人员6人:需要3年以上信息系统从业经验,本科及以上学历。
同时,在项目实施全过程中,投标人须遵守如下要求:
未经采购人允许,项目主要人员(指实际参加本项目的管理、技术等方面的负责人,一般指项目经理,项目技术负责人,各专业项目组负责人,质量管理负责人等)未经招标人书面许可不得更换。
以上项目组人员均需提供相应学历/学位证书复印件,从业经验不限本单位经验。
2) 项目组工作要求
项目组成员按照原先预定的项目计划文档进行任务分解,建立每周、每月、每季度考核汇报制度,对未完成任务查找原因并制作项目偏移列表文件,加强沟通和交流,确保项目的顺利完成。
根据招标人业务需要,应及时增派相应人员。
1、合同签订后15日内支付中标人至合同价的40%;
2、项目初步验收通过后15日内支付中标人至合同价的70%;
3、项目最终验收通过后15日内支付中标人至合同价的100%,并退还履约保证金;
以上付款事项,应由先行中标人提供等额增值税专用发票,由招标人经办人提请支付申请。
1) 中标人与招标人签订保密协议,中标人项目参与人员与招标人签订保密承诺书,中标人保证在项目过程中有可能涉及到的涉密数据、个人隐私数据的安全;最终用户对供应商提供的各种形式的相关资料有保密义务,不得提供给第三方;中标人在实施本项目过程中,接触到用户的涉密信息,包括以各种形式存在的国家秘密、工作秘密和商业秘密信息,有保密义务,不得向第三方泄露;未经用户批准,中标人不得持有、保存用户的各种涉密载体。如由于中标人不慎泄露涉密数据或隐私数据,由此引发的刑事、民事责任由中标人承担。
2) 在服务期内,根据上级部门要求,做好相关功能的开发和数据服务工作。根据城市大脑实际需求,中标人需无条件配合招标人做好相应数据服务工作,以保证数据服务能满足招标人业务使用需求。如招标人有其他需求,驻点人员需服从安排。
3) 中标人须提供7*24小时的技术响应,以确保系统的正常使用。服务期内出现故障,中标人按照事件级别启动应急预案,因中标人原因引起的所有损失由中标人承担。
4) 根据招标人要求,在重大业务应用上线、重要保障需求期间,提供24 小时的活动保障和值班服务。在保障期前,对客户环境进行深度检查,发现问题并进行问题修复。
5) 中标人提供的驻场人员入场前需征得招标人同意,未经招标人同意不得入场。入场后中标人不得随意更换驻场运维人员,如需调整,应提前1个月提出书面申请,并经招标人书面同意方可更换。若运维期常驻人员不能满足招标人要求,中标人需及时更换人员。
6) 报价清单至少包括如下明细内容:
序号 |
服务内容 |
工作描述 |
数量 |
单位 |
1 |
大数据集群升级迁移服务 |
Hadoop集群版本升级。包含数据备份、迁移等服务,以及组件版本兼容性调试、性能测试、稳定性测试。 |
1 |
年 |
2 |
数据仓库分层服务 |
将数据中台核心库进行细化的数据仓库合理分层。形成完整的数据体系、清晰的分层结构、高效的数据组织形式,为各类数据应用提供基础数据服务。 |
1 |
年 |
3 |
数据标准维护服务 |
根据绍兴市最新数据编目标准和规范,新增和更新数据元、业务对象、代码集和验证规则,建立新标准体系下的元数据和血缘关系。 |
1 |
年 |
4 |
数据高铁服务 |
提供数据的流式处理。积极对接省级数据高铁基础设施,从等待各业务系统向数据中台推数据,转变为主动从业务系统拉数据。实现省市两级平台数据互联互通、实时共享。 |
1 |
年 |
5 |
数据归集服务 |
在全省归集的通用数据基础上,做好市域范围内各局办和区县的个性化数据归集,并按照省级数据资源目录要求,完成数据从市级到省级的归集工作。 |
1 |
年 |
6 |
数据专题服务 |
在省域治理专题数据库基础上,将各横向业务局办异构数据源的数据进行汇聚、融合以及关联分析,构建绍兴本地的市域治理个性化数据,并对外提供专题服务。 |
1 |
年 |
7 |
省平台数据分析服务 |
基于省公共数据平台,管理、运维绍兴市租户空间,并承担本租户内部的数据安全责任。 |
1 |
年 |
8 |
数据标签服务 |
针对数据进行拆分、细化、整合,定制符合业务需求的标签,实现精准服务用户、满足特定场景的业务目标。 |
1 |
年 |
9 |
知识图谱服务 |
完成本体配置、知识采集、知识融合工作,实现面向自然人、法人、社会治理知识图谱的构建。 |
1 |
年 |
10 |
数据共享服务 |
基于数据中台内的专题库、共享库数据封装开发接口,并将开发完毕的数据共享接口注册至公共数据共享(接口)平台进行资源化管理。 |
1 |
年 |
11 |
虚拟库服务 |
建立平台内虚拟库与真实数据源的映射关系,为数据提供方设置不同数据访问方的访问权限。 |
1 |
年 |
12 |
个性化接口定制服务 |
提供包含但不仅限于结构化数据接口、非结构化数据接口的个性化接口定制开发。 |
1 |
年 |
13 |
数据接入扩展服务 |
数据接入扩展。在目前提供接入关系型数据库的功能基础上,增加以支持文件、消息队列等数据源的配置,并对所填写数据源的正确性进行有效性验证。 |
1 |
年 |
14 |
数字驾驶舱数据服务 |
配合绍兴市“城市大脑”数字驾驶舱建设,为各驾驶舱提供相关数据服务。 |
1 |
年 |
7)中标单价一次性包死,不再调整,经招标人分级审批认可的数量增减(中标人对此无异议),在结算时按中标单价按实调整。
8)中标人提供的产品随机提供货物出厂合格证书、检测报告。
9)所有的招标项目中的软硬件,均应按照国家有关本项目的网络安全、信息安全要求,以表明其运行性能、安全性能和功能结构的完整性。
10)系统集成应严格按照国家有关规定进行,中标人必须及时提供验收规范、设计文档、施工文档、检测文档、项目管理文档等有关文档。
应用系统开发应严格按照国家软件工程规范进行,中标人必须根据开发进度及时提供有关文档,包括但不限于:
①准备阶段:《实施计划》;
②需求分析阶段:《需求分析说明书》;
③设计阶段:《数据库设计说明书》;
④测试阶段:《测试计划》、《测试报告》;
⑤上线阶段:《试运行/上线报告》;
⑥培训文档:《培训计划》;
⑦交付使用:《用户手册》;
⑧软件源代码光盘;
⑨与工程相关的其他文档
11)根据项目日常运行情况,中标人须定期(至少包括周报告、季度报告、半年报告及年报告)向招标人提供系统运行情况报告。
12)验收时需要中标人在现场,验收完毕后作出验收结果报告,验收费用由中标人承担。
13)在服务期内,中标人应对服务出现的安全问题负责处理解决并承担一切费用(包括但不限于产品责任、侵权责任及由此产生的诉讼费、律师代理费、财保费等)。
14)中标人未能按照约定完成服务的,每推迟一天,支付合同总价0.2%的罚金给招标人,罚金总额不超过合同总价的10%,所有的扣款直接从工程款中扣除。
15)未按招标人要求完成运维期间的相应工作或给招标人带来名誉或经济损失的,中标人负全部违约责任。
16) 项目在验收以前,项目组常驻人员在国家法定工作日不得少于10人,每缺少一人一天扣除2000元,所有的扣款直接从工程款中扣除。
17)知识产权说明
1.中标人应保证所提供的产品及其任何一部分,在使用时不受第三方提出侵犯其专利权、版权、著作权、商标权或其他权利的起诉,一旦被第三方提出有侵权行为,中标人应承担全部责任。中标人保证所交付的产品的所有权完全属于中标人且无任何抵押、查封等产权瑕疵。
2.项目验收时,投标人应提供完整的软件平台包给招标人,并提交所有项目实施过程的全部执行源代码,并按照软件技术规范的国家标准,提交项目文档,项目中涉及的定制开发功能,投标人应在验收时提交项目实施过程的软件执行源代码,作为验收主要要素,备后续维护与后续开发所用为招标人提供软件著作权申请(所申请的知识产权归招标人享有)、高新企业申请等做好软件相关的配合工作。
3.后期运维中产生的所有因现场需求开发的软件执行源代码应在上线后3天内提供给招标人。
18)发票开具
1.按照国家规定,具备付款条件后,中标人应开具对应的产品类、服务类等增值税专用发票。
2.本合同执行中相关的一切税费均由中标人负担。
19)运维质量保障:
1.项目验收并投入使用后,出现故障或问题导致中标人负责的系统无法正常使用,导致使用单位对招标人进行扣款或索赔的,全部直接损失由中标人承担;严重影响招标人声誉的,应赔偿招标人的名誉损失。期间发生新问题的,新问题的赔款将单独重新计算。
2.项目的运维期内,对于招标人提出的在合同范围内的服务内容,应该在招标人要求的合理时间内完成,逾期给招标人带来工作影响的,可处以每次200-1000元的罚金,影响严重的,按实际进行赔偿。
3.项目的运维期内,不能按约定要求进行响应、修复,招标人应对中标人进行罚款,按招标人的直接损失进行罚款,不能计算直接损失的,可处以每次200-1000元的罚金;
4.对于运维质量无法保障的,招标人有权委托第三方进行处理,产生的费用由中标人承担。
5.以上罚款费用可累计,未按招标人要求完成运维期间的相应工作或给招标人带来名誉或经济损失的,中标人负全部违约责任。
20)送达方式:
为使中标人履行合同义务,满足招标人的服务要求,通知发出后在下述日期时视为送达:
1.以传真方式发出的,传真上载明的发出时间;
2.以电子邮件发出的,邮件到达受送达人特定系统的时间;
2.本合同载明的联系地址即为各方寄送文件的法定地址(包括法律文书),因拒收或无法送达而退回的,以邮局第一个邮戳所记载的日期视为送达日期。
任何一方变更以上送达方式的,应于变更后2日内书面告知另一方,否则由此导致的一切不利后果自行承担。
21)保密约定
中标人不应对招标人的保密文件、数据等进行接触,确因工作需要的,应对项目涉及的所有信息进行严格保密,不能再进行传播,若因保密工作不到位或者管理不到位的,招标人有权立刻进行合同终止,并要求违约赔偿;给招标人带来经济、名誉损失的,由中标人进行全部损失的赔偿。