采 购 需 求
一、采购清单
序号 |
名称 |
数量 |
单位 |
备注 |
1 |
庆元县一体化公共数据仓建设服务项目 |
1 |
套 |
|
二、技术需求
根据《中共浙江省委全面深化改革委员会关于印发〈浙江省数字化改革总体方案〉的通知》(浙委改发〔2021〕2号)文件精神,以数字化手段推进政府治理全方位、系统性、重塑性变革,依托一体化智能化公共数据平台,打造整体智治、高效协同的数字政府综合应用。加强共享域数据仓建设,构建大数仓体系,形成全省共建共治共享、数据循环利用的机制,支撑重大改革应用。加强与国家一体化政务服务平台对接,构建完善省市县一体的协同高效数据共享协调机制,实现数据“应共享尽共享”。推进市、县(市、区)、镇(街)数据仓建设,实现数据资源按地域授权管理。
庆元县根据丽水市一体化智能化公共数据平台建设要求,充分利用市级统建平台公共数据组件资源,建设庆元县一体化公共数据仓,覆盖数据全生命周期的数据供应链,汇聚全区数据资源,推动数据源头数据采集、数据汇聚以及数据赋能。
2.1项目总体要求
2.1.1 实现的功能和目标要求
庆元县一体化公共数据仓建设目标是:
1、构建庆元县数据资源体系。完善全省共建共享的一体化数据资源体系,构建公共数据基础域、共享域、开放域,为全省数字化改革提供重要数据支撑。
2、推进市、县(市、区)、镇(街)数据仓建设,实现数据资源按地域授权管理,实现建设覆盖数据全生命周期的数据供应链。促进区县专题库建设。
3、构建庆元县政府数据数字化公共数据仓,基于一体化智能化公共数据平台推动政府各部门有关公共资源数据的共享应用;有效支撑多样化的数字化治理、产业数字化服务、数字产业化发展应用场景,提升政府业务协同能力。
4、推动政府端数据汇聚能力。以省市公共资源交易、科技创新、网上技术交易市场、金融综合服务、企业信用信息服务、企业综合服务(企业码)、产业链数据中心、“亩均论英雄”大数据等应用数据为基础,汇聚形成政府端数据仓。
2.1.2 原则要求
1、标准统一
系统依据统一规划、统一技术标准、统一技术平台建设,基于公共数据资源目录体系,让数据资源整合更规范合理,数据使用更高效便捷,提升数据正确性一致性,保证数据质量。
2、安全可靠
系统安全性原则需要从各个角度去考虑,系统设计需要从物理安全设计、网络安全设计、主机安全设计、应用安全设计、数据安全设计等考虑,同时制定相应的安全管理体系制度,保障安全设计的落实。
3、强化协调
系统建设在设计时,需要针对协调性去考虑,可以协调其他系统,达到系统共享交换,同时需要不断的优化系统,强化系统的实用性,以及强化系统的稳定性。
4、创新服务
在数据仓建设日常工作中,不断完善数据管理、运维、服务流程,规范运维人员数据操作,避免在数据采集、数据分析以及数据共享环节中产生数据问题。开拓创新的思维能力,通过系统保障数据精准运维。
5、简洁易用
从具体的应用角度出发,需满足业务和管理的要求。一方面,系统本身应易于集中管理、可维护,另一方面,系统对其管理对象的管理应是方便的、简单的,同时,系统需人性化设计,提供引导式表单填写、简洁易懂。
2.1.3 技术要求
以大数据、J2EE等技术,以大数据平台为底层架构,合理使用省市一体化智能化公共数据平台,依托丽水市数据开发平台建设本项目。
2.2 系统功能需求
2.2.1 数据仓管理系统
数据仓管理系统是建设在数据仓体系之上的管理平台,实现平台化、系统化对数据仓内容、数据仓标准以及数据展示等特定要求,促进公共数据资源共享,建设内容要求如下:
1)首页数据统计
以可视化方式实现对共享交换运行统计、平台运行动态监控的展示。用户可在统一可视化界面中,对数据仓数据进行综合统计、数据仓数据分层运维数据展示、可以按照不同时间周期维度进行动态切换,展示不同的展示内容。
2)数据源管理
数据源管理主要针对数据仓涉及的关系型数据库进行信息管理和连接维护,保证涉及数据仓数据处理工作的正常有序执行。
3)元数据管理
元数据即我们通常认定的资源目录信息,包括目录基本名称、属性以及目录所属字段基本名称以及附属属性信息等。实现对数据仓存储数据元数据化,完成元数据采集、元数据查询、元数据采集校验、自定义元数据发布、元数据目录生成和发布功能。
4)数据分类和标签管理
数据分类即完成对元数据目录的综合分类管理要求,按照浙江省分级分类管理要求,区数据仓分类按照数据管理维度进行分类。
数据标签即对不同类型的元数据目录进行标签化管理,区别于数据分类,标签侧重于对数据本身数据进行分类鉴别。按照省级分级分类规则,主要针对业务应用维度以数据应用领域维度进行标签化管理。
5)分级分类浏览
提供数据仓对象信息的查询浏览和元数据发布信息浏览功能,包括数据分层浏览、对象分级分类浏览和元数据分级分类浏览。
6)数据全景展示
数据全景支持将数据仓中存储的结构化数据通过可视化、图表化、数量化进行页面统计和页面展示,保障了日常数据统计和决策执行工作。
7)XC终端适配优化
系统应支持XC环境技术体系,提供系统XC终端适配性改造,支撑在XC终端环境下的平滑过渡和稳定运行。
8)数据仓管理系统实施
数据仓内的数据要按照分层模型进行分层标记,不同分层展示不同数据目录,并且同一数据目录不可重复出现在不同数据层中。数据仓内的数据目录按照不同的业务场景、不同的数据来源、不同的数源部门进行打标工作。
2.2.2 数据仓层次设计
庆元县数据仓需充分利用丽水市已有公共数据基础域、共享域、开放域数据资源体系,依托市级一体化智能化公共数据平台中的数据归集、数据交换、数据治理、数据共享、数据分析等数据组件,结合省市下发分域数据、中心库数据等内容,建设一套分类明确、规则完善的区级数据仓,为政府履职提供数据支持。
数据仓层次设计分数据仓明细层、数据仓汇聚层、数据仓应用层、数据仓分析层。
2.2.3 数据分析
通过对数据仓特定数据进行明细数据拆解、数据整合和数据汇聚等一系列建模分析,确定不同数据间概念、逻辑、物理三方维度内容,完成对模型的数据开发工作。数据分析按照庆元县实际需求定制,完成年度5个数据分析内容。
2.2.4 数据资源共享
数据仓数据共享方式主要分为服务接口API共享以及交换的批量数据共享模式。完成年度数据API定制个数与批量数据交换任务总数100个。
2.2.5 数据仓同步通道配置
数据仓构建完成后,根据外部门或本部门系统间数据共享需要,通过离线数据同步、定时数据同步和实时数据同步三种同步通道完成业务生产库到数据仓的数据同步。
2.2.6数字化改革任务仓支撑服务
省统一下发数字化改革任务数据,市级负责拆分各区县数据仓之后,提供庆元县数据仓统一完成数字化改革任务仓五大领域任务拆解和对应门户数据支撑工作服务。
2.2.7驻村便民专题库建设
建设驻村便民应用场景专题库,专题库数据包括省回流数据,已建设的庆元驻村管家采集数据以及市县归集数据,通过庆元县公共数据平台完成数据采集、交换、治理、共享等工作,最终为应用提供专题库数据支持服务。
2.3 非功能性需求
2.3.1 性能需求
1、 处理能力
系统处理能力主要考虑系统能承载的最大并发用户数,按照实际情况的规划,系统至少能承载的最大并发用户数要求达到300。
2、 响应时间
为了能够快捷地提供查询服务,系统能够快速地响应查询请求。用户最终得到结果的响应时间除了与系统响应速度有关外,还与网络状况有关。以下提出的是对WEB查询页面查询响应速度的要求:
一般情况下,页面查询响应时间为3s;对于需要通过安全边界(网闸等)的数据由于要摆渡,响应时间要求8s内。
2.3.2 其他需求
1、安全需求
1)数据传输安全:防止数据传输过程中被截取、篡改,能够检测到鉴别信息和重要业务数据在传输过程中的完整性,应采用传输加密或其他保护措施实现鉴别信息的存储保密性。
2)数据安全设计:对各类接口进行全面的监控及日志记录,操作过程全程留痕,保留操作日志,记入操作日志,以便追踪审计,最大限度避免信息泄露风险。
2、系统交互性需求
系统界面设计结合视觉化元素,采用字体的协调搭配、柔和的配色、精巧的手势和动效的交互,使整个界面操作体验愉悦性,提高操作的直观性,提升内容的可读性和操作性。
3、系统扩展性需求
1)业务可扩展性:系统需充分考虑未来业务的发展变化。系统在业务处理层采用可扩展的标准设计,为业务功能扩充提供保证。各系统之间通过数据接口进行关联,使系统具有较强的可扩展性。通过大量采用参数化的处理方式,保留和其他系统间的数据接口,为系统扩充留有余地,为以后业务扩充带来极大便利。
2)系统可维护性:系统开发需考虑易于理解、易于测试和易于修改,确保文档清晰准确地描述设计规范。
▲4、中标人建设过程中须符合《庆元县一体化公共数据仓建设方案》的要求。
2.4 技术参数要求
模块 |
子模块 |
功能 |
功能描述 |
||||||||||||||||||||||||||||||
一、数据仓管理系统 |
|||||||||||||||||||||||||||||||||
1.1 |
首页数据统计 |
首页数据统计 |
首页数据统计 |
以可视化方式实现对共享交换运行统计、平台运行动态监控的展示。用户可在统一可视化界面中,对数据仓数据进行综合统计、数据仓数据分层运维数据展示、可以按照不同时间周期维度进行动态切换,展示不同的展示内容。 |
|||||||||||||||||||||||||||||
1.2 |
数据源管理 |
关系型数据源 |
主流关系型数据库支持 |
主流关系型数据库支持:Oracle、MySQL等。 |
|||||||||||||||||||||||||||||
文件数据源 |
Excel数据源支持 |
可直接上传.xls .xlsx 或.csv 文件。 |
|||||||||||||||||||||||||||||||
1.3 |
元数据管理 |
元数据采集 |
元数据采集 |
元数据采集是数据仓系统的核心功能,业务元数据是数据仓环境的关键元数据,是用户访问时了解业务数据的途径,业务元数据包含了指标、数据元素、数据列等信息,维度层次关系的定义等内容,可以支持利用语义层建立查询、分析等应用。 |
|||||||||||||||||||||||||||||
元数据采集查询 |
对接入平台的数据源进行快速有效的元数据自动化实时采集工作。点击查询后,针对每一项数据源连接,都可以查看其数据源业务对象特征下的全部信息,包括对象元数据详情查看。 |
||||||||||||||||||||||||||||||||
元数据采集校验 |
可以根据上一次的采集结果,对元数据的准确性、合理性等多角度的检查,便于及时发现问题,解决问题。已发布元数据可对采集源(源数据)反向进行核验,如发现信息错误则进行重新采集。 |
||||||||||||||||||||||||||||||||
自定义元数据发布 |
自定义元数据发布 |
依据标准规范化的元数据模型,基于采集完成的元数据模型,发布自定义元数据。在发布过程中可依据数据的自身特性增加数据分类,能够通过主题域、概念实体、逻辑实体、属性、数据血缘关系追溯、度量定义对数据进行分层分级管理。 |
|||||||||||||||||||||||||||||||
元数据目录格式生成 |
基于已形成的元数据形成相应的元数据资源目录格式,从而提供元数据目录服务、元数据目录导出等相关功能。 |
||||||||||||||||||||||||||||||||
元数据目录格式发布 |
数据仓产生的元数据发布需完成与市目录平台对应和发布工作,按照市资源目录数据标准以及导入导出规则,主目录发布时按照标准导入要求,产生对应导入导出模板;目录维护成功后对元数据目录进行对应模块发布。 |
||||||||||||||||||||||||||||||||
元数据全局检索 |
元数据全局检索 |
对数据仓全部内容进行全局检索,检索条件不限于表对象、表子项、视图等。 |
|||||||||||||||||||||||||||||||
1.4 |
标签与分层管理 |
标签主体设置 |
根据业务应用维度设置 |
业务应用维度包括但不限于数据产生来源、数据应用场景等分类维度。 |
|||||||||||||||||||||||||||||
标签运维管理 |
对标签主体设置,以实现标签主体的新增、修改、删除、查询等功能。标签主体设置包括标签管理、输入信息和标签批量导出。 |
||||||||||||||||||||||||||||||||
标签内容管理 |
标签内容管理 |
标签主体设置完毕后需要进行标签内容配置,对指定标签的相关属性,包括:标签名、标签主体、标签代码和标签备注等相关属性进行新增和修改。标签内容管理包括标签内容设置、输入标签内容信息和标记标签功能。 |
|||||||||||||||||||||||||||||||
数据分层管理 |
数据分层管理 |
根据市级平台要求,在对数据回流需求、数据管理和业务应用场景需求、数据交换共享需求分析的基础上,结合数据库分层划分原则以及布局方案,确定数据仓数据库分层包括明细层、汇聚层、应用层和分析层。 |
|||||||||||||||||||||||||||||||
1.5 |
分级分类浏览 |
数据分层浏览 |
数据分层浏览 |
数据仓的数据分层,都是为了更好的去组织、管理、维护数据仓中的所有数据对象,数据分层浏览功能可以为数据仓管理员提供各个分层数据对象信息浏览。 |
|||||||||||||||||||||||||||||
对象分级分类浏览 |
对象分级分类浏览 |
对象分级分类浏览是根据定义的有效标签分类进行对象详细信息浏览。 |
|||||||||||||||||||||||||||||||
元数据分级分类浏览 |
元数据分级分类浏览 |
元数据分级分类浏览是根据定义的有效标签分类进行发布的元数据详细信息浏览。 |
|||||||||||||||||||||||||||||||
1.6 |
数据全景 |
数据全景datav大屏展示 |
大屏效果设计 |
对数据仓进行数据多维度统计,维度包括:据表数量、数据总量、涉及部门数据、数据排名等,数据来源统计、数据分层统计、应用支撑成效统计;对专题库进行多维度统计:专题库数量、专题库涉及部门数、专题库表数量、专题库数据总量等。 |
|||||||||||||||||||||||||||||
datav制作 |
根据展现效果使用datav工具进行数据仓大屏的制作。 |
||||||||||||||||||||||||||||||||
1.7 |
XC终端适配 |
XC桌面客户端采用国产化操作系统,通过设计适配工具,对终端进行集成适配,包括浏览器插件、浏览器表现层、浏览器数据层的兼容设计等方面。 |
|||||||||||||||||||||||||||||||
1.8 |
数据仓管理系统实施 |
数据仓内的数据按照分层模型进行分层标记,不同分层展示不同数据目录,并且同一数据目录不可重复出现在不同数据层中。数据仓内的数据目录按照不同的业务场景、不同的数据来源、不同的数源部门进行打标工作。 |
|||||||||||||||||||||||||||||||
二、数据层(DW)设计 |
|||||||||||||||||||||||||||||||||
2.1 |
数据层(DW)设计 |
数据仓明细层(DWD) |
数据仓明细层(DWD) |
Data Warehouse Detail,数据仓库明细层,该层一般保持与数据源相同的数据粒度,并且提供一定的质量控制。为保证数据明细层的数据易用性,明细层数据通常对数据采集后,不做数据操作和变动。庆元县数据仓符合全市数据仓建设规范内容,明细层包含省市分域回流数据、区县自建应用数据及人工采集数据。 |
|||||||||||||||||||||||||||||
2.2 |
数据仓汇聚层(DWM) |
数据仓汇聚层 |
该层会在DWD层的数据基础上,对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工处理数据。 |
||||||||||||||||||||||||||||||
2.3 |
数据仓应用层(DWS) |
数据仓应用层 |
按照数据需求提取,用于提供后续的数据API以及数据共享工作等(数据资源共享实现)。 |
||||||||||||||||||||||||||||||
2.4 |
数据仓分析层(DWA) |
数据仓分析层 |
该层主要针对市级大数据开发平台(DataWorks)进行对数据仓数据分析使用。在DWA平台中,按照数据分析模型和分析规则,建立标准化的数据分析任务,完成定时脚本配置以及定时任务同步后,即可对分析结果数据进行数据导出和下行(数据分析实现)。 |
||||||||||||||||||||||||||||||
三、数据仓同步通道 |
|||||||||||||||||||||||||||||||||
3.1 |
数据仓同步通道 |
数据仓构建完成后,可根据外部门或本部门系统间数据共享需要,通过三种同步通道完成业务生产库到数据仓的数据同步。 |
|||||||||||||||||||||||||||||||
四、数据分析和数据资源共享服务 |
|||||||||||||||||||||||||||||||||
4.1 |
数据建模(数量5个) |
数据模型设计 |
概念数据模型设计 |
用于明确模型设计的目的实体,从概念角度明确数据模型建设的不同数据实体(数据目录)的关联关系。 |
|||||||||||||||||||||||||||||
逻辑数据模型设计 |
需精确定义每个逻辑实体间的关联规则,定义内容包括实体的数据类型、实体名称、数据主键等;实体关系定义内容包括:关联关系定义和主键外键对照关系定义。 |
||||||||||||||||||||||||||||||||
物理数据模型设计 |
主要针对数据存储进行定义,也是实际模型执行前最终要的一环,主要设计内容包括数据库设计、表结构设计、数类型设计、数据存储设计、主外键设计以及索引设计。 |
||||||||||||||||||||||||||||||||
4.2 |
数据开发(数量5) |
模型开发 |
物理表创建 |
DataWorks空间中,创建所需的物理存储表,模型分析结果存储至对应的物理表中。 |
|||||||||||||||||||||||||||||
计算逻辑脚本编写 |
按照模型逻辑,编写任务脚本,实现模型;完成脚本周期配置。 |
||||||||||||||||||||||||||||||||
任务流程配置 |
按照定制的逻辑模型进行业务流程配置,明确不同逻辑执行顺序,保证结果正确产出。 |
||||||||||||||||||||||||||||||||
数据同步 |
同步任务配置 |
对已完成数据开发的结果数据,进行数据同步配置,将结果数据回流至数据仓中 |
|||||||||||||||||||||||||||||||
4.3 |
数据资源共享(总量100个) |
数据API定制 |
数据源配置 |
完成待发布API对应数据源(即数据库)配置,保持数据源链接畅通及数据源有效性。 |
|||||||||||||||||||||||||||||
API注册 |
通过市共享平台以及数据开发平台服务生成功能,进行接口注册,包括出入参定制、自定义SQL编写,结果生成。 |
||||||||||||||||||||||||||||||||
API测试 |
对已生成的API进行平台测试,并进行逻辑校核,保证接口符合规定调用逻辑。 |
||||||||||||||||||||||||||||||||
API发布 |
将已生成的API发布至市共享平台。 |
||||||||||||||||||||||||||||||||
批量数据共享 |
数据源配置 |
将数据仓作为数据交换采集数据源进行配置。 |
|||||||||||||||||||||||||||||||
交换任务配置 |
在丽水市交换平台中配置对应数据源的数据采集交换任务,包括任务登记、任务周期定制、字段映射以及更新定制。 |
||||||||||||||||||||||||||||||||
交换任务执行 |
执行配置好的交换任务,确认任务准确稳定。 |
||||||||||||||||||||||||||||||||
交换任务监控 |
对已上线的交换任务进行状态监控,保障任务日常运行,对异常任务及时处理和维护。 |
||||||||||||||||||||||||||||||||
五、数字化改革任务仓支撑服务 |
|||||||||||||||||||||||||||||||||
5.1 |
数字化改革任务仓支撑服务 |
省统一下发数字化改革任务数据,市级负责拆分各区县数据仓之后,提供区县数据仓统一完成数字化改革任务仓五大领域任务拆解和对应门户数据支撑工作服务。 |
|||||||||||||||||||||||||||||||
六、驻村便民专题库建设 |
|||||||||||||||||||||||||||||||||
6.1 |
专题服务 |
业务梳理 |
业务梳理 |
根据业务原型以及专题库建设要求,梳理专题库所属业务内容。 |
|||||||||||||||||||||||||||||
需求支撑 |
需求支撑 |
依据专题库所属数据内容,形成部门数据需求,完成数据需求对应的支撑工作。 |
|||||||||||||||||||||||||||||||
数据归集 |
数据归集 |
根据专题库建设内容,将已完成归集以及已整理的专题库数据在数据仓中进行整理以及汇聚,形成数据仓专题库。 |
|||||||||||||||||||||||||||||||
专题数据治理 |
专题数据治理 |
通过形成专题库业务模型,对专题库中的数据进行业务数据治理。 |
|||||||||||||||||||||||||||||||
专题数据共享 |
专题数据共享 |
数据仓中的专题库数据,提供对外的批量数据、服务接口实现数据共享。 |
|||||||||||||||||||||||||||||||
七、驻场服务 |
|||||||||||||||||||||||||||||||||
7.1 |
驻场服务 |
在服务期限内提供1名数据仓运维技术人员驻场支持日常数据仓相关技术服务工作。 |
提供项目验收合格后一年质保期。
3.2供货期限及供货地点
合同签订后60天内;采购人指定地点。
3.3 付款方式及付款期限
合同签订后支付合同总额的30%,项目验收后支付合同总额的60%,项目验收合格一年后支付剩余合同总额的10%。
3.4其他
确保本项目开发系统的实用性和正常运行,否则若出现因供应商提供的内容不满足招标要求,或者其所提供的技术支持和服务不全面,而导致系统无法实现或不能完全实现的状况,采购人有权终止合同并追究其虚假应标行为。
四、其他要求
1、本项目所涉及的货物、税收、人工费、安装费、运费等一切与之相关的所有费用都需包含在报价中。
2、本项目排名第一的中标候选人未注册成为“浙江省政府采购供应商”的,采购代理机构将暂缓发布中标通知书,由此造成的不利影响自行承担。
3、有关“浙江省政府采购供应商”注册事宜可向采购代理机构咨询,联系人:李琳,联系电话:0578—2360555。