采购需求
一、项目概况:
采购包1(分析平台主体建设部分):
序号 |
项目内容 |
数量 |
备注 |
一 |
基础设施服务 |
||
1 |
43英寸LED竖屏显示器 |
3台 |
含操作系统、维保2年 |
二 |
软件开发服务 |
||
1 |
分析平台建设 |
1项 |
(数据应用加工治理系统、任务链管理系统、数据服务门户、对接广东省数据资源“一网共享”平台梅州分节点) |
2 |
密码应用建设 |
1项 |
|
3 |
高频分析应用场景专题 |
1项 |
|
4 |
梅州柚数据分析专题 |
1项 |
|
5 |
政务服务事项效能分析监管专题 |
1项 |
|
三 |
系统运维服务 |
||
1 |
系统运维服务 |
2年 |
|
四 |
系统业务运营服务 |
||
1 |
高频分析应用场景运营服务 |
2年 |
|
2 |
梅州柚数据分析专题运营服务 |
2年 |
|
3 |
政务服务事项效能分析监管专题运营服务 |
3年 |
|
采购包2(公共数据运营开放系统部分):
序号 |
项目内容 |
数量 |
备注 |
一 |
软件开发服务 |
||
1 |
公共数据开放运营系统 |
1项 |
|
2 |
隐私计算节点 |
1项 |
|
二 |
运行维护服务 |
||
1 |
运行维护服务 |
2年 |
|
三 |
系统业务运营服务 |
||
1 |
公共数据开放运营系统运营服务 |
2年 |
|
采购包1(分析平台主体建设部分)1.主要商务要求
标的提供的时间 |
本项目建设周期为6个月,自合同签订之日起开始计算。 |
标的提供的地点 |
采购人指定的地点 |
付款方式 |
1期:支付比例70%,合同签订之日起30个工作日内,采购人向中标供应商支付合同金额的70%。
2期:支付比例30%,项目建设完成并通过验收后10个工作日内,采购人向中标供应商支付合同金额的30%。 付款方式补充说明: 1.每笔款项支付时,中标供应商同时向采购人提供相应金额的正式发票。 2.付款方式:银行转账支付。 3.因采购人使用的是财政资金,采购人在前款规定的付款时间为向政府采购支付部门提出办理财政支付申请手续的时间(不含财政支付部门审核的时间),在规定时间内提出支付申请手续后即视为采购人己经按期支付,如因财政支付部门原因导致未能及时支付的不属于采购人违约,采购人不承担因财政资金不能及时到位给中标供应商造成的任何损失。 4.逾期付款的违约责任:如采购人逾期支付资金的,从逾期之日起每日按逾期的该期支付金额的1‰支付给中标供应商作为逾期付款的违约金。 |
验收要求 |
1期:1.中标人完成项目建设工作并试运行后,即可向采购人提交书面的项目竣工验收申请,采购人收到申请后7个工作日内,由采购人组织有关单位,进行并完成项目验收。在试运行期间,如因设备原因出现重大故障,则重新开始试运行,各方协调,尽快解决问题以满足验收条件。按照采购文件要求,如果验收不通过,采购人应给出理由和修改要求,中标人按采购文件要求进行整改,直至通过验收。采购人除有正当理由外,若在规定时间内未组织完成验收或不能出具验收结论的,视为双方认可工作成果。 2.中标人应按软件工程有关标准和规范,以及本项目采购文件的要求完成平台建设工作,向采购人提供本项目相关的技术文档资料。 |
履约保证金 |
收取比例:10%,说明:1.履约保证金额为合同金额的10%。 2.交纳方式:以支票、汇票、本票、银行转账或者金融机构、担保机构出具的保函等非现金形式提交。 3.交纳时间:中标供应商在签订合同前5个工作日内向采购人交纳履约保证金。 4.退还时间:在项目运维、运营服务期结束后10个工作日内容退还。 5.履约保证金有效期:自合同签订之日起至项目服务期结束。 6.不予退还的情形:中标供应商不履行与采购人订立合同的或者未全面履行合同质量等条款,履约保证金不予退还,给采购人造成的损失超过履约保证金数额的,还应当对超过部分予以赔偿。 7.违约责任:中标供应商违约的,采购人将按照扣除其全部或部分履约保证金,或由担保人承担担保责任。如果中标供应商违约给采购人造成的损失超过履约保证金的,还应当依法赔偿超过部分的损失。 履约保证金可以以履约保函(保险)形式提供,目前"广东政府采购智慧云平台金融服务中心(https://gdgpo.czt.gd.gov.cn/zcdservice/zcd/guangdong/)已实现电子履约保函(保险)在线办理功能,有意愿供应商可自行办理提供。 |
其他 |
|
其他商务需求
参数性质 |
编号 |
内容明细 |
内容说明 |
|
1 |
包装、保险、运输、保管要求 |
1.货物的包装必须是制造商原厂包装,其包装均应有良好的防湿、防锈、防潮、防雨、防腐及防碰撞的措施。凡由于包装不良造成的损失和由此产生的费用均由中标人承担。 2.中标人负责货物运输过程中的质量及安全保障,货物装卸车、货物现场的搬运由中标人负责,由此产生的费用均由中标人承担。 3.货物在现场的保管由中标人负责,直至项目安装、验收完毕。 4.货物在安装调试验收合格前的保险由中标人负责,中标人负责其派出的现场服务人员人身意外保险。 5.货物运至采购人指定的使用现场的包装、保险及运输等环节和费用均由中标人负责。 |
|
2 |
投标报价要求 |
投标总价指供应商为完成本项目所收取的全部费用,包含但不限于以下费用:所有工作人员的工勤费用(包括工资、福利、交通、食宿、通讯、常驻现场的费用等),合同所提及系统开发、对接、调试、数据迁移、升级维护、培训辅导、运维期售后服务、招标代理服务费、验收费、全额含税发票、合同实施验收过程中的应预见和不可预见费用等。中标人不能再以任何理由向采购人索取其他费用或利益。 |
|
3 |
保密要求 |
中标人在项目实施过程中,对采购人所提供的所有相关资料、数据,未经采购人书面同意不得向任何第三人泄露,且保密责任不因合同的终止或解除而失效。如采购人提出要求,中标人须无条件与采购人签定保密协议。项目完成后,中标人须把采购人要求提供的与技术评估工作有关的所有原始资料、数据移交采购人。 |
|
4 |
知识产权声明 |
1、中标人所提供的产品、工具、模型、方法论、文档及服务须没有任何权利瑕疵,没有侵犯任何第三方权利。采购人在使用该产品或服务的任何一部分时,免受第三方提出的任何侵犯其知识产权的权利主张。如发生第三方指控采购人实施的侵权的,中标人应当承担全部责任。 2、在本项目中所形成成果的知识产权归采购人所有。未经采购人书面同意,中标人不得擅自将项目成果转让给第三方,也不得擅自允许第三方使用。 |
说明 |
打“★”号条款为实质性条款,若有任何一条负偏离或不满足则导致投标(响应)无效。 |
2.技术标准与要求
序号 |
品目名称 |
标的名称 |
单位 |
数量 |
分项预算单价(元) |
分项预算总价(元) |
所属行业 |
技术要求 |
1 |
软件集成实施服务 |
分析平台主体建设部分 |
项 |
1.00 |
2,158,400.00 |
2,158,400.00 |
软件和信息技术服务业 |
详见附表一 |
附表一:分析平台主体建设部分
参数性质 |
序号 |
具体技术(参数)要求 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
1 |
一、基础设施服务 本项目需采购3台43英寸LED竖屏显示器(含操作系统、维保2年),为采购人提供直观的可视化数据展示,做到一屏全览。设备设施产权归采购人所有。 1.设备参数要求:
2.安装调试及维保 (1)提供不少于2年质保期。 (2)设备类的安装调试,由承建单位提供1至2名技术人员进场实施。 (3)以下情况不属质保期维修范围: ①因不正常操作及人为或自然灾害而引起的损坏; ②自行拆卸改换机内任何部分(如:线路、零件)后造成损坏; ③非承建单位指定的专业技术人员指导安装而引起的故障。 ★3.投标供应商对设备响应情况: (投标供应商的投标文件需要填写以下内容,如未填写按无效投标处理)
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
2 |
二、软件开发服务 (一)分析平台建设(数据应用加工治理系统、任务链管理系统、数据服务门户、对接广东省数据资源“一网共享”平台梅州分节点) 本部分建设用于数据加工、治理和应用的大数据分析子系统,既支撑政务大数据分析应用场景的建设,也支撑市各部门日常业务开展过程中复用数据加工、治理和应用能力,进一步提高政务数据应用效率;同时通过项目建设形成一批数据,支撑后续建设“百县千镇万村高质量发展工程”专题库。 围绕实现大数据分析应用场景为目的,通过建设数据应用加工治理系统、任务链管理系统、数据服务门户、公共数据运营子系统、隐私计算节点部署作为核心软件能力支撑,构建数据供需对接服务、数据治理服务、数据交易产品的梳理和治理、数据要素市场化配置体系建设、公共数据运营、社会数据开发利用等运营服务工作为数据处理和分析服务支撑,从而完成大数据分析应用场景和数据交易产品的数据汇聚、数据治理、数据分析和对外服务。 1.数据应用加工治理系统 数据应用加工治理系统用于对梅州市政务资源共享分节点中各委办局共享政务数据资源进行数据匹配,明确数据需求和数据源之间的关联关系;提供可视化的治理和加工工具将从各委办局获取的共享数据加工处理为能满足应用场景所需的中间态数据;并按应用场景需求对中间态数据进行关联整合,便于应用在大数据分析应用场景和数据交易产品中。 系统主要实现对数据进行统一的数据匹配、清洗、治理、整合等功能,对数据进行标准化的处理,并提供对数据的融合能力形成标准化的数据,使数据适用于各个系统之间关联应用。系统功能包括数据识别、数据质量管理、数据质量、标签管理、基础规则库。 1.1.数据识别 数据识别是对元数据的数据项进行基本属性识别和认定,数据表对数据进行基本属性识别,帮助数据管理者快速判断数据性质和对数据项进行初步分类,对各个字段进行描述性分析,快速定位提取数据源中的关键数据,提升数据管理效率,为后期的数据质量管理和治理提供数据属性应用的基础。 数据识别主要包括以下功能: 1.1.1.数据识别 由于数据表采集到数据湖后,一般以英文名称存在,如果表里无对应字段注释或者未在系统形成统一管理时,数据管理员很难判别其具体属性,本项目可能会汇聚海量数据资源,如果没有提前做好数据属性管理,那么管理员需要在数据湖中查找关键数据,便会非常困难。 数据识别即是通过预设统一关键数据属性和识别规则库,通过自动执行任务方式,对数据湖中海量的数据项进行快速基本属性识别和认定,帮助数据管理者快速判断数据性质,并对数据项进行初步分类,对各个字段进行描述性分析,快速定位提取数据源中的关键数据,如常见个人信息属性:姓名、身份证号码、年龄等,提升数据管理效率,为后期的数据质量管理和治理提供数据属性应用的基础。 数据识别主要是围绕数据项数据内容建立一套包括属性的定义、执行等功能的模块。依托数据属性识别规则库,在对各种数据进行识别的过程中,需要预先从识别规则库中获取属性识别策略规则,系统根据预设好策略规则对待识别数据内容、字段名进行自动属性识别分析,最后输出打上数据基本属性标签。 1.1.2.识别属性 系统定义的数据属性是指数据表字段的数据内容或字段名具备某些特征时,我们将其归为某一属性,比如身份证号码、姓名。 数据表采集到数据后,一般以英文名称存在,如果表里无对应字段注释或者未在系统形成统一管理时,数据管理员很难判别其具体属性,如果系统提前通过预设规则对数据源进行自动扫描,快速辨别出数据字段具体属性,那能够有效提高数据管理的效率。而在对数据进行识别之前,需要先提前梳理常见、且使用率、复用性较高的数据字段属性,形成系统化管理和维护。 属性标签管理模块就是提供对数据基本属性进行统一管理功能,包括对基本属性进行说明、属性标签增删改查等基础操作功能。 1.1.3.识别规则 提供属性数据识别规则组和规则自定义配置和维护功能,支持用户通过关键字、正则表达式等方式来对字段名或者字段内容进行识别,并将数据属性与属性识别的规则进行一一匹配,实现后期通过规则匹配情况给数据匹配相关的属性。 1.2.质量管理 1.2.1.质量规则管理 提供质量分析规则库创建和维护功能,支持按照业务/国家通用指标两种方式对上质量规则进行分组管理。 1.2.2.表分析管理 一、新增表分析任务 提供数据表维度数据质量任务配置,用户可以从已获授权的数据表中选择任意一个进行全表质量分析。配置内容包括任务编号、所属项目、目标表、分析规则、执行方式等。任务执行方式应支持手动执行和定时执行,用户可自定义配置定时调度计划。 手动执行由用户手动确认执行单次任务;定时执行,可以按每天/每周/每月/每季度/每半年/每年/固定间隔天数等方式,用户自定义配置定时调度计划,系统按照调度计划执行。 支持自定义设置是否输出详细问题数据表及问题表的所在位置。 二、编辑表分析任务 可对已新增的表分析任务进行编辑操作,用户可修改表分析任务的调度计划、任务分类、任务名称等信息。 三、删除表分析任务 对于已经废置的数据表,及其相关分析任务,也根据实际情况进行删除操作。 四、表分析最新分析报告查看 即表分析任务的单个任务单次检测结果,包括总体情况、每个数据项质量检测情况。支持用户导出当前质量分析结果报告。 总体情况包括:综合达标率、比上次检测结果比较、总字段数、有效字段数、剔除字段数据、总数据行数、非空行数、达标行数、问题行数等。 检测数据项详情:展示表中每个字段检测情况,包括非空行数、达标行数、问题行数、综合达标率、是否剔除等。 报告导出:支持用户导出当前质量分析结果报告。 五、表分析最新分析报告导出 对数据表进行质量检测后,可以生成详细质量检测报告,可以导出最新的分析报告。 六、表分析质量提升报告查看 即对单个任务累计历史整体分析结果,包括总体情况、历史检测情况、历史问题情况。 总体情况:包括平均达标率、质量提升率、最高达标率、累计检测结果中单次最低值、数据总行数、问题总行数、累计检测次数据、累计检测行数、累计检测问题行数、累计检测达标行数。 历史检测情况:以柱状图的形式展示每次任务执行情况,并能在图表中标识出平均分、最高分、最低分。 历史问题情况:以柱状图的形式展示每次任务执行检测行数、问题行数和问题率。 表字段详情:展示每个字段分析情况,每项统计数为单个字段的统计。 检测报告对比,用户可以选择任意两期检测,来进行两次检测结果对比,对比两次检测结果各自的达标率、问题率、总字段数、有效字段数、总数据行数、达标行数、问题数据行数、详细的字段检测规则结果,及两次对比提升率。 七、表分析质量提升报告导出 对数据表进行质量检测后,可以生成详细的质量提升报告,可以导出质量提升分析报告。 八、表分析任务日志 支持查看表分析任务的运行日志。包括开始时间、结束时间、执行时间、耗时、分析字段数、总数据行数等内容。 用户可以通过任务批次、任务执行时间快速检索历史执行任务。 1.2.3.列分析管理 一、新增列分析任务 提供数据列维度数据质量任务配置,用户可以选择获授权的数据表中某个字段进行数据列质量分析。一次支持跨表选择多个同类的数据列进行批量配置。配置内容包括任务编号、所属项目、目标列、分析规则、执行方式等。支持用户自定义选择多个质量检测规则对的单个数据列进行质量检测。 任务执行方式应支持手动执行和定时执行,用户可自定义配置定时调度计划。手动执行由用户手动确认执行单次任务;定时执行,可以按每天/每周/每月/每季度/每半年/每年/固定间隔天数等方式,用户自定义配置定时调度计划,系统按照调度计划执行。 支持自定义设置是否输出详细问题数据表及问题表的所在位置。 二、编辑列分析任务 可对已新增的列分析任务进行编辑操作,用户可修改列分析任务的调度计划、任务分类、任务名称等信息。 三、删除列分析任务 根据实际情况对列分析任务进行删除操作。 四、列分析最新分析报告查看 即列分析任务的单个任务单次检测结果,包括总体情况、每个数据项质量检测情况。 总体分析情况:综合达标率、对比上次检测结果是否提升还是下降、总数据行数、非空行数、达标行数、问题行数。 检测规则详情:按照检测指标,展示每个规则达标行数、问题行数和达标率。 五、列分析最新分析报告导出 进行列分析质量检测后,可以生成最新的分析报告,可以导出最新的分析报告。 六、列分析质量提升报告查看 即对单个任务累计历史整体分析结果,包括总体情况、历史检测情况、历史问题情况。 总体情况:包括平均达标率、质量提升率、最高达标率、最低达标率、累计检测次数据、累计检测行数、累计检测问题行数、累计检测达标行数。 历史检测情况:以柱状图的形式展示每次任务执行情况,并能够在图表中展示出平均分、最高分、最低分。 历史问题情况:以柱状图的形式展示每次任务执行检测行数、问题行数和问题率。 检测报告对比,用户可以选择任意两期检测,来进行两次检测结果对比,对比两次检测结果各自的达标率、问题率、总数据行数、达标行数、非空行数、问题数据行数、详细的检测规则结果,及两次对比提升率。 导出报告:支持用户导出当前报告内容。 七、列分析质量提升报告导出 进行列分析质量检测后,可以生成详细的质量提升报告,可以导出质量提升报告。 八、列分析任务日志 支持查看列分析任务的运行日志。包括开始时间、结束时间、执行时间、耗时、分析字段数、总数据行数等内容。 用户可以通过任务批次、任务执行时间快速检索历史执行任务。 1.2.4.整体质量分析报告 一、整体质量分析报告查看 整体质量分析是对平台数据进行数据情况进行全面化分析,并以可视化的图表进行动态展示,方便管理者从整体的角度,掌握数据资源中心现在整体数据质量情况。 主要依据历史执行的相关质量分析任务,从数据整体检测情况、五大质量指标属性、近半年提升情况、存储模块质量情况、数据表质量情况等几个维度来分析。 总体统计:包括总体达标率、累计检测数据源、累计检测数据表、累计检测字段数、累计有效检测次数、累计检测数据行数、累计检测问题行数、累计检测达标行数等。 各项指标分析情况:以图表形式,展示质量规则对应的所属指标达标率和问题率;统计每个指标累计检测出来的达标行数和问题行数。 近半年质量提升情况:统计近每月列/表分析任务达标情况和提升情况。月达标率、月提升率。 数据源达标率和问题率排名:统计任务涉及数据源整体达标和问题情况前10位排名。 元数据达标率和问题率排名:统计任务涉及数据表整体达标和问题情况前10位排名。 二、整体质量分析报告导出 支持导出整体的质量分析报告。 1.3.数据对比 数据对比功能利用AI智能技术,提供智能化数据对比功能,用户可以从库/表/字段等多个维度自定义探索分析两个数据间数据内容、结构的相似度。 1.3.1数据列对比 列对比是基于某个参照字段对目标字段的数据内容进行比对,以判断两个字段数据匹配情况,快速发现字段数据差异内容,以此判读目标字段的数据合规情况。 1.3.2.数据表对比 表对比是基于某个参照元数据对目标元数据里的所有数据内容进行比对,以判断两个元数据匹配情况,快速发现关系表之间的数据差异内容。 1.3.3.数据库对比 接入外部数据源时,由于外部数据源非大数据中心管理范围,数据源提供部门具备对数据源操作权限,导致经常出现业务部门的数据库管理员基于自身业务管理需要对业务数据源进行修改了,但是未及时将变更信息同步给大数据中心的管理员,影响相关数据采集更新、处理任务运行,甚至关键表和字段被删除时,导致相关任务异常报错。 因此数据库对比即是通过任务定时调度方式,在任务执行之前,提前定时将相关的数据源与源数据库进行对比,通过对比新旧两个数据库信息,了解新库比较旧库发生了哪些变化,包括新增、删除、修改了那些数据表,修改的数据表中具体是哪些字段发生了变化。帮助数据管理员可以快速发现外部接入数据源更新变动情况,避免外部数据源在未知情况下发生变更导致的数据同步问题。 1.4.数据关系探索 数据关系探索主要通过匹配数据相似度来帮助用户快速分析数据库中数据表及字段间的是否存在数据关系,方便用户在进行数据治理的前期定位数据库中有相关使用价值的数据。 1.4.1.关系探索任务配置 提供数据源关系探索任务配置功能,用户可自定义选取多个数据源进行关系探索。 1.1.4.2.任务预处理分析 基于关系探索任务中选取的数据源,进行预处理分析,提前分析出数据源中涉及数据表、字段、数据量情况。允许用户提前剔除无用的数据表、字段信息,剔除后不纳入后续的关系分析中,减少关系探索的分析压力。 1.1.4.3.关系匹配分析 针对预处理结果中筛选出来的数据表、字段进行自动关系探索,根据智能化识别数据表之间的数据相似得出对应的数据关系链路,并支持用户剔除相关无用关系链路。 1.4.4.关系检索 通过对数据源的数据进行预处理和关系匹配分析后,支持用户按照表、字段的维度来快速定位自己需要了解数据关系链路。如通过输入A、D两张表来检索A、D表之间的关系链路图,中间涉及多少张表的关联。 1.5.数据治理 数据治理是对大数据平台接入的数据表提供可视化的数据的清洗及治理策略配置,且应支持多种清洗及治理的方式。数据治理应用场景包括应包括对无效数据、标点符号、空格、非法字符等内容的处理。主要包括以下功能: 1.5.1.治理任务分类 一、新建任务分类 治理任务过程主要是为了响应和满足项目业务需求,当业务需求很多时,提前对治理任务做好业务分类就非常重要,有利于数据服务人员更好定位和管理相关治理任务,并做好对应的分类标识。允许用户自定义分类管理功能,用户可以按照实际业务需求创建多级业务分类,方便在治理任务较多时,快速定位任务。 基于对数据治理过程和输出结果的区别,治理任务类型包括清洗任务和融合任务,清洗任务主要是对原始的脏数据基于数据标准规范要求进行预处理过程,得出标准化的高质量数据;融合任务主要是指基于业务应用需求,对多个进行标准化的数据资源进行融合分析后,得出新的数据资源。 二、编辑任务分类 平台支持对任务分类的编辑,可以修改分类名称、上级分类等。 三、删除任务分类 平台支持删除任务分类,用户根据业务情况进行删除。 1.5.2.治理任务配置 一、新建任务 提供拖、拉、拽可视化页面配置功能,用户可快捷方便拖拽组件进行治理步骤和治理内容配置,支持配置多个治理组件步骤和调度。 提供不少于50个治理组件,支持库表、文件(csv、Excel)、JSON、实时流等多种数据格式输入和输出。治理过程支持自定义写SQL、JS、ES等多种脚本语句,也提供无代码化配置组件,支撑数据合并、数据转换、数据替换、数据去重、数据去空、数据过滤、数据去错等各种数据治理场景,数据治理人员无需通过写代码形式,即可完成数据治理过程。 治理过程中支持对输入数据的在线数据预览功能,用户可以在配置过程步骤时提前查看数据内容,以便根据数据情况来进行下一步的数据清洗及融合工作,选取对应的数据处理组件。 二、编辑任务 平台支持对治理任务的重新编辑,可以调整任务信息、治理步骤、治理内容等。 三、删除任务 用户可以根据实际需要删除治理任务。 四、手动执行任务 平台任务执行方式应支持手动执行和定时执行两种,手动执行由用户手动确认执行单次任务;定时执行,可以按每天/每周/每月/每季度/每半年/每年/固定间隔天数等方式,用户自定义配置定时调度计划,系统按照调度计划执行。 1.5.3.治理组件库 包括数据输入组件、数据输出组件、数据链接组件、数据转换组件、数据流、流程组件、脚本组件、大数据组件和统计组件。 一、数据输入组件 数据输入组件即为数据治理过程提供数据接入的配置组件,主要提供各种数据类型、各种方式的数据输入,包括数据库表、界面录入、CSV、JSON、Excel等数据类型直接链接,也支持用户直接通过SQL查询或者可视化界面数据录入等输入方式。 二、数据输出组件 数据输出组件即为数据治理过程提供最后数据输出配置组件,主要提供各种数据类型、各种方式的数据输出,包括数据库表、CSV、JSON、Excel等数据类型输出,数据输出方式也支持数据全量输出、增量更新/插入等。 三、数据链接组件 数据链接组件主要是为数据整合过程提供数据横向、纵向数据合并等。 四、数据流 数据转换组件是为数据清洗场景提供各种数据转换、数据去重、数据去空、数据替换等功能。 五、流程组件 支持自定义流程,流程组件包括数据流合并、数据过滤、Switch/case、阻塞数据、中止流程、执行转换、空操作。 六、脚本组件 治理组件库中包括脚本组件,可以直接执行相关脚本,具体支持SQL脚本、Javas'c'r'i'p't'脚本、ES语句、计算器。 七、大数据组件 治理组件库中包括大数据组件,具体支持ES写入、ES更新、MongDb输入、MongDb输出。 八、统计组件 支持对数据进行分组统计,输出统计结果。 1.5.4.治理任务导入导出 一、治理任务导入 可批量导出治理任务给其他项目组进行使用。可以选择是否导出任务全部信息(包括任务关联的数据源信息等),或者只导出治理任务基本信息和分类。 二、治理任务导出 支持批量导入任务,提供直接新增或者覆盖两种导入模式,直接新增时,遇到重复任务,默认新增为新任务;覆盖时,则导入后覆盖更新旧任务。 1.5.5.治理任务调度 任务执行方式支持手动执行和定时执行两种,手动执行由用户手动确认执行单次任务;定时执行,可以按每天/每周/每月/每季度/每半年/每年/固定间隔天数等方式,用户自定义配置定时调度计划。 1.5.6.任务克隆 在治理任务列表可以点击进行任务克隆,克隆后系统会自动生成一个一模一样的治理任务,方便通用任务快速创建和多次利用,减少用户重复配置工作。 1.5.7.治理任务日志 一、治理任务日志查看 Ø支持用户查看每次治理任务运行详情,包括运行时间、执行结果、执行耗时、处理的数据量等。可查看每次执行任务批次的详细日志记录,包括执行详细日志信息和每个步骤度量情况。 二、查看调度步骤度量 支持用户查看任务的调度步骤度量内容,步骤度量情况包括每个步骤读取数、写入数、更新数、输入数、输出数、拒绝数、错误数等信息。
2.任务链管理系统 在海量政务数据处理过程中,涉及大量的字段级处理任务,而因为业务逻辑和对象逻辑的严谨性,导致数据处理任务有着明确的先后、并行、同步或异步等等逻辑关系;任务链管理系统用于对复杂而处理逻辑严谨的数据处理过程进行链条化管理,保障在处理海量政务数据和执行大量处理任务时井然有序,保障数据处理安稳而正确地执行。 系统采用DataOPS开发模式,从数据分析、数据采集、数据开发、数据应用全流程流水线式协同,并提供实现端到端的数据开发,提升数据开发效率,以任务包为维度对所有任务进行统一监控,方便运维人员快速排查问题,基于已有积累的数据开发应用流程按模块化结构形式,形成应用知识库,可导出、迁移至其他项目进行直接应用,方便项目经验和知识的复用。 2.1.任务链管理 业务需求为驱动,针对同个业务下存在先后关系的采集任务、清洗任务、融合任务、应用任务等进行任务统一自动调度化编排,方便实施人员对数据开发管理全流程进行模块化跟踪与处理。并可对不同项目的任务链进行统一管理,支持对任务链进行分类。 2.1.1.任务链列表 平台根据任务链的创建情况生成任务链列表。在列表中可以进行新建、查询、编辑、删除、执行、停用、导入、导出等操作。 支持通过任务链名称与状态快速检索到任务链。 2.1.2.新建任务链 支持任务链创建,可使用任务库已有任务进行任务链创建,若已有任务无法满足任务链创建,可快捷跳转到对应功能模块进行任务创建,支持任务链基本信息创建,包括任务链的名称和应用说明。可从不同的功能模块,将任务导入对应的任务链,支持通过任务名称、任类型等检索到对应任务,任务可归属到不同的任务链中。任务类型支持采集任务、清洗任务、融合任务、标签任务等。任务链新建完成后可通过任务链名称与状态快速检索到任务链。 2.1.3.任务链分类 支持多项目的任务链创建,可根据业务应用场景,进行任务链分类,支持以可视化目录树方式创建任务链专题。支持修改、删除、查看任务链专题。 2.1.4.编辑任务链 支持对任务链进行编辑。包括修改任务链信息、任务链内容、任务调度计划等内容。 2.1.5.删除任务链 用户可按实际情况手动删除已创建的任务链。 2.1.6.手动执行任务链 用户可按实际情况手动触发执行一次已建的任务链。 2.1.7.停用任务链 若任务链无需再自动化运行,可停用已创建的任务链,停用后的任务链不再按调度计划运行。 2.1.8.任务链编排配置 支持强关联任务链配置,强关联任务链必须按照任务链顺序进行任务执行;支持弱关联任务配置,弱关联任务链可按任务调度时间自由执行任务,任务顺序只是做业务内容以及其关系的展示,支持单任务链配置、多任务链配置、多任务链关联配置。可设置任务的优先级别,可标识执行、引用任务,灵活满足多样化应用常见需求。 2.1.9.任务链调度计划设置 持按照任务链顺序配置调度时间,可按月、天、周、固定时间执行调度任务,支持手动与自动两种方式执行任务。可使用已有任务链顺序进行调度,可灵活配置调度时间,可在线查看任务繁忙度,避开高峰调度。可根据任务配置情况设置错误忽略,以免任务调度长时间无法运行。 2.1.10.任务链导入 提供任务链任务进行导入功能,实现任务链过程创建和复用。导入后,快速生成对应任务链及其相关的数据源和数据表,实现任务链过程创建和复用。 2.1.11.任务链导出 于常用的任务链,可将其转存至应用库,沉淀为通用的任务链,并且提供任务链进行导出功能,可以通用的任务链导出到本地,共享给其他平台的项目组使用,实现跨平台。 2.2.任务链监控 任务链监控管理以任务包为维度对所有任务进行统一监控,方便运维人员快速排查问题,以可视化方式分析任务链调度整体情况,以及任务执行调度峰值,可查看任务关系以及任务表关系,以可视化方式快速排查问题追溯影响。 2.2.1.任务链统计 任务链统计支持以可视化方式对任务链执行总体情况统计,包括任务链总体监控、任务链调度监控、任务链包总览。 2.2.2.任务链日志 任务链日志提供详细任务链及其包含的任务历史执行记录信息,可快速看到任务链、任务执行失败情况,及时发现任务调度异常,排查任务调度问题。 2.2.3.任务链血缘 任务链血缘支持以主题分类或任务链为维度,追溯任务链所有的任务的血缘关系,包括各个任务输出的数据表之间的关联关系,当某个任务出现问题时,可快速定位影响的下游任务,以及导致任务链失败的上游任务。 2.3.任务链应用库 任务链应用库功能主要针对各项目组沉淀的项目经验,通过任务链包的方式沉淀到应用库共享,不同项目组部署系统时,实施人员可查看到已导入到应用库的任务链包,快速复用满足业务要求的任务链包开展数据开发应用。 2.3.1.应用包列表 对已创建的任务链可生成任务链包,形成应用包列表。 2.3.2.应用包生成 基于已创建的任务链,可在线生成知识任务链包,生成应用任务链包后,可对任务包流程、内容等进行调整,发布,发布后的应用任务链,可生成任务链知识,供其他项目复用。 2.3.3.应用包导入 对于发布的任务包,其他项目可下载到本项目,进行项目任务链包的调整,以满足本项目的需求。 2.3.4.应用包下载 对于发布的任务包,其他项目可下载到本项目,进行项目任务链包的调整,以满足本项目的需求。 2.3.5.应用库详情 点击可查看应用库的详情信息,可查看应用库下任务链的情况及任务链任务情况、调度方式、调度时间等。可以下钻查看任务链详情。 2.3.6.任务链初始化 可对导入的任务链包进行初始化检测,排查出问题配置,并形成检测报告。用户可查看任务包下所有任务链运行检测结果,包括任务编排检测、调度计划检测、任务配置检测,针对检测出问题的配置,快速提示用户。
3.数据服务门户 建设数据服务门户实现数据获取全流程管理和留痕,提供大数据分析应用场景的专题数据结果精准查询模式和专题数据小批量的授权下载模式,既能实现政务数据的共享应用,又能有效保障原始政务数据的安全。 数据服务门户基于数据管理者和数据使用单位视角为各部门间的数据供需对接管理服务提供统一自助式的、一体化的数据资产管理方式,以数据目录为导向提供数据供需对接的全流程管理,有助于支持构建数据血缘的图谱,并对数据质量从源头进行管控,为部门提供更方便更快捷的一站式服务,一是能够通过数据服务门户快速获取所需要的数据资源情况,实现供需的高效对接,二是能够与底层数据治理系统进行对接使用,可统计及反馈当前的数据结果应用成效;三是可实现对当前数据资源成效的有效统计及绩效考核。 3.1.用户登录 数据服务门户前端的主要用户为梅州市市直单位及区县单位工作人员。数据服务门户将与广东省统一身份认证平台对接,实现统一身份认证账号登录。 3.2.数据服务模块 数据服务门户将面向梅州市市直单位、各区县单位提供专题查询服务、数据核验服务及清单导出服务。 3.2.1.专题查询服务 门户专题查询栏目为市直单位及各区县单位用户提供大数据分析应用场景的数据查询页面。 用户在页面输入查询条件(支持通过身份证号、统一社会信用代码的精确查询,也支持多个条件的组合查询,还支持关键字模糊查询),点击查询按钮,系统在后台数据库进行匹配查询,并返回符合查询条件的结果,并在页面上以列表或数据结果的形式显示,用户点击列表中某一行查询结果,可以进入到相应自然人/法人信息展示页面,在页面中可以查看到部门用户权限范围内的所有数据及电子材料,查询结果支持导出为电子文件,支持打印功能。 3.2.2.数据校验服务 本栏目为部门用户提供自然人数据校验页面和法人数据校验页面,部门用户在页面对应输入框输入需要校验的数据(支持两个及两个以上数据的校验),点击校验按钮,系统在后台自然人基础数据库或法人基础数据库进行匹配查询,返回校验数据的真实性结果,并在页面上显示,校验结果支持导出为电子文件,支持打印功能。 3.2.3.清单导出服务 针对大数据分析应用场景的分析结果清单,为已获授权用户提供批量下载通道;导出服务能按数量、时间和特定字段筛选导出的数据范围。 3.3.使用权限申请 用户登录后可查看数据服务门户上已有的数据资源目录列表,但无法使用门户上的其他功能,如需使用数据服务门户上提供的数据服务,则需要申请权限访问,用户可在页面发起门户数据服务权限开通申请,点击提交按钮,系统管理员在后台审批通过后,该用户将具备相应的数据服务门户的使用权限。在此页面可以查看历史申请记录及审批情况。 3.4.门户通知提醒 通知提醒主要用于通知系统中的数据更新情况,如哪些部门新增了哪些数据内容,可用列表滚动提醒的模式。 3.5.用户个人中心 个人中心页包含我的申请、我的审核、我的消息等模块,用户可对申请单进行查看、撤销、催办等操作,并可查看、通过审核单。通过搜索框,用户可对个人中心内的申请、审核、消息进行搜索。 【我的消息】栏目下可以查看站内消息的消息类型、消息内容、发送人员、发送部门、发送时间、具体操作,分为已读和未读展示,可查看详情并前往处理。 3.6.资料下载 前台界面分成三个层级: 一级:资料下载专区页, 二级:专区内容列表页, 三级:内容资料下载页。 3.6.1.资料下载专区 资料下载专区页显示“对象是否符合救助条件”“对象是否符合养老待遇领取资格”“企业/企业员工参保情况核查”“对象是否符合惠民基金发放条件、监测被审单位是否存在违法违规行为” 等专区,点击可进入二级页面“专区内容列表页”,通过点击具体标题或查看图标可进入三级页面“专区内容详情页”。 3.6.2.资料发布专区 超级管理员以及门户内容运营方可在该页面配置资料专区内容。 3.6.3.资料发布内容 资料发布内容页可对相应资料进行新增、删除、置顶,并支持通过标题、专区名称、发布状态、发布时间筛选。 通过填入标题、工作内容、上传资料、选择专区即可完成资料发布。 3.6.4.下载专区 本项目可提供查询下载数据资源参考如下,但项目建设过程中需要结合梅州市政务数据共享交换已共享或可共享的政务数据资源进行调整:
3.7.关于我们 在本栏目,给门户访问者提供平台的简介以及数据对应主管部门的联系方式。
4.对接广东省数据资源“一网共享”平台梅州分节点 本次项目通过对接广东省数据资源“一网共享”平台梅州分节点,利用数据目录管理、共享交换、API网关、多数据库接口支持等能力,实现与外部业务系统的数据对接和交互,实现数据交换过程的智能化监控。 所需政务数据从广东省数据资源“一网共享”平台梅州分节点采集,平台对接接口如下: 1、获取请求地址 2、发送请求信息 若为http/https 请求,常见的http 请求方式如下: 3、获取响应信息 从请求地址中获取响应信息,并存入临时内存地址。 4、解析响应信息 对响应信息做解密和字段拆分,明确响应返回内容,并存入临时内存地址。 5、退出接口 结束对接,并发送断开信息,退出接口。 (二)密码应用建设
(三)大数据应用分析专题 根据之前梳理的梅州市《市直单位和区县单位反馈大数据分析应用场景》分类来看,梅州市《市直单位和区县单位反馈大数据分析应用场景》共87个数据分析应用场景。从数据共享的难易程度(如税务数据不具备共享基础)、市直部门和区县单位的大数据应用分析场景的重复量方面考虑,本次项目新建6个大数据应用分析专题,同时预留3个大数据应用分析专题视实际工作需求确定:包括对象是否符合救助条件、对象是否符合养老待遇领取资格、企业/企业原参保情况核查、监测被审计单位是否存在违法违规行为、政务服务事项效能分析监管、梅州柚数据分析专题,针对上述大数据应用分析专题,构建数据服务以可视化和便捷查询方式提供结果数据,并统计分析结果数据的应用情况用以支持市政府开展建设成效考核工作。 1.高频分析应用场景专题 高频分析应用场景主要是通过建立分析模型对相关数据判断分析,以“对象是否符合救助条件分析”为例通过“对象是否隐匿房产、是否有车辆、是否有公积金、家庭成员是否有超标财产、对象是否死亡”等指标分析结果产生“对象是否符合救助条件分析”。 1.1.对象是否符合救助条件分析场景 “对象是否符合救助条件”分析应用场景是梅州市民政局、梅江区三角镇公共服务办、兴宁市民政局、蕉岭县民政局等4个部门的共性需求,数据主要源于公安局、房管局、市监局、人社局、自然资源局、公积金中心等部门。 1.2.对象是否符合养老待遇领取资格分析场景 “对象是否符合养老待遇领取资格”分析应用场景是梅州市社会保险基金管理局、兴宁人社局、五华县社保局机关事业单位养老保险待遇核发股、五华县社保局城乡居民基本养老保险股等4个部门的共性需求,数据主要来源于公安局、民政局、人民法院、检察院、卫健局等部门。 1.3.企业/企业员工参保情况核查分析场景 “企业/企业员工参保情况核查”分析应用场景是梅州市社会保险基金管理局、梅江区社保局、兴宁人社局、大埔县光德镇医保办等4个部门的共性需求,数据主要来源于市监局、公安局、住建局、就业局等部门。 1.4.监测被审单位是否存在违法违规行为分析场景 “监测被审单位是否存在违法违规行为”分析应用场景是梅县区审计局、兴宁市审计局、蕉岭县审计局、大埔县审计局等4个部门的共性需求,数据主要来源于公安局、民政局、市监局、自然资源局、财政局、民政局、医保局殡仪馆等部门。 1.5.场景实现逻辑 以“对象是否符合救助条件分析”为例,对数据治理过程涉及内容进行介绍,主要包含数据调研与梳理、数据来源和采集方式设计、数据存储和计算方式设计、数据治理步骤顺序设计、数据结果输出与验证、数据应用。 1.5.1. 数据调研与梳理 基于数据产品业务应用场景调研及梳理得出“对象是否符合救助条件分析”需求涉及的相关数据判断分析指标。确认数据分析指标后,开展数据资源目录梳理,并梳理出与分析专题相关的数据资源目录。 1.5.1.1.分析指标调研 基于服务团队对业务应用场景理解及调研,形成“对象是否符合救助条件分析”需求涉及的相关数据判断分析指标,主要包含“对象是否隐匿房产、是否有车辆、是否有公积金、家庭成员是否有超标财产、对象是否死亡”等。 1.5.1.2.数据资源目录梳理 基于全量政务数据资源目录清单,梳理出各类数据判断分析指标涉及的相关数据资源目录,具体情况:
1.5.2.数据来源和采集方式设计 完成数据资源目录调研与梳理后,根据调研形成的可用数据资源目录与数据项,确定每个数据资源主题的政务数据来源和采集方式。 1.5.2.1. 数据共享应用方式确认 针对已梳理的资源目录清单与数据提供部门沟通,了解部门当前业务数据的管理模式,是否接入市政务资源共享平台;对于未接入的,与市政数局沟通,确定数据共享方式,实现数据共享申请。 政务数据共享交换主要为两种常用方式,一是数据表共享,需要协助市政务资源共享平台完成建表工作,二是数据接口共享,需要进行接口调试。通过沟通确认后,基于《资源目录》和《资源交换标准》,数据通过市政务资源共享平台完成数据表共享,并按天进行数据表更新。 经确认本专题涉及的数据资源目录均已接入市政务资源共享平台,且均以数据表共享形式进行数据共享。 1.5.2.2. 数据采集方式选取 为提高数据采集过程的处理与整合效率,需基于多方来源采集回来的原始数据量情况判断采集方式。 如针对传统数据库不足以支撑的大规模数据,可采集存储至Hadoop大数据平台的分布式数据库上进行原始数据后续加工、整合处理。如针对传统结构化的小规模原始数据,可采集至oracle数据库中进行数据加工、整合处理等后续操作。 基于本专题涉及的数据资源目录数据量情况选取采集至oracle结构化数据库中的方式进行数据加工、整合处理等后续操作。 1.5.3. 数据存储和计算方式设计 当所需数据采集完成后,针对已经入库的原始数据,基于数据处理方式多样性,需结合不同类型的数据处理场景,采取不同形式的数据处理方法。 1.5.3.1. 数据存储更新监控 为保证通过采集通道存储至数据库的政务数据更新是否及时、准确,需实时监控各个数据表的最新数据更新时间以及数据总条数,与原始数据来源进行差异性对比,确认数据同步更新频率是否及时、数据量是否一致。 一方面,针对传统oracle数据库,运用传统SQL查询数据表的最新时间及数据量情况;另一方面,针对分布式数据库,运用分布式实时查询方式(如Impala)进行实时查询,查询分布式数据库上数据表的最新时间及数据量情况。 通过采取不同的查询方式,完成数据时间及数据量的查询后,再通过对比,实现数据交换同步更新的实时监控。 本专题涉及的数据资源目录主要应用SQL查询数据表的最新时间及数据量情况。与原始数据来源进行差异性对比,确认数据同步更新频率是否及时、数据量是否一致。 1.5.3.2. 数据计算方式设计 在数据治理过程中,还需要完成数据质量检测、数据清洗、数据整合、数据分析等环节,每个环节都需要根据数据的规模和结构设计合理的数据计算方式 1.5.3.2.1. 数据质量管理 政务数据质量管理需针对采集回来的原始数据资源表内每个信息资源主题的每个字段进行查询监测,如规范度、缺失率、全半角等基础数据问题,同时输出各个数据表的质量报告。 在采集政务数据后,基于建库需求或者基于数据使用方使用之前业务应用需求进行深入的数据质量分析时,会发现应用数据存在各类数据问题。 对政务数据在实际应用治理和分析过程中出现的数据质量问题,与数据提供单位进行深入沟通,反馈提供数据质量问题,确认数据修复方式,同时基于数据提供单位意见,了解相关业务含义及业务数据应用逻辑,并与数据提供单位进行核对,制定切实可行的数据清洗规则,对政务数据进行优化后再应用,进一步提升数据分析效果。 本专题涉及人口、不动产登记、机动车登记等信息,需对身份证证件号码、不动产权证书号、车辆识别代号等各类字段信息进行数据质量规范性检测。 1.5.3.2.2. 数据清洗 结合数据质量分析得到的数据现状,数据清洗主要针对各类数据问题进行自动清洗处理、加工,最终输出清洗后的数据。 数据清洗规则关联逻辑比较简单、执行步骤比较少的情况,可通过建立单个数据清洗治理任务进行数据清洗(如名称去空格,名称半角转换全角处理等规则)。清洗后,通过数据匹配度检测,可检验数据清洗前后的匹配度提升效果。 数据清洗规则关联逻辑较为复杂、步骤繁多的情况,建立单个治理任务的进行数据处理时,往往运行时间长,执行效率低。因此常常需将单个数据治理任务进行分解,建立起多个数据治理步骤进行数据清洗治理,减少数据清洗整合的运行时长,提升治理任务执行效率。 本专题基于身份证证件号码、不动产权证书号、车辆识别代号等各类字段信息的数质量和规范性检测情况,针对具体质量问题设计数据清洗规则,提升数据质量、规范性以及数据关联度。 1.5.3.2.3.数据整合分析 在政务数据完成质量管理、清洗后,以高质量的优质数据支撑数据整合分析。在数据整合分析前,需通过对采集到的政务资源主题进行真实数据研究和阅读,基于明确需求,对数据多层关联性及少量数据可分析性进行校验,梳理出明确且最终可用大数据分析场景的业务关联逻辑。 本专题需梳理出人口信息、不动产信息、车辆信息、公积金信息等数据资源整合的业务关联关系,基于关联逻辑开展数据整合分析。 1.5.4.数据治理步骤顺序设计 在数据治理步骤设计主要是为了解决当数据需要经过多个环节才能完成处理达到可用程度要求时,如何合理的编排各个环节的前后顺序和时间间隔。 在实际数据治理过程中,常需针对数据实际生成的结果情况,以及用户实际应用过程中反馈的问题,结合与数据提供单位不断沟通调研确认,对数据整合环节和操作进行相应优化,同时对数据治理步骤顺序进行调整。 1.5.4.1.数据治理任务生成 起始阶段需先建立同步任务采集源数据,并根据质量检测情况建立清洗任务,再结合业务逻辑建立起相应的数据治理任务。 1.5.4.2.治理步骤初期设计 完成治理任务的初步建立后,需根据数据实际的治理步骤、业务逻辑整合顺序,初步设计多个治理步骤间合理的关系和先后顺序。 1.5.4.3.治理步骤中期调整 在已完成初步顺序设计,输出数据整合结果后,常常需结合数据实际输出情况以及需求方或用户对实际数据的使用意见反馈,新增治理任务或对治理任务内容进行补充、调整。 1.5.4.4.治理步骤后期优化 基于已确认的整合、清洗规则,新增治理任务或完成治理任务内容补充、调整后,需对已有的数据治理链条,进行顺序的重新编排、构造。 在已完成的顺序设计基础上,随着分析应用场景不断反馈应用效果,数据治理步骤顺序也会不断优化与调整,所以该工作贯穿整个数据治理工作前后。 1.5.4.5.数据结果输出与验证 将数据治理结果进行输出并提供数据需求方进行验证及测试。 “对象是否符合救助条件分析” 输出判断结果为“是”或“否”。同时验证过程主要针对是否隐匿房产、是否有车辆、是否有公积金、家庭成员是否有超标财产、对象是否死亡等进行数据验证,基于结果验证情况修正数据治理过程。 1.5.5.数据应用 数据治理完成后,输出的中间表、结果表,可结合应用场景进行应用,如基于输出结果名单目录进行业务管理,或通过支撑平台进行可视化配置,实现数据可视化展示等。 6.专题库设计 6.1数据需求:本项目根据所需数据资源参考如下,但项目建设过程中需要结合梅州市政务数据共享交换已共享或可共享的政务数据资源进行调整:
6.2概述:专题库的建设主要是围绕高频场景所需数据资源的归集、入库、存储等建设工作,主要包括各个部门信息资源调研、编目,以及高频场景的建库工作,由梅州市政务数据管理局牵头进行协调,对本次项目所涉及的资源数据进行统一收集后,再依据所收集的数据进行建库工作。 6.3专题库架构设计:专题库由数据缓冲区、业务数据库、运行数据库、专题数据库和历史数据库组成。 专题库的数据来源于梅州市市直单位及各区县单位,在本项目中,各数据源将依托市/区县两级政务信息资源共享平台进行数据采集进入到数据资源库,其中结构化数据将进入数据缓冲区,非结构化数据进入非结构化数据库。 下面对数据资源库的层次结构进行介绍: 数据缓冲区:数据缓冲区作为数据中转枢纽,存储部门业务系统的源数据,一般只保留一个月数据,当下游数据处理出错时可以在缓冲区溯源,避免重新从业务系统抽取数据。 业务数据库:业务数据库存储保持源系统原貌的业务数据,基于缓冲区数据进行基础处理,包括拉链数据生成、数据编码格式统一等,用于生成历史数据和对外共享。 专题数据库:基于业务数据库数据进行清洗比对、汇总、关联、融合加工后的数据为基础,结合对象是否符合救助条件、对象是否符合养老待遇领取资格、企业/企业员工参保情况核查、对象是否符合惠民基金发放条件、监测被审单位是否存在违法违规行为等高频场景数据域,形成专题数据库。 历史数据库:用于长期存储历史数据,实现大数据量的并行计算和响应实时查询。 为了有效支撑各部门行政审批业务的开展,实现系统间的数据共享,专题库将为各部门业务系统提供数据查询(一查一送)、数据核验以及清单导出等服务。 6.4专题库设计方案 6.4.1业务数据库 6.4.1.1概述 本期项目专题库数据源存放在各个局的不同业务系统的数据库中,数据的更新频率也各不相同,即使将这种来源广泛的数据从源库抽取到数据资源库中,也不是一件易事。 增加业务数据库,可以最快速最小化转换方式将业务库的数据抽取到大数据中心中,将这些数据按原有的结构和属性,以一定的历史周期保存起来,并在此基础上做一些简单的数据处理,增加装载时间、更新时间的“拉链”信息、统一编码格式等。除存量业务数据保存到历史库外,它还需要使用增量更新的方式保留一份最新的业务数据,以保持与业务系统数据保持同步。 同时,通过市/区县政务信息资源共享平台,将各部门业务库的数据集中在业务数据库中,并共享给其他业务部门的应用系统使用,业务数据库提供准时间、T+1的业务系统数据查询。将本该由各业务系统承担的部分查询压力,转移到业务数据库上来。 6.4.1.2.数据模型设计 所有源系统的数据被加载到业务数据库后,都会在业务数据库中进行标准化处理,并进行历史数据累积,保留全量数据。此数据区的数据基本保持源系统数据的原貌,尽可能不做变形,这主要出于以下几个方面的考虑: 业务数据库保留与源系统相同的数据,可以用于支持一些对于数据的原貌性要求比较高的应用,比如一些稽核类应用、一些法律查询类应用等; 进行数据转换往往会带来转换错误的风险,业务数据库保留与源系统相同的数据,可以减少数据资源库出现错误的可能性,同时也为基础库的查错和纠错提供了一个可靠的支持; 数据标准也是经常在变的,业务数据库保留与源系统相同的未变形的数据可以保证数据不会因为数据标准变化而无法回溯; 基础库将会进行各种标准化,业务数据库保留了与源系统相同的数据,提供了与基础库做过转换以后的数据进行检核的数据基础; 由于保留了源系统数据,可以更加方便、快速实现业务源系统报表迁移到业务数据库。 所以我们规划业务数据库尽可能保持与源系统数据相同。如果在数据资源库内实现数据标准化的工作,可以在业务数据库建立一张标准化转换表,可以通过配置选择对哪些字段需要标准化,然后通过关联标准化转换表获得部分或全部字段的标准化数据,同时保留源系统的原始数据字段,根据需要将标准数据下载到数据交换层标准区中提供对外供数。同样,此后的基础库也将利用业务数据库的标准化视图作为数据源进行标准化后的数据加工。数据资源库的数据标准化可以都通过对业务数据库的标准化视图进行访问来实现,这也有利于数据质量的保证。 6.4.1.3.业务数据库的特点与作用 从保留历史的层面来看,业务数据库的表有两种类型:一种类型是带有时间戳且不会更新的事件类表,例如源系统中的交易事件表,这种表在源系统是只插入不更新的,发生了就记一笔,之后不会更新;另一种类型则是会增删改的状态类表,例如源系统中的账户表,随时会更新账户的余额、状态等信息。对于第一类历史表,只要每天将新发生的数据累加到业务数据库的数据表中即可;而对于第二类历史表,就需要适当的改造表结构,通常是加上开始日期、结束日期等,然后用我们通常称为时间拉链的算法进行数据加载。 由于业务数据库是数据资源库中对外提供数据服务和应用支持的第一层,其数据加工完成的时间相对较快,对应用支持的时效性也最好。如果上层分析型应用或报表应用对数据资源库的时效性要求较高,如准实时、甚至是实时的要求,则尽可能考虑在此层实现。对于准实时性的数据要求,可以通过高频率小批量的数据加载处理实现;对于实时性的数据要求,可以采用实时数据同步的技术来实现,如通过消息队列进行数据实时加载或利用系统级的数据库复制技术进行数据实时同步。 业务数据库的特点和主要作用总结如下: 建设周期短,见效快; 保留源系统历史全量数据,可用于实现一些适合基于源系统结构实现的应用、报表或随机查询,特别是数据源要求比较单一、时效性要求比较高的应用; 为后面专题库的建设做技术、知识和数据的准备和积累,为专题库的初始加载以及出错补数提供数据支持; 支持要求未标准化前代码的数据需求; 支持一些要求数据不能变形,数据结构也不能变形的特殊应用; 因为保留了历史贴源数据,可以随时与专题库数据进行数据检查。 6.4.1.4.数据存储 业务数据库中的所有数据,不管源数据的规模大小,对数据进行全表存储,并增加数据分类标识,如卫计、公安等,以对业务数据进行逻辑区分。 数据到业务数据库后,基本将按原有的结构和属性存储,以两个复本的形式存储,其中一个复本定义为历史版,进入历史库,另一个复本定义为当前版,共享给其它业务系统使用。 6.4.1.5.数据初始化 建库完成后,利用ETL工具,将数据缓冲区中的业务数据抽取到业务数据库。 数据抽取的要点: 抽取方法:通过ETL工具抽取; 抽取方式:全量抽取; 抽取频率:一次; 6.4.1.6.增量数据入库 抽取数据缓冲区中每天增加的数据,将新增的数据导入到业务数据库中,增量数据数据量较少,需要配置调度策略来定时执行。 数据抽取的要点: 抽取方法:通过ETL工具抽取; 抽取方式:增量抽取; 抽取频率:每天一次(视实际数据更新情况); 6.4.2专题数据库 6.4.2.1.专题库建设 根据项目的建设需求和目标,本项目需要建设专题库。本项目将配备专业的数据服务团队,根据梅州市市直单位及各区县单位提出的大数据分析应用需求,提供为相应数据汇聚、治理和分析、应用等一系列服务,并沉淀形成相应的专题库。 6.4.2.2.专题库建设需求调研和来源确认 6.4.3.数据需求调研 1) 制定调研计划 根据本项目选取的高频场景,结合市直单位及各区县单位的业务需求,制定专题库建设的数据情况调研计划。 2) 开展数据调研工作 根据调研计划开展专题库数据情况调研工作,调研工作是了解专题库建设业务需求场景和业务关系,主要是为了解决什么问题,应用于什么场景,涉及的数据之间的业务关系,了解相关部门的数据情况(是否有数据、能够提供什么、在哪里),进一步明确可对各部门管理领域的支撑场景。 3) 制定调研报告 根据专题库调研情况编制专题库调研报告。 6.4.4.数据来源确认 1) 梳理专题库数据清单 根据调研结果梳理专题库数据需求清单(包括数据资源目录名称及数据来源部门),基于数据需求清单分步确定现阶段需要优先采集数据内容(来源哪些部门、系统,采集方式)。 2) 数据来源确认 将专题库数据需求清单与目前梅州市政务数据共享平台已有的数据资源目录进行核对,同时下发给各个数据来源部门,进行签章确认,必要时需到部门办公室进行面对面确认和沟通。 6.4.5.专题库规范编制 编制专题库标准规范。对专题库的来源数据、汇聚清洗融合过程、目标数据和数据使用等四个方面进行规范。在数据源头方面,重点规范数据的提供责任、一数一源责任、供数的标准格式、标准数据编码、标准数据元、标准代码集;在数据加工过程方面,重点规范数据的清洗规则、数据责任规范、数据更新管理规范、数据共享交换规范;在基础信息库目标数据方面,重点是数据模型规范;在数据使用方面,重点是数据接口规范;在总体方面,提供优化升级建设方案。还包括:专题库建设标准规范体系框架,项目急需的其他标准规范和支持标准实施的软件工具;以及制定规章制度,引导和规范专题库建设、治理、共享与应用行为。 6.4.6.专题库数据模型设计 数据模型的内容包括三个部分:数据结构、数据操作、数据约束。按照专题库的建设要求,分析各专题库内实体的关联关系,并建立数据逻辑关系模型,形成主题数据逻辑视图,将专题库内实体融为一体。 6.5.专题库建设实施 6.5.1. 数据共享申请 根据确认后的专题库数据清单,按照梅州市政务数据共享规范在发起数据共享申请需求任务,向各个数据提供部门正式申请共享数据,主管部门、数据提供部门通过后可进行数据采集。 6.5.2. 数据采集 根据不同数据共享方式进行数据的采集任务。 6.5.3. 数据质量检测 对采集后的数据全部统一进行质量检测,对于质量不过关的数据源,需要将检测结果反馈给各个提供部门,并督促提供部门进行核查和更新。 6.5.4. 数据清洗治理 根据专题库的模型设计和数据业务关系,对数据进行清洗、比对、关联、整合和分析,采用科学方法进行鉴别、分析数据,使原始数据成为利用价值高、结构形式新的有序化信息,最终沉淀形成梅州市各类专题库。 6.5.5. 数据更新维护 根据各数据项约定的共享频率及数据的准确度进行维护服务,确保数据时效性及准确度符合规范的要求。 6.5.6. 数据应用服务 结合专题库的实际应用场景,提供配置对应的数据服务方式,包括数据查询、数据校验等。 6.5.7. 专题库资源目录编制 对处理分析后入库的专题库数据进行目录编制和发布工作,以及发布后专题库资源目录的维护、更新和挂接管理工作。 6.5.8. 专题库监控服务 专题库数据采集和使用能够进一步完善专题库的建设和规范使用。实现通过可视化多角度的方式对数据采集和使用进行监控,包括总览全局的总体监控、明细型的计划监控和事件监控等。 6.6.历史数据库 在历史数据库中,主要存储历史归档数据,它保存全生命周期的结构化数据。包括数据缓冲区、业务库、专题库的数据,当然,它并不存储中间过程数据。如对于专题库的中间计算过程的数据,它并不保存。 6.1.1.数据源 历史库保存所有层的数据,包括缓冲区、业务库、专题库。除了在没有时间版本信息的数据上加上时间版本外,它本身不做其它加工处理。 数据更新频率如下表:
6.1.2.数据存储 历史数据中保留结构化数据的全生命周期数据,并以时间作为版本号。 6.1.3.数据初始化 建库完成后,如果存量数据中除当前全量数据外,还有时间超过一定期限的历史数据,ETL处理的过程中,会自动将历史数据直接转存到历史数据库中。 6.1.4.增量数据入库 数据更新后的历史记录需要保存到历史数据库;增量抽取的过程中产生的超时的历史数据需要存储到历史数据库中。
(四)梅州柚数据分析专题 建设梅州柚数据分析专题,主要针对2个方向进行设计,一是为政府提供全市梅州柚种植生产分析数据,二是为企业、农户提供精准的数据分析、价格指数分析,辅助种植生产和产品销售,推动梅州柚产业发展。 1.产业概况一张图 产业概况一张图通过多维度图表形式将数据进行可视化展示,实时掌握全市柚子产业动态,为开展科学规划与经营决策提供数据支撑,包括产业产值、柚企数量、柚农数量、种植面积、品种、产量、各品种价格指数等基本信息。将基础数据库采集的数据利用曲线图、柱状图、仪表盘、电子地图、等进行可视化呈现。 1.1.产业产值统计分析 对全市柚子产业每年的产值变化情况进行分析,并提供分类展示如:一二三产的产值比例变化、全市柚子产业每年的种植面积、品种、精深加工企业数量变化、年产量变化情况等数据进行展示。
1.2柚农柚企统计分析 对全市柚子产业相关企业与农户入库信息进行统计展示: (1)柚企信息统计分析 企业类型,规模情况,产业化程度,龙头企业情况,产值产量情况,农业生产情况,销售情况等。根据不同需求对柚企数据进行简要分析、汇总,生成相应的报表,了解掌握柚企基本信息。
(2)柚农信息统计分析 包括柚农基本信息展示:姓名、年龄、种植品种、数量、规模、年收入等基本信息。根据不同需求对柚农数据进行简要分析、汇总,生成相应的报表,了解掌握柚农基本信息。
(3)价格指数统计分析 针对三大电商平台(京东、天猫、淘宝)柚子品类的线上销售价格,销量等数据进行分析,并将结果按各个品种规格统计分析计算后进行展示,并定期生成价格指数与趋势分析报告。
2.数据接口开发 本项目实施中,从数据安全、实施周期、管理维护成本等方面综合考虑,平台可以定制各种接口,为系统提供对接整合的通道,实现系统对接和数据的共享。接入相关业务数据,实现信息的互通互联,为系统的基础数据提供支撑;定制开发接口,满足各类型用户平台系统的对接需求。 2.1接口设计 (1)设计目标 接口设计要达到如下目标: 1)满足标准化和规范化要求; 2)良好的系统数据访问和存取接口的设计,能够正确处理本系统和外部关联系统的关系; 3)通过接口设计,优化业务数据存储和传输、业务逻辑的执行和访问能力,简化业务流程; 4)促进应用和数据的整合,增强信息化管理的能力; 5)正确处理后续建设工作的合理对接,增强平台的可扩展性。 (2)接口的标准与规范 接口标准采用XML技术标准及Web Services接口标准 2.2数据接口扩展 平台第三方对接模块能提供兼容性不同技术架构的数据接口,保证平台与第三方平台进行数据交换。通过使应用耦合或分离,使系统环境中的接口更容易维护,同时对外提供统一接口,屏蔽了单个系统内部的改变,方便替换过时的应用,也方便用户进行功能扩展。 (1)企业级标准接口设计 1)数据压缩,减少带宽瓶颈; 2)数据加密,提高系统安全性; 3)异常处理,创建和维持了一个“消息异常处理器”的接口,它可以保存因为某种原因不能处理的消息,这些“异常”消息还可以被送回重新加以处理。 (2)扩展的接口设计 数据接口的分层次、模块化、规范化设计,将有利于系统的扩展性,扩展性接口设计主要体现在以下几个方面: 1)应用层协议的分层设计,各层功能明确,层之间可通过规范化的接口进行调用和传递信息。各层功能可独立实现,灵活性好,比如可通过购置商品化软件来实现通信子层;某一层协议的功能扩展或变化时,将不影响另一层协议的功能。 2)采用数据登记标准的、基于 XML 格式的数据接口方案设计,灵活性比较好,系统扩展方便,适合接入系统的增加或接入信息内容的扩展,有利于满足新的系统接入和系统发展的需求。 3)数据传输协议基于一些主流的、成熟的数据传输协议,能很好适应系统扩展的需求。 (3)第三方的压缩和加密算法接口设计 1)数据压缩算法接口 根据数据类型,如文本、图像、视频、日志等,采用高效的数据压缩算法设计数据压缩及转换接口,实现产品本身带有数据压缩、同时也为第三方的压缩提供接口,用户可以方便的将自己指定的压缩嵌入到系统中。 2)数据加密算法接口 根据国家商业密码使用要求,对系统敏感数据采用数据加密存储和传输,实现产品自带的加密算法,同时也为商业密码加密算法 (SM2、SM3等)提供接口,用户可以方便的将自己指定的加密算法嵌入到系统中。 (五)政务服务事项效能分析监管专题 围绕梅州市政务服务事项的办件和办结数据进行汇聚分析建设政务服务事项效能分析监管专题,主要建设目标有两方面:一方面是通过汇聚省回流和梅州本地办件数据,实现办件数据的全方面汇聚整合,为政务服务事项服务效能的分析监管提供数据基础;另一方面是通过对省回流数据的数据质量分析,倒推目前政务服务事项生产数据的环节对数据质量的影响,为推动数源部门进行整改提供数据支撑,提高数据质量,实现小范围数源治理。 主要功能是针对省级数据、梅州本地数据进行汇聚分析展示,具体可分为:省级数据回流:抓取省回流办件数据和办结数据、抓取梅州统一申办系统办件数据和办结数据、抓取各自建系统办件数据、联合省目录系统事项清单和各单位上报办件量数据汇总预处理抓取办件事项清单和事项编码挂接等。对汇聚的全量事项清单数据进行数据分析展示。
数据可视化开发服务模块通过一整套可视化界面将数据汇聚分析后得到的高质量明细数据和指标数据进行可视化展示,模块包括数据概览、省回流数据可视化服务、统一申办数据可视化服务、单位自建系统可视化服务、单位上报数据可视化服务以及系统管理模块,详细如下: 1.数据概览 数据概览模块支持对汇聚的全量事项清单数据进行可视化展示,此模块以行政区划、各单位名称、各事项名称及事项的业务办理项编码为核心主体,展示依法依规,各单位行政职责事项涉及数据是否已通过各数据汇聚渠道汇聚到梅州市政务服务事项办件办结数据库中,且未汇聚的数据,是否已与相关单位对接沟通,确认相关单位发函回复。 此模块同时支持按照行政区域、单位名称、受理时间、回流时间、是否匹配事项目录管理系统编码、是否有省回流数据、是否自建系统挂接、是否主动上班办件量、是否统一申办办件、是否显示公共服务查询类、是否发函、是否编目挂接等多个维度进行搜索查询,同时支撑导出对应查询的数据。 2.省回流数据数据分析 省回流数据可视化服务包括省回流办件数据质量一览、省回流办件数据详情和省回流数据查询三个功能模块,从总体数据质量、具体数据详情的角度展示省回流数据情况。 2.1.省回流数据质量统计 按申请时间(受理时间、回流时间)维度统计省回流数据是否能匹配到事项目录管理系统编码、业务实施编码和部门编码能否同时对应、受理状态是否正确、受理人是否为空,分析省回流数据质量并导出 2.2.省回流办件数据分析 按区域、单位名称、办理时间维度搜索各单位的省回流办件事项数、业务事项与省目录管理系统事项编码对应情况、事项办件总数以及事项办结数。 2.3.省回流办件事项清单 按区域、单位名称、办理时间维度搜索各单位的省回流办件事项名称、事项编码、该事项办结总数、业务事项与省目录管理系统事项编码对应情况以及事项办结数查询并导出。 2.4.省回流数据查询 按区域、单位名称、申请时间(受理时间、回流时间)、事项编码是否匹配事项目录管理系统清单、受理人员是否为空、 受理时间是否为空、 受理状态是否为空等多个维度进行搜索省回流数据清单。 3.统一申办系统数据分析 统一申办系统数据可视化服务包含两个子模块,子模块中分别展示不同指标数据,支持按照区域、单位名称、办理时间维度进行筛选查找和导出: 3.1.统一申办系统办件数据分析 按区域、单位名称、办理时间维度搜索各单位的统一申办系统办件事项数、业务事项与省目录管理系统事项编码对应情况、事项办件总数以及事项办结数。 3.2.统一申办系统办件事项清单 按区域、单位名称、办理时间维度搜索各单位的统一申办系统办件事项名称、事项编码、该事项办结总数、业务事项与省目录管理系统事项编码对应情况以及事项办结数查询并导出。 4.单位自建系统数据分析 单位自建系统数据可视化服务包含两个子模块,子模块中分别展示不同指标数据,支持按照区域、单位名称、办理时间维度进行筛选查找和导出: 4.1.自建系统办件数据分析 按区域、单位名称、办理时间维度搜索各单位的单位自建系统办件事项数、业务事项与省目录管理系统事项编码对应情况、事项办件总数以及事项办结数。 4.2.自建系统办件事项清单 按区域、单位名称、办理时间维度搜索各单位的单位自建办件事项名称、事项编码、该事项办结总数、业务事项与省目录管理系统事项编码对应情况以及事项办结数查询并导出。 5.单位上报数据分析 单位上报数据可视化服务包含两个子模块,子模块中分别展示不同指标数据,支持按照区域、单位名称、办理时间维度进行筛选查找和导出: 5.1.单位上报办件数据分析 按区域、单位名称、上报时间维度搜索各单位的单位上报办件事项数、业务事项与省目录管理系统事项编码对应情况、事项办件总数以及事项办结数。 5.2.单位上报办件事项清单 按区域、单位名称、上报时间维度搜索各单位的单位上报办件事项名称、事项编码、该事项办结总数、业务事项与省目录管理系统事项编码对应情况以及事项办结数查询。
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
3 |
三、系统运维服务 1、运维服务内容 1.1在项目验收后,提供2年系统运行维护服务。系统在运行中出现任何问题,承建方需及时解决,并提供相关的操作辅导。 1.2提供在项目运维阶段,承建方需提供不少于2名技术人员的保障运维,提供7*24小时的系统故障响应,并在12小时内完成应急故障处理。 1.3提供定期巡检服务,在不影响用户工作的前提下,提供维护期内系统设备的定期巡检服务,每月巡检1次,并提交相应的巡检报告,详细描述巡检项目、发现问题的成因、影响范围以及建议的解决方案。 1.4紧急故障备用应急服务。当业务系统出现整机崩溃、宕机等紧急故障时,且在短时间内无法修复,提供性能相当的备用系统顶替故障系统,保障业务的顺利流转。 1.5配合建设单位对未更新数据的数源部门及时督促和催办,保障数据更新及时,同时配合建设单位编制项目的数据运维报告、使用报告及其他报告材料,配合建设单位完成日常运营支撑工作。 1.6协助建设单位制定相关规章制度,规范管理系统的运行和操作,提供用户操作培训。制作相关宣传视频和手册,完成本项目应用软件和服务在梅州市的实施推广。 1.7数据库优化。根据数据库数据量增长情况,定期开展数据库性能优化。 1.8备份数据恢复。在出现系统数据丢失、错误等原因导致系统无法使用的情况,提供备份数据恢复服务,并在1个小时内完成。 2、运维服务时限
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
4 |
四、系统业务运营服务 本项目需提供不少于2年2人的驻场运营服务。既保障大数据分析应用场景持续高效、稳定运行;同时在服务期内支撑新增建设3个(含)以内的大数据分析应用场景,主要包括:高频分析应用场景运营服务、梅州柚数据分析专题运营服务、政务服务效能分析监管运营服务。 1.高频分析应用场景运营服务 数据供需对接服务是基于数据供需对接机制,针对大数据分析应用场景所涉及的数据供需需求,通过专业的服务团队对数据使用单位进行线上、实地走访调研后,了解数据使用单位实际情况,理清业务关系和业务环节,梳理出具体应用内容和需求数据清单,征询数据提供单位意见,判断数据使用部门申请的合理性、必要性、可操作性以及应用价值,并且在得出需求具有可行性后,为部门提供整体解决方案,最后通过市政务资源共享分节点完成所需数据的共享,实现对数据的供需对接。 2.梅州柚数据分析专题运营服务 2.1梅州柚产业运营服务内容 通过利用大数据技术,进行数据信息的数据挖掘,在农业生产方面,知道农业生产决策。在农业生产精准化程度方面,在种植过程中将种植生产历史数据和实时采集的农情数据紧密结合,有效分析环境、投喂等因素,通过智能设备将分析信息和农事操作规程发送给管理者,使得种植生产更加精准。 (1)采集产业园概况信息: 收集产业园总投资、产值产量、加工销售、种植面积、种植品种、种植分布、种植规模等相关资料录入产业园数据库,为产业园数据运营提供数据支撑,实时的数据展现能帮助管理者快速了解业务情况,及时作出决策; (2)采集企业信息: 收集梅州柚种植企业资料录入数据库,包括但不限于企业基本信息、种植数据、加工销售等相关资料。利用大数据技术统筹分析,因地制宜、扬长避短进行种植生产,优化配置农业资源,合理调控种植生产资源投入。 (3)采集农户信息: 收集梅州柚种植农户数据录入数据库,包括但不限于包含农户基本信息、种植品种、种植面积、产量、收入、最大授信额度信息、农户在线授信等相关资料。利用大数据技术统筹分析,因地制宜、扬长避短进行种植生产,优化配置农业资源,合理调控种植生产资源投入。 (4)数据录入: 将收集的产业园、企业、农户等信息录入平台进行展示。包括数据存储,云服务器数据处理,客户端数据展示,数据采集,归类与统计分析等功能,整合多方面数据源。计划每年更新一次数据库; (5)产业园企业推广宣传: 以图文、视频等形式将产业园企业品牌文化、品牌故事介绍、产业园动态、企业文化等进行宣传推广,增加流量,增强品牌影响力。将一些产业园或相关企业的前景、惠农政策或者农业发展的趋势发布在平台上供浏览者观看以及科普一些相关信息等;
2.2工作产出物 (1)收集产业园资料并上传平台 (2)收集梅州柚种植企业和种植农户资料并上传平台; (3)将收集数据进行统计分析录入平台进行展示,每年更新一次数据库; (4)对产业园企业进行文章宣传推广展示在平台上。
3.政务服务事项效能分析监管专题运营服务 3.1数据汇聚服务 本专题主要对各渠道涉及梅州市政务服务办件的全量数据进行汇聚,包括省级数据和梅州本地各系统业务数据,具体对接方式及数据来源如下: (1)抓取相关业务的办件数据和办结数据,包括梅州市统一申办受理平台以及梅州住房公积金管理中心管理系统、梅州市不动产登记业务审批系统两个单位自建系统,形成梅州市政务服务办件办结数据底库。 (2)采集省回流数据库中涉及梅州市全市各级政府及市县直单位共233个政府机关42个业务系统的所有办件数据和办结数据,实现国垂、省垂涉及系统的数据回流,并与本地数据进行融合,丰富梅州市政务服务办件办结数据底库。 (3)采集各单位手动上报的办件数据进行汇聚,补充梅州市政务服务办件办结数据底库。 (4)对在省目录系统事项清单中,未在省回流数据、未在平台进行编目挂接、未上报办件数据的业务事项,经沟通后重新编目挂接或上报的数据进行采集,形成完整的梅州市政务服务办件办结数据库。 通过汇聚梅州本地办件数据和省回流办件数据,实现梅州市办件办结数据全量汇聚,支撑进一步的办件办结数据分析和可视化服务。 通过汇聚梅州本地办件数据和省回流办件数据,实现梅州市办件办结数据全量汇聚,支撑进一步的办件办结数据分析和可视化服务。 3.2数据处理分析服务 此项目涉及的数据处理分析服务为对梅州市政务服务办件办结全量数据进行相关的数据清洗、质量分析和业务分析,包括政务服务事项整合清晰服务、政务服务事项办件数据完整性分析服务、省回流数据质量统计分析服务和政务服务事项办件效能分析服务,经过一系列数据处理分析服务后,将数据处理成可支撑数据可视化开发的高质量指标数据。 (1)政务服务事项清单整合清洗服务 政务服务事项整合清洗服务主要内容为以省目录系统事项清单为底数,整合省回流数据、统一申办系统数据、单位自建系统数据、单位上报数据中的事项名称与事项编码,去除重复项,同时,识别相似项,与对应业务部门进行确认后,进行保留或删除操作,最终生成完整的梅州市政务服务事项清单,并且持续更新。 (2)政务服务事项办件数据完整性分析服务 基于省目录系统事项清单的事项名称与事项编码,结合目前梅州市政务服务办件办结数据底库已汇聚数据,以梅州市行政区划和各单位名称为核心,识别各单位相关业务事项是否有自建信息化系统支撑、是否纳入统一申办受理平台,相关业务办件数据是否已在平台进行编目挂接、是否在省回流数据中,对于未编目挂接的数据,汇总输出相关局委办信息、业务信息,支撑政务服务数据管理人员与相关局委办沟通挂接,并将挂接数据对接梅州市政务服务办件办结数据底库,对局委办发函回复无法支撑数据编目挂接的事项做相关标记处理,并且持续更新。 (3)省回流数据质量统计分析服务 省回流数据是从省数据资源“一网共享”平台回流的包括粤省事、广东省婚姻信息管理系统、广东政务服务网等在内的涉及全市42个业务系统的所有办件数据和办结数据,在与本地数据进行融合前,开展数据质量统计分析,分析省回流数据的整体质量情况:对抓取到的省回流办件数据,基于时间(受理时间、回流时间)维度统计省回流数据是否能匹配到事项目录管理系统编码、业务实施编码和部门编码能否同时对应、受理状态是否正确、受理人是否为空,分析省回流数据质量,并且持续更新。 (4)政务服务事项办件效能分析服务 为落实国务院、广东省、梅州市对于一网通办、政务服务等事项审批流程压缩及办件效能提升的要求,对省回流数据、统一申办系统数据、单位自建系统数据、单位上报数据进行分析,对各类数据按区域、单位名称、上报时间维度分析业务事项与省目录管理系统事项编码对应情况,事项办件数和办结数对应情况,支撑输出办件数与办结数相差较大、办结率较低的局办及对应事项,支撑进一步追溯具体原因,寻找解决方案,提升政务服务事项办件效能,并且持续更新。 4.'信'创'适配测试 根据国家'信'创'工作要求,对本项目进行数字政府信息技术应用创新适配测试,并出具报告。 5.运营服务工作量
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
说明 |
打“★”号条款为实质性条款,若有任何一条负偏离或不满足则导致投标无效。 |
采购包2(公共数据运营开放系统部分)1.主要商务要求
标的提供的时间 |
本项目建设周期为6个月,自合同签订之日起开始计算。 |
标的提供的地点 |
采购人指定的地点 |
付款方式 |
1期:支付比例70%,合同签订之日起30个工作日内,采购人向中标供应商支付合同金额的70%。
2期:支付比例30%,项目建设完成并通过验收后10个工作日内,采购人向中标供应商支付合同金额的30%。 付款方式补充说明: 1.每笔款项支付时,中标供应商同时向采购人提供相应金额的正式发票。 2.付款方式:银行转账支付。 3.因采购人使用的是财政资金,采购人在前款规定的付款时间为向政府采购支付部门提出办理财政支付申请手续的时间(不含财政支付部门审核的时间),在规定时间内提出支付申请手续后即视为采购人己经按期支付,如因财政支付部门原因导致未能及时支付的不属于采购人违约,采购人不承担因财政资金不能及时到位给中标供应商造成的任何损失。 4.逾期付款的违约责任:如采购人逾期支付资金的,从逾期之日起每日按逾期的该期支付金额的1‰支付给中标供应商作为逾期付款的违约金。 |
验收要求 |
1期:1.中标人完成项目建设工作并试运行后,即可向采购人提交书面的项目竣工验收申请,采购人收到申请后7个工作日内,由采购人组织有关单位,进行并完成项目验收。在试运行期间,如因设备原因出现重大故障,则重新开始试运行,各方协调,尽快解决问题以满足验收条件。按照采购文件要求,如果验收不通过,采购人应给出理由和修改要求,中标人按采购文件要求进行整改,直至通过验收。采购人除有正当理由外,若在规定时间内未组织完成验收或不能出具验收结论的,视为双方认可工作成果。 2.中标人应按软件工程有关标准和规范,以及本项目采购文件的要求完成平台建设工作,向采购人提供本项目相关的技术文档资料。 |
履约保证金 |
收取比例:10%,说明:1.履约保证金额为合同金额的10%。 2.交纳方式:以支票、汇票、本票、银行转账或者金融机构、担保机构出具的保函等非现金形式提交。 3.交纳时间:中标供应商在签订合同前5个工作日内向采购人交纳履约保证金。 4.退还时间:在项目运维、运营服务期结束后10个工作日内容退还。 5.履约保证金有效期:自合同签订之日起至项目服务期结束。 6.不予退还的情形:中标供应商不履行与采购人订立合同的或者未全面履行合同质量等条款,履约保证金不予退还,给采购人造成的损失超过履约保证金数额的,还应当对超过部分予以赔偿。 7.违约责任:中标供应商违约的,采购人将按照扣除其全部或部分履约保证金,或由担保人承担担保责任。如果中标供应商违约给采购人造成的损失超过履约保证金的,还应当依法赔偿超过部分的损失。 履约保证金可以以履约保函(保险)形式提供,目前"广东政府采购智慧云平台金融服务中心(https://gdgpo.czt.gd.gov.cn/zcdservice/zcd/guangdong/)已实现电子履约保函(保险)在线办理功能,有意愿供应商可自行办理提供。 |
其他 |
|
其他商务需求
参数性质 |
编号 |
内容明细 |
内容说明 |
|
1 |
投标报价要求 |
投标总价指供应商为完成本项目所收取的全部费用,包含但不限于以下费用:所有工作人员的工勤费用(包括工资、福利、交通、食宿、通讯、常驻现场的费用等),合同所提及系统开发、对接、调试、数据迁移、升级维护、培训辅导、运维期售后服务、招标代理服务费、验收费、全额含税发票、合同实施验收过程中的应预见和不可预见费用等。中标人不能再以任何理由向采购人索取其他费用或利益。 |
|
2 |
保密要求 |
中标人在项目实施过程中,对采购人所提供的所有相关资料、数据,未经采购人书面同意不得向任何第三人泄露,且保密责任不因合同的终止或解除而失效。如采购人提出要求,中标人须无条件与采购人签定保密协议。项目完成后,中标人须把采购人要求提供的与技术评估工作有关的所有原始资料、数据移交采购人。 |
|
3 |
知识产权声明 |
1、中标人所提供的产品、工具、模型、方法论、文档及服务须没有任何权利瑕疵,没有侵犯任何第三方权利。采购人在使用该产品或服务的任何一部分时,免受第三方提出的任何侵犯其知识产权的权利主张。如发生第三方指控采购人实施的侵权的,中标人应当承担全部责任。 2、在本项目中所形成成果的知识产权归采购人所有。未经采购人书面同意,中标人不得擅自将项目成果转让给第三方,也不得擅自允许第三方使用。 |
说明 |
打“★”号条款为实质性条款,若有任何一条负偏离或不满足则导致投标(响应)无效。 |
2.技术标准与要求
序号 |
品目名称 |
标的名称 |
单位 |
数量 |
分项预算单价(元) |
分项预算总价(元) |
所属行业 |
技术要求 |
1 |
软件集成实施服务 |
公共数据运营开放系统 |
项 |
1.00 |
755,000.00 |
755,000.00 |
软件和信息技术服务业 |
详见附表一 |
附表一:公共数据运营开放系统
参数性质 |
序号 |
具体技术(参数)要求 |
||||||||||||||||||||||||||||||||||||||||||||
|
1 |
一、软件开发服务 1.公共数据开放运营系统 建设公共数据开放运营系统,以数据要素顶层设计为指引,以普惠金融为切入点,以公共数据授权运营及数据经纪人为契机,对梅州市公共数据、社会数据进行加工整理,通过隐私计算、API接口、网页查询等方式将数据产品输出给银行等社会组织,加强政企数据对市场主体信用融资支撑,提升银行等社会组织风险管控能力,助力深化梅州市数据要素市场化配置改革。 1.1查询机构端 登录 提供双因素校验登录,支持机构管理员使用手机号、密码、手机验证码登录,并使用图形验证码防刷,保证登录安全。 首页 平台展示数据平台有关介绍,支持自定义Banner展示,数据产品分类展示、功能导航、个人中心。 个人中心 展示机构单位管理员个人信息,查看已开通数据产品、已授权数据目录、已授权企业列表、数据产品额度、关注企业列表等。 数据查询功能 为金融机构等社会组织提供网页查询方式获取数据。通过网页查询输入企业名字、统一信用代码等参数,实时返回对应信用数据,按照分类主题汇总展示,比如企业基础信息、风险信息、经营信息、在线查询梅州市自然人房产信息情况等,查询结果返回非原始数据,为脱敏后的标签数据。 查询支持模糊匹配,非公开数据需获得企业授权。 邀请授权 查询机构可邀请企业授权,通过在线链接方式,提高授权效率 数据反馈功能 设置信息查询反馈机制,如果机构发现数据问题,可以在线提交数据错误反馈信息,大数据平台可以处理异常数据。 网页用量统计 统计已使用的网页查询用量、剩余用量统计,支持按产品名称、接口名称、企业名称、操作用户、使用时间查询和导出。 数据API接口用量统计 统计已使用的数据API接口调用用量、剩余用量统计,支持按产品名称、接口名称、企业名称、操作用户、使用时间查询和导出。 关注企业列表 展示已关注的企业列表,关注企业表示金融机构等社会组织意向企业,方便机构快速查找。支持按企业名称、统一信用代码、关注时间查询,支持取消操作。 授权企业列表 展示已授权企业列表,支持按企业名称、统一信用代码、授权时间、授权状态查询,并支持添加线下授权,管理员可以通过上传线下签订协议进行企业授权。查询机构只有获得企业授权方可查询非公开数据。 贷款信息 展示机构填写企业贷款信息列表,支持按企业名称、统一信用代码、贷款时间查询,机构使用数据产品辅助放款后可进行贷款录入,提高平台的融资成效。支持录入企业名称、授信金额、放款金额、授信时间、放款时间、利率、金融产品。 信用数据目录 展示已授权给查询机构的信用数据目录,分类展示各项数据源部门、数据主题、数据字段,是否需要授权查询等,可按数据源、主题名、字段名搜索。 数据产品在线申请 查询机构可提交数据产品使用申请,支持在线提交申请资料,平台运营管理员可以在线审批,快速开通产品功能。 数据接口调用管理 展示数据接口调用记录列表,包括接口名称、接口参数、接口返回值、调用时间、调用结果,支持通过接口名称、调用时间、调用结果查询。 1.2运营平台端 登录 提供双因素校验登录,支持运营管理员使用手机号、密码、手机验证码登录,并使用图形验证码防刷,保证登录安全。 数据总览 展示平台各项指标统计数据,如每日新增授权企业数、每日新增接口调用数、每日新增查询访问数,按主题统计接口调用情况、授权企业情况等,支持按时间维度进行查询统计,支持BI统计图表形式展示数据。 机构管理 展示已入驻查询机构、分支机构列表,可按机构名称、入驻时间、状态查询,提供新建、编辑、删除等操作。 客户经理管理 展示已入驻查询机构的客户经理列表,可按机构名称、入驻时间、客户经理姓名、手机号码、状态查询,提供新建、编辑、重置密码、删除等操作。 接口管理 展示已接入的接口列表,统一管理各数据接口,可按供应商名称、接口名称、状态查询,支持新建、编辑、删除、修改状态等操作。 接口路由管理 展示已配置的接口路由列表,对于同一类数据主题,可配置查询时使用的数据源供应商,支持使用优先级配置,当供应商不可用时自动按优先级切换至下一个供应商,灵活可控。可按供应商名称、接口名称、状态查询,支持新建、编辑、删除、设置状态等操作。 授权企业管理 展示查询机构已授权企业列表,支持按企业名称、统一信用代码、机构名称、授权时间、授权状态查询。 机构接口管理 展示查询机构已开通数据接口调用列表,登记开通的接口并配置额度、加密密钥、IP白名单之后才可调用。可按机构名称、接口名称、状态查询,支持新建、编辑等操作。 数据接口调用管理 展示平台数据接口调用记录列表,包括机构名称、接口名称、接口参数、接口返回值、调用时间、调用结果,支持通过接口名称、调用时间、调用结果查询。 数据产品额度管理 展示各查询机构已使用的数据产品用量明细,支持按机构名称、产品名称、产品名称查询。支持新建、编辑、修改配额等操作。 用户管理 展示平台所有管理用户列表,可按机构名称、用户姓名、联系手机、状态查询,支持新建、编辑、修改状态等操作。 角色管理 展示平台所有管理角色列表,可按机构名称、用户姓名、联系手机、状态查询,支持新建、编辑、修改状态等操作。 菜单权限管理 展示平台各管理员的菜单权限明细,支持按机构名称、管理员名称、角色名称查询,支持对管理员进行菜单、按钮的权限设置。 财务管理 展示平台数据服务产生的费用明细,提供给查询机构做财务对账,支持按机构名称、供应商名称、数据服务产品名称、统计时间查询。支持查看、导出、修改状态等操作。 成效管理 成效管理是指各类机构应用公共数据产生成效后需返回成效明细,例如金融机构在应用数据后需返回对企业授信放款的情况。可按机构名称、企业名称查询。 数据反馈管理 展示平台使用单位提交的数据异常反馈记录列表,可按提交单位名称、提交时间、处理状态查询,支持查看详情,状态处理操作。 数据产品在线申请管理 展示平台使用单位提交的数据产品申请记录列表,可按提交单位、提交时间、处理状态查询,支持查看申请详情,下载申请材料,状态处理操作。 1.3数据API接口平台端 数据API接口平台端提供以接口形式的信用数据调用服务,查询机构可以将API嵌入其系统内以获得服务。 推送授权书:查询机构在调用非公开数据查询接口之前,需要先推送企业授权该机构获取数据的授权书,公共数据开放平台校验并建立授权关系。 数据API接口网关 API网关作为后端服务的统一入口,它可以统筹管理后端服务,主要分为数据平面和控制平面: 数据平面主要功能是接入用户的HTTP请求和服务被拆分后的聚合。使用api网关统一对外暴露后端服务的API和契约,路由和过滤功能正是网关的核心能力模块。另外,API网关可以实现拦截机制和专注跨横切面的功能,包括协议转换、安全认证、熔断限流、灰度发布、日志管理、流量监控等。 控制平面主要功能是对后端服务做统一的管控和配置管理。例如,可以控制网关的弹性伸缩;可以统一下发配置;可以对网关服务添加标签;可以在api网关上通过配置Swagger功能统一将后端服务的API契约暴露给使用方,完成文档服务,提高工作效率和降低沟通成本。 路由功能:路由是API网关的核心能力。通过路由功能API网关可以将请求转发到目标服务。在微服务架构中,网关可以结合注册中心的动态服务发现,实现对后端服务的发现,调用方只需要知道网关对外暴露的服务API就可以透明地访问后端微服务。 负载均衡:API网关结合负载均衡技术,利用Eureka或者Consul等服务发现工具,通过轮询、指定权重、IP地址哈希等机制实现下游服务的负载均衡。 统一鉴权:统一对内网和外网的接口做用户身份认证,而用户认证在一些规模较大的系统中都会采用统一的单点登录(Single Sign On)系统,如果每个微服务都要对接单点登录系统,比较浪费资源且开发效率低。API网关将认证的部分抽取到网关层,微服务系统无须关注认证的逻辑,只关注自身业务即可。 协议转换:API网关的一大作用在于构建异构系统,API网关作为单一入口,通过协议转换整合后台基于REST、AMQP、Dubbo等不同风格和实现技术的微服务,面向Web Mobile、开放平台等特定客户端提供统一服务。 指标监控:网关可以统计后端服务的请求次数,并且可以实时地更新当前的流量健康状态,可以对URL粒度的服务进行延迟统计,也可以使用Hystrix Dashboard查看后端服务的流量状态及是否有熔断发生。 限流熔断:在某些场景下需要控制客户端的访问次数和访问频率,一些高并发系统有时还会有限流的需求。在网关上可以配置一个阈值,当请求数超过阈值时就直接返回错误而不继续访问后台服务。当出现流量洪峰或者后端服务出现延迟或故障时,网关能够主动进行熔断,保护后端服务,并保持前端用户体验良好。 黑白名单:API网关可以使用系统黑名单,过滤HTTP请求特征,拦截异常客户端的请求,例如DDoS攻击等侵蚀带宽或资源迫使服务中断等行为,可以在网关层面进行拦截过滤。比较常见的拦截策略是根据IP地址增加黑名单。在存在鉴权管理的路由服务中可以通过设置白名单跳过鉴权管理而直接访问后端服务资源。 灰度发布:API网关可以根据HTTP请求中的特殊标记和后端服务列表元数据标识进行流量控制,实现在用户无感知的情况下完成灰度发布。 流量染色:和灰度发布的原理相似,网关可以根据HTTP请求的Host、Head、Agent等标识对请求进行染色,有了网关的流量染色功能,我们可以对服务后续的调用链路进行跟踪,对服务延迟及服务运行状况进行进一步的链路分析。 文档中心:网关结合Swagger,可以将后端的微服务暴露给网关,网关作为统一的入口给接口的使用方提供查看后端服务的API规范,不需要知道每一个后端微服务的Swagger地址,这样网关起到了对后端API聚合的效果。 日志审计:API网关可以作为统一的日志记录和收集器,对服务URL粒度的日志请求信息和响应信息进行拦截。 标签化数据接口 公共数据开放运营系统将梅州市企业及自然人公共数据部分数据字段依据金融机构需求进行标签化处理,例如企业2023年1月公积金缴纳金额实际为112.56万元,接口输出为110,120)。 数据核验接口 数据核验接口主要用于核验用户有关个人数据如房产信息等的真实性和有效性。核验接口可以通过调用梅州市企业及自然人公共数据,对用户提供的信息进行验证,从而提高信息的准确性和可靠性。
2.隐私计算节点 开发部署隐私计算节点,在数据不出域的情况下,联合政务数据和金融机构等社会组织数据进行模型训练,联合统计、隐私求交、隐匿查询等功能。 系统支持数据发布、项目(合约)创建与审批、模型训练、服务发布、监管审计等功能。 2.1数据源管理 支持多种数据库形式(包括MySQL、Hive)接入外部数据。 支持对数据源信息的添加、删除、修改,但数据源有数据集关联的时候不可删除和修改。 支持通过数据源名称搜索数据源。 2.2数据集管理 支持通过指定数据库名称、库表名称和数据字段的方式,创建数据集。在使用数据库方式添加数据集之前,需要在数据源管理页面,添加数据库。数据集名称最长45个字符,不支持中文字符;数据类型支持string、int32、int64、double,所有选择的字段在参与密文计算时,都将转换为统一的类型参与计算。系统会根据用户选择的字段原始类型,自动判断统一可转换的数据类型。 支持通过上传本地数据文件(文件大小 100M 及以下)或服务器文件(文件大小超过 100M)的方式创建数据集。数据集名称仅支持数字、字母和下划线;可以指定数据文件的ID列,多个ID列用“,”隔开;数据集标识会用于生成数据集URL,应确保每个URL的唯一性。 支持数据集的添加、修改、删除。 支持通过数据集名称以及修改时间搜索数据集。 支持通过点击数据集名称可以查看数据集详情。 支持选择数据集来创建数据应用。 支持把数据集上架到数据市场。 2.3数据市场 支持数据目录的添加、修改、删除,但数据目录有数据集关联的时候不可删除和修改。 支持在数据目录中添加、修改、删除数据集以及查看数据集详情。 支持数据集下架。 2.4数据应用管理 支持数据应用的创建、修改、发布、撤销、详情查看。 数据应用的创建适用于以下三种场景: 场景一:数据使用方在远端数据市场勾选数据,发起审批流程。审批台点击审批通过后自动创建数据应用。 场景二:数据使用方在本地数据市场勾选数据,发起审批流程。审批台点击审批通过后自动创建数据应用。 场景三:数据提供方选择本地数据,填写算法、用量等信息,创建数据应用。 数据应用创建后,只能修改数据应用的描述信息,不能修改数据、算法、用量、有效期等信息。 数据应用的撤销不用通知给其他合作方,在业务流程上允许单方面撤销数据应用后,该数据应用的合作方会在后续的使用中收到报错信息。 2.5审批工作台 支持待审批数据使用申请的列表式展示,数据提供方可以在审批台对结果使用方发起的数据使用申请进行审批,如果拒绝审批,填充拒绝原因后返回给对端,由对端重新申请。 2.6加密协议 同态加密是基于数学难题的计算复杂性理论的密码学技术。是指各参与者将数据加密后发送给统一的计算服务器,服务器直接使用密文进行计算,并将计算的结果的密文发送给指定的结果方。结果方再将对应的密文进行解密后,得出最终的结果。如此可保证计算服务器一直使用密文进行计算,无法查看到任何有效信息;而参与者也只能拿到最后的结果,无法看到中间结果。 以同态计算a+b为例,如下图所示,使用公钥k将a和b加密为Ek(a)和Ek(b)后发送给ES进行计算,ES直接使用密文进行计算,得到Ek(a)+Ek(b)的结果Ek(c),并将密文计算的结果发送给结果方,结果方解密得到最终结果。同态加密可以保证:密文计算的结果=计算结果的密文,即:Ek(a)+Ek(b)=Ek(a+b)。 不经意传输是一种可保护隐私的双方通信协议,能使通信双方以一种选择模糊化的方式传送消息。不经意传输协议是密码学的一个基本协议,它使得服务的接收方以不经意的方式得到服务发送方输入的某些消息,这样就可以保护接受者的隐私不被发送者所知道。 对于一个1-2不经意传输,如下图所示,假设Alice将S0和S1通过不经意传输发送给Bob。Bob的输入有0和1,假设Bob的输入是1,那么他将得到S1。在这个过程中,Alice不知道Bob输入的是0还是1,Bob也不知道除S1以外的其他信息。 秘密分享是指将秘密以适当的方式拆分,拆分后的每一个份额由不同的参与者管理,每个参与者持有其中的一份,协作完成计算任务(如加法和乘法计算)。单个参与者无法恢复秘密信息,只有若干个参与者一同协作才能恢复秘密消息。 以计算5*10为例,如下图所示,在DS上,将5拆分为2和3,将10拆分为4和6,分别发送给ES1、ES2、ESa和ESb进行计算。各ES计算完成后分别持有部分计算结果,无法得知计算意图和完整的计算结果。只有四个ES协作汇总,才能得到5*10的最终结果。 2.7安全算子库 提供密文基础运算函数,包括:元素间或数组间的加减法以及乘法运算,元素间或数组间的比较运算等。 支持多方数据基础运算(加法、减法、乘法、除法、比较、矩阵运算),数值运算任务执行成功,加法、乘法、除法运算与明文数据本地计算相比,误差小于十亿分之一,或计算精度不小于32比特位;比较运算与明文数据本地计算一致。 提供密文统计函数,包括:极差、百分位数、分位数,中位数、均值与标准差、方差,相关系数,数组统计等。 提供密文逻辑函数,包括:真值判定,逻辑运算,比较运算等。 支持多方数据根据计算规则/计算逻辑进行计算(基于多方安全计算技术的计算,即各个数据方将数据加密后,在密文下执行计算),并返回计算结果,且相对误差小于合理水平。特别地,如果计算规则/计算逻辑中有参数,且需要保护参数的隐私,支持将参数作为密文数据参与计算。 2.8联合统计 提供通用的联合统计场景模板功能,提供界面、API等服务方式。 支持统计运算、复杂运算、科学计算等功能,提供可视化执行界面。 支持联合统计任务配置、联合统计历史任务查询、联合统计任务调度配置等功能。 支持多方联合统计(最大值、方差、中位数、百分位数等),联合统计任务执行成功,方差计算精度大于24比特位。 2.9隐私求交 隐私求交是指不泄漏参与方各自输入信息的前提下协同计算并输出集合的交集,一方或两方能够得到最终交集结果,但是各方无法获知交集以外的对方集合数据的任何信息。 支持多列求交、多方隐私求交。 支持通过界面定义计算任务,无需编写计算合约代码。 2.10隐匿查询 提供通用的隐匿查询PIR场景模板功能,提供界面、API等服务方式。 支持多方批量查询和单条查询。 支持隐匿查询任务配置、隐匿查询历史任务查询等。 支持通过界面定义计算任务,无需编写计算合约代码。 2.11项目管理 支持项目的创建、查看、修改、关闭、查询,但项目有任务关联的时候不可关闭和修改。创建项目时,需填写项目名称、项目描述。 项目只能关闭,不能删除。关闭的项目默认不在项目列表展示,可以通过修改项目状态,单独查询已关闭的项目列表。 支持在项目中添加、修改、删除任务以及查看任务详情。 支持基于项目名称、创建日期、项目状态的模糊查询。 2.12服务管理 支持任务的创建、修改、执行、停止、结果下载、删除、查询、查看,但执行中的任务不可删除。 创建任务时,需填写任务名称、描述、数据提供方数据集、本方数据集(创建查询、求交任务时,不需填写,在任务执行时填写)、分箱数以及输入输出参数等信息。 任务类型包括:PSI(2方/多方)、PIR、SSN(2方/3方)、逻辑回归、XGBoost、模型预测以及自定义任务。
|
||||||||||||||||||||||||||||||||||||||||||||
|
2 |
二、运行维护服务 1.运维服务内容 1、在项目验收后,提供2年系统运行维护服务。系统在运行中出现任何问题,承建方需及时解决,并提供相关的操作辅导。 2、提供在项目运维阶段,承建方需提供不少于2名技术人员的保障运维,提供7*24小时的系统故障响应,并在12小时内完成应急故障处理。 3、提供定期巡检服务,在不影响用户工作的前提下,提供维护期内系统设备的定期巡检服务,每月巡检1次,并提交相应的巡检报告,详细描述巡检项目、发现问题的成因、影响范围以及建议的解决方案。 4、紧急故障备用应急服务。当业务系统出现整机崩溃、宕机等紧急故障时,且在短时间内无法修复,提供性能相当的备用系统顶替故障系统,保障业务的顺利流转。 5、配合建设单位对未更新数据的数源部门及时督促和催办,保障数据更新及时,同时配合建设单位编制项目的数据运维报告、使用报告及其他报告材料,配合建设单位完成日常运营支撑工作。 6、协助建设单位制定相关规章制度,规范管理系统的运行和操作,提供用户操作培训。制作相关宣传视频和手册,完成本项目应用软件和服务在梅州市的实施推广。 7、数据库优化。根据数据库数据量增长情况,定期开展数据库性能优化。 8、备份数据恢复。在出现系统数据丢失、错误等原因导致系统无法使用的情况,提供备份数据恢复服务,并在1个小时内完成。 2.运维服务时限
|
||||||||||||||||||||||||||||||||||||||||||||
|
3 |
三、系统业务运营服务 本项目需提供不少于2年1人的驻场运营服务。 1公共数据开发运营系统运营服务 1.1数据要素市场化配置改革咨询服务工作 1.1.1.梅州数据要素市场化配置体系建设 通过对广东省先进地市、梅州市开展数据要素制度调研,借鉴先进地市的典型经验做法,强化顶层设计,健全制度保障,制定符合梅州市区域特点的数据要素市场化配置改革制度。 1.1实施方案 (1)市内调研 梳理当前梅州市印发的关于数据要素的制度文件,包括文件名称、印发日期、发布单位、有效期等。 (2)市外调研 梳理广东省以及省内先进地市(如广州、深圳)印发的关于数据要素的制度文件,包括文件名称、印发日期、发布单位、有效期等。将梅州市数据要素制度建设与省内先进地市做‘横’向’对’比’,发现制度文件的差异,借鉴先进地市的典型经验做法。 (3)制度建设 基于与广东省先进地市数据要素制度的对比分析,结合当下梅州市的现实情况,制定梅州市数据要素市场化配置改革制度,如关于构建更加完善的要素市场化配置体制机制的若干措施。 1.2成果输出 输出梅州市内印发的关于数据要素的制度文件、广东省以及省内先进地市(如广州、深圳)印发的关于数据要素的制度文件。 输出梅州市数据要素市场化配置改革制度,如关于构建更加完善的要素市场化配置体制机制的若干措施。 1.1.2.梅州公共数据运营咨询 为落实《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》和2023年市政府工作报告中关于“创新公共数据授权运营模式”的有关要求,通过开展金融机构调研、公共数据调研,在梅州市创新推出公共数据授权运营模式,推动公共数据产品设计、合规登记、挂牌交易、宣传推广,逐步探索公共数据交易流通。 1.1.2.1金融机构调研 通过调研金融机构,全面了解和掌握金融业务情况、公共数据对接现状、公共数据对接需求、信息化情况等,为后续形成公共数据产品奠定基础。 1.1实施方案 (1)业务情况 了解金融机构业务现状,包括主推业务、面向客群、申请条件、业务流程、在贷余额、不良率等,发现业务中的问题和瓶颈,提高业务流程效率和质量,优化资源配置,推动实现业务规范性、高效性。同时,提前了解业务规划和发展,便于做好总体统筹安排。 (2)公共数据对接现状 开展金融机构公共数据对接现状调研,了解金融机构当前对接的公共数据主题、公共数据获取途径、公共数据质量、公共数据应用场景、用户操作便利性、目前存在的问题等,发现公共数据对接的短板。 (3)公共数据对接需求 开展金融机构公共数据对接需求调研,了解金融机构希望对接的公共数据主题、公共数据字段、希望解决的问题、公共数据应用场景、公共数据时效性要求、公共数据颗粒度要求等,了解金融机构在开展业务过程中的实际数据需求。 (4)信息化情况 了解金融机构信息化情况,包括金融机构组织架构、技术对接能力、技术对接周期、技术对接形式等,方便评估金融机构使用公共数据的方式,最大化提高金融机构运用公共数据的质量和效率。 1.2成果输出 输出金融机构调研报告,包括调研背景、调研目标、调研方法、金融机构业务情况、金融机构公共数据对接现状、金融机构公共数据对接需求、信息化情况、存在问题、解决方案等内容。 3.1.1.2.2公共数据调研 通过调研政府部门,了解和掌握公共数据归集情况、公共数据接入形式等,为后续推进公共数据授权运营以及公共数据产品流通交易奠定基础。 1.1实施方案 (1)公共数据归集情况 开展公共数据归集情况调研,包括数据主题、数据字段、数据类别、数据源单位、数据更新频率、公开类型等,了解政府部门已归集的公共数据整体情况。 (2)公共数据接入形式 开展公共数据接入形式调研,明确公共数据授权运营主体接入公共数据的形式,如统一对接梅州市政数局,或分别对接各数据源单位,以及库表对接、接口对接等对接类型。 1.2成果输出 输出公共数据调研报告,包括调研背景、调研目标、调研方法、公共数据归集情况、公共数据接入形式等内容。 1.1.2.3公共数据授权运营 1.1实施方案 (1)公共数据授权标准 明确公共数据运营机构授权标准,由其负责梅州市公共数据运营工作,如公共数据运营机构为国企单位、具备公共数据运营经验、具备数据经纪人资质、具备完善的数据安全保障机制等。 (2)公共数据授权运营机构遴选 拟定公共数据运营试点请示,由公共数据运营机构向市政数局发起运营试点请示,市政数局确认授权范围,向运营机构授权复函,明确数据使用的范围、目的、期限和保密等事项。 1.2成果输出 输出公共数据运营试点请示文件,以及市政数局的授权复函文件。 1.1.2.4公共数据产品设计 1.1实施方案 充分结合金融机构调研情况、数据调研情况,整合加工梅州市住房公积金管理中心等局委办公共数据,必要情况下引入社会数据,通过“原始数据不出域,数据可用不可见”的隐私计算技术开展公共数据的开发利用,联合金融机构等金融机构优化并创新现有符合行业领域特征的普惠金融产品,提升中小微企业和个体工商户贷款可得性。 1.2成果输出 输出公共数据产品设计方案,包括设计背景、设计目标、数据维度、评分标准、输出结果等内容。 1.1.2.5公共数据资产合规登记 2023年4月,广东省政务服务数据管理局印发《广东省数据流通交易管理办法(试行)》,提出数据产品和服务进场交易前,应当开展数据资产登记。为推进公共数据流通交易,开展公共数据资产合规登记,包括申请、初审、复审、公示、凭证发放等流程。 1.1实施方案 (1)数据资产登记申请 协助整理并检查公共数据授权运营机构的数据资产登记申请材料,确保资料的完整性及合规性。申请材料包括广东省数据资产合规登记申请表、广东省数据资产登记承诺书、登记主体提供主体信息材料及财务情况、数据资产介绍说明书、数据来源说明、数据安全合规体系介绍及佐证材料等。 登记主体提供主体信息材料及财务情况包括主体资格证明文件、“信用中国”网站查询结果、法定代表人身份证明书、登记主体出具的办理本次登记事宜的授权委托书、受托人身份证复印件等。 数据资产介绍说明书包括交易数据产品/服务的名称、类别、形态、数据来源可能涉及其他利益相关方的说明、更新频率、应用场景描述、应用范围、数据形成时间、交付数据的时间和交付方式、数据成因、用途、交易目的等。 数据来源说明包括数据来源、搜集方式等。授权获取的,需提供授权合同、授权书、授权范围等书面证明文件。 数据安全合规体系介绍及佐证材料包括公安部出具的《信息系统安全等级保护备案证明》、企业数据安全体系建设实施方案和执行情况说明(包括但不限于数据安全体系建设的制度)等。 (2)数据资产登记审核 跟进数据资产登记初审、复审、公示情况,及时根据省公共数据运营管理机构意见完善数据资产登记材料。此外,广东数据资产登记合规委员会评审前,提供应答材料,解答可能涉及的问题,着重于对广东数据资产登记合规委员会关注的重点和难点进行解析,确保通过评审。 1.2成果输出 输出数据资产登记申请材料,包括广东省数据资产合规登记申请表、广东省数据资产登记承诺书、登记主体提供主体信息材料及财务情况、数据资产介绍说明书、数据来源说明、数据安全合规体系介绍及佐证材料等内容。 输出数据资产登记通过审核的凭证。 1.1.2.6公共数据产品挂牌交易 1.1实施方案 (1)数交所会员申请 按照数据交易所发布的指引文件,协助公共数据授权运营机构整理申请资料,包括机构类型、参与角色、机构简介、核心产品/服务介绍及交付标准等,推进其申请成为数据交易所会员。 (2)公共数据产品挂牌 协助公共数据授权运营机构将公共数据产品在数据交易所进行挂牌。 (3)公共数据产品交易 协助与金融机构沟通,推进金融机构与公共数据授权运营机构达成公共数据产品交易。 1.2成果输出 输出数据交易所入库机构登记表,包括机构类型、参与角色、机构简介、核心产品/服务介绍及交付标准等。 1.1.2.7公共数据产品宣传推广 召开梅州市公共数据授权运营发布会,提升梅州市公共数据授权运营的’知’名’度与影响力。 1.1实施方案 (1)活动策划 结合活动主题,开展活动实施方案的策划工作,包括活动策划方案、活动执行安排表、物资筹备表、实施预算表、领导讲话稿等。 (2)活动实施 根据活动策划方案,开展活动实施,内容包含: ①根据活动主题、目的,进行线下踩点,确认活动场地; ②围绕活动主题,进行活动所需物料的设计、制作或购买,包括背景板、展架、帐篷、桌椅桌布、装饰物品、基础文具等,以及宣传册、单张、宣传海报、易拉宝等宣传资料的设计及印刷; ③依据活动主题,以及活动宣传需要,选定相应的活动礼品,并进行制作或购买; ④负责活动场地的搭建、布置; ⑤负责参会单位的邀约,包括政府部门、金融机构等; ⑥活动开展过程中,提供人员配合活动实施。其中,需有人员具备摄影、摄像技能,为活动现场拍摄照片、短视频,提供宣传报道素材。 (3)活动报道 开展活动后续宣传报道,包含活动开展后的公关文稿撰写,以及对接媒体进行发布等。 1.2成果输出 输出活动策划环节的系列文档,包括活动策划方案、活动执行安排表、物资筹备表、实施预算表、领导讲话稿等; 输出活动实施环节的系列文档,包括宣传物料设计稿、活动现场照片等; 输出活动实施后的宣传报道。 1.1.2.8公共数据产品运营分析报告 分析公共数据产品的交易情况,以数据为驱动,为公共数据产品迭代提供决策意见。 1.1实施方案 (1)数据收集与整理 统计公共数据产品交易成效,即金融机构使用公共数据产品后,需将交易成效返回,包括授信金融、授信时间、放款金额、放款时间等,方便后续对公共数据产品进行持续优化。 (2)可视化展示 采用直观的数据可视化方式,呈现精美、易懂的数据图表,帮助更好地理解和解读数据。 (3)解读与建议 对公共数据产品运用分析结果进行解读,并提供专业建议,推进优化公共数据产品,提升中小微企业的贷款可得性。 1.2成果输出 输出公共数据产品运营分析报告,基于产品交易成效进行解读分析,包括授信金融、授信时间、放款金额、放款时间等。 1.1.3.梅州社会数据开放应用 通过开展金融机构调研、社会数据调研,配合开展广东省数据经纪人遴选工作,挖掘数据要素价值、活跃数据要素市场,促进行业数据与公共数据融合流通。 1.1.3.1数据经纪人 2023年4月,广东省政务服务数据管理局印发《广东省数据经纪人管理规则(试行)》,提出各地区政务服务数据管理部门根据省政务服务数据管理局授权,配合开展数据经纪人遴选与认定工作。为推进数据经纪人遴选与认定,协助企业开展数据经纪人申请、专家评审、名单确认、名单公示、最终认定等流程。 1.1实施方案 (1)数据经纪人申请 指引企业填报《广东省数据经纪人申报书》,并检查申报书完整性与合规性。申报内容包括申报企业的生态协同能力、数据运营能力、技术创新能力、数据安全能力和组织保障能力。 生态协同能力主要包括产业链合作伙伴、数据资产清单、数据产品目录、行业数据空间等; 数据运营能力主要包括数据规模、质量、治理、应用、平台和运营效果等; 技术创新能力主要包括标准规范制定、知识产权和研发投入占比等; 数据安全能力主要包括法规义务履行情况、数据安全管控措施和数据安全能力成熟度等; 组织保障能力主要包括人员保障、资金投入和技术环境等。 (2)数据经纪人审核 跟进专家评审情况,并出具初审意见及数据经纪人预选名单; 将数据经纪人预选名单、初审意见以及申请材料一并上报省政务服务数据管理局审核,确定数据经纪人名单; 跟进省政务服务数据管理局通过官网向社会公示数据经纪人名单情况。 1.2成果输出 输出数据经纪人申报书,包括申报企业的生态协同能力、数据运营能力、技术创新能力、数据安全能力和组织保障能力等内容。 1.1.3.2金融机构调研 通过调研金融机构,全面了解和掌握金融机构社会数据对接现状、社会数据对接需求等,为后续形成公共数据产品奠定基础。 1.1实施方案 (1)社会数据对接现状 开展金融机构社会数据对接现状调研,了解金融机构当前对接的社会数据主题、社会数据获取途径、社会数据质量、社会数据应用场景、用户操作便利性、目前存在的问题等,发现社会数据对接的短板。 (2)社会数据对接需求 开展金融机构社会数据对接需求调研,了解金融机构希望对接的社会数据主题、社会数据字段、希望解决的问题、社会数据应用场景、社会数据时效性要求、社会数据颗粒度要求等,了解金融机构在开展业务过程中的实际数据需求。 1.2成果输出 输出金融机构调研报告,包括调研背景、调研目标、调研方法、金融机构社会数据对接现状、金融机构社会数据对接需求、存在问题、解决方案等内容。 1.1.3.3社会数据调研 通过调研梅州企业,了解和掌握社会数据归集情况、社会数据接入形式,为后续推进公共数据产品流通交易奠定基础。 1.1实施方案 (1)社会数据归集情况 开展社会数据归集情况调研,包括数据主题、数据字段、数据总量、数据更新频率、数据质量等,了解梅州企业已归集的社会数据整体情况。 (2)社会数据接入形式 开展社会数据接入形式调研,如库表对接、接口对接等对接类型。 1.2成果输出 输出社会数据调研报告,包括调研背景、调研目标、调研方法、社会数据归集情况、社会数据接入形式等内容。
3.2运营服务工作量
|
||||||||||||||||||||||||||||||||||||||||||||
说明 |
打“★”号条款为实质性条款,若有任何一条负偏离或不满足则导致投标无效。 |