采购需求
项目属性:服务类
本项目涉及系统对接,主要对接广州市交通运输局大数据平台和广州市交通运输局信息安全管控平台,系统对接过程中涉及在现有系统源代码基础上开发的,采购人可提供源代码、数据字典、说明书等技术资料供中标人使用,同时负责提供对接所需的原系统相关技术资料及相关协调工作,费用由中标人承担。两个系统情况说明如下:
本文件所指的广州市交通运输局大数据平台,是指基于广州市交通运输局交通行业数据共享和分析服务平台和广州市交通运输局交通数据资源与分析模型服务系统的整体建设成果,共同构成的广州市交通运输局统一的大数据平台,该平台现有数据超过6000亿条。本项目将对广州市交通运输局大数据平台的1000多张数据表约3万个字段数据进行分类分级管理,对敏感数据发现、确认与标记,输出数据分类分级结果,并根据数据安全分级防护规范与要求,对数据配置差异化的安全监测与防护策略以及管理措施。
该项目于2016年建设,项目周期为18个月,提供系统运行维护期限为1年,项目完成了数据资源目录梳理,数据标准规范的制定,数据资源库设计及建设,数据采集、标准化和数据管理功能,基于ESB的数据共享功能,交通行业数据统计及应用服务功能,平台二次开发环境搭建,接入平台的外部系统数据共享接口改造,交通行业数据主题分析与展示功能,平台监控功能,平台管理等建设内容。
广州市交通运输局交通行业数据共享和分析服务平台构建广州市交通行业数据标准规范、数据资源目录、数据资源共享和基础应用服务等核心体系,实现广州市交通行业结构化数据的管理及共享。统筹管理全市交通行业数据资源和信息化系统的数据共享;实现交通行业数据与广州市政府信息共享平台的共享;有效提升交通行业管理水平,加强交通信息资源管理,实现跨部门、跨系统和跨单位的信息共享和业务协同。
平台主要功能如下表:
序号 |
功能模块 |
功能说明 |
1 |
数据资源目录梳理 |
对广州市交通运输局系统进行调研,根据要求建设广州市交通运输局资源目录 |
2 |
数据标准规范的制定 |
为平台建立数据项标准、数据共享交换标准等内容 |
3 |
数据资源库设计及建设 |
为平台建立基础库、标准库、关联库,并对建设的资源库做数据的整合与优化 |
4 |
数据采集、标准化和数据管理功能 |
对广州市交通运输的单位数据行采信、对原有的新增数据项进行管理包括申报、审核、变更等内容 |
5 |
基于ESB的数据共享功能 |
为平台建立一套共享服务,为广州市政府信息共享平台提供数据交换,为广州市交通运输局提供数据共享。 |
6 |
交通行业数据统计及应用服务功能 |
提供广州市交通运输局数据的统计功能和报表展示功能可通了解平台的实际情况,并提供一些基础应用服务 |
7 |
平台二次开发环境搭建 |
搭建一个面开发人员的二次环境,开发一些基础的应用服务 |
8 |
接入平台的外部系统数据共享接口改造 |
完成对需要将数据接入共享平台的系统进行数据共享接口改造 |
9 |
交通行业数据主题分析与展示功能 |
建设对应的业务分析模型 |
10 |
平台监控功能 |
建设平台监控功能,运维人员可通过平台实时查看数据的流向与实际工作情况。 |
11 |
平台管理 |
为平台建设用户管理、权限管理、信息管理功能。 |
该项目于2019年建设,项目周期为18个月,提供系统运行维护期限为1年,项目完成了交通数据资源目录管理应用、交通基础信息资源管理应用建设、交通联合分析管理应用、交通分析知识管理应用、系统接口等建设内容。
广州市交通运输局交通数据资源与分析模型服务系统进一步完善和夯实数据质量、数据目录衔接、交通要素信息等基础数据资源整合,搭建数据分析支撑环境,为交通数据创新分析、模型制定和知识沉淀等方面进一步奠定基础,促进“创新管理、创新决策、创新服务”的关键性支撑作用。
系统主要功能如下表:
序号 |
功能模块 |
功能说明 |
1 |
交通数据资源目录管理应用 |
包含目录编目管理、目录注册服务、目录服务、目录同步和应用域管理 |
2 |
交通基础信息资源管理应用建设 |
包含交通基础信息内容管理、全局归集中心、信息资源服务 |
3 |
交通联合分析管理应用 |
包含分析任务调度管理、分析过程管理、分析结果管理 |
4 |
交通分析知识管理应用 |
包含分析模型构建管理、分析模型管理、分析算法管理、模型和算法评价管理 |
5 |
系统接口 |
包含广州市政府大数据综合应用管理平台接口(本方) 对接、与相关内部系统对接 |
广州市交通运输局信息安全管控平台将广州市交通运输局的重要信息系统做统一安全纳管,对归集的海量安全数据进行关联分析和智能学习,形成威胁感知和安全告警能力,纳管广州市交通运输局云上云下主要系统,对下属单位实现安全监管,并对平台监测预警、安全分析、联动防护、日常管理等功能进行优化和补充,平台分两期建设。
广州市交通运输局信息安全管控平台一期项目于2018年建设。广州市交通运输局信息安全管控平台一期包含安全信息采集管理、安全事件管理、安全风险监测、安全预警管理、安全响应管理、安全信息展示、系统基础管理、系统接口等建设内容。
广州市交通运输局信息安全管控平台二期于2021年建设。主要包含平台授权和性能扩容、流量采集探针、日志采集探针、网站监测模块、终端安全检测与响应模块、远程接入管理模块、安全检查评估模块、平台功能定制开发及优化等建设内容。广州市交通运输局信息安全管控平台二期流量监测覆盖了局系统所有直属单位,与全市统一安全运营服务平台实现联动互补,对市交通运输局信息系统进行安全管理、实时监测、封堵恶意IP、发出告警工单等,有效防范和处置信息安全风险,保障重要信息系统安全稳定运行,形成广州市交通运输局统一、智能、高效的信息安全运营能力。
信息安全管控平台主要功能如下表:
序号 |
功能模块 |
功能说明 |
1 |
平台授权和性能扩容 |
对安全管控平台进行扩容,将广州市交通运输局主要信息化系统及下属单位核心系统都接入平台,平台功能模块进行扩展。通过对安全数据、情报的扩充采集,进一步提升对广州市交通运输局整体网络安全能力,并能掌握更深、更细致的网络安全态势,充分、真实反映广州市交通运输局网络安全状况。 |
2 |
流量采集探针 |
增加流量采集探针,实现对本地、云端、下属单位流量进行安全监测 |
3 |
日志采集探针 |
增加日志采集探针,对监管资产的日志进行采集和标准化处理,规则匹配,智能关联分析 |
3 |
网站监测模块 |
实现广州市交通运输局及下属单位互联网网站的持续安全监测 |
4 |
终端安全检测与响应模块 |
提升本地及广州市政务云端主机安全防护能力 |
5 |
远程接入管理模块 |
采用SDP技术,实现远程电脑或移动终端安全的访问业务及办公系统 |
6 |
安全检查评估模块 |
支持主机漏洞扫描、WEB漏洞扫描、基线核查,实现对纳管的业务系统及资产进行安全评估,可按照等保及关键基础设施等安全防护要求定期对信息资产进行安全评估并形成检查报告 |
7 |
平台功能定制开发及优化 |
资产安全检查评估、安全报表查询输出、安全态势感知大屏、网站安全监测管理、应急预案管理、联动防护等功能定制开发及优化,进一步提升广州市交通运输局网络安全处置效率。 |
贯彻落实《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》、《推进综合交通运输大数据发展行动纲要(2020—2025年)》、《广东省人民政府关于进一步深化数字政府改革建设的实施意见》(粤府〔2023〕47号)、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《公路水路交通运输数据分类分级指南》、《广东省公共数据管理办法》、《广州市网络数据安全工作指引(试行)》等关于数据分类分级管理、数据高效合规流通以及数据安全保障方面的要求,在广州市交通运输局大数据治理以及网络安全建设基础上,充分发挥“技防”和“人防”作用,建设广州市交通运输局大数据平台数据分级治理及安全防护系统,建立健全数据分级治理以及数据安全管理体系,对大数据平台资源进行数据分类分级治理,实现对不同类别不同级别的数据采取差异性防护措施,提升广州市交通运输局数据的安全性及数据安全管理水平。
具体目标如下:
(一)对数据进行分类分级,形成交通数据分类分级清单,搭建数据分类分级与风险评估子系统,在数据分类分级规范基础上实现广州市交通运输局大数据平台海量数据分类分级。
(二)实现数据分级防护,对不同级别的数据采取差异化保护措施。在对广州市交通运输局大数据平台海量数据分类分级基础上,融合数据安全监控、数据脱敏、数据防护等技术,构建“数据安全监测”、“数据安全防护”以及“数据安全管理”三位一体的数据安全保障能力,实现对敏感数据重点防护、重要业务数据严格保护,把该管的管住、该放的放开,积极有效防范和解决敏感数据泄露、数据违规操作、数据异常流转等数据处理活动中的数据安全问题。
(三)加强数据共享保障,实现数据高效合规共享与安全应用。搭建数据质量监测子系统,从多个维度实现对广州市交通运输局大数据平台数据质量进行监测和评价,进一步提升数据质量,同时针对数据资产化、资产服务化、数据分析探索等数据共享和数据应用场景提供数据安全防护能力,促进数据高效合规共享与应用创新。
广州市交通运输局2024年大数据平台数据分级治理及安全防护系统建设项目建设内容如下所示:
表1.1 建设内容一览表
序号 |
系统名称 |
功能模块 |
功能说明 |
备注 |
||
1 |
大数据平台数据分级治理及安全防护系统(新建) |
定制软件开发服务 |
数据分类分级与风险评估子系统 |
数据源管理 |
数据源配置 |
按国产化适配技术要求实施 |
2 |
数据源导入管理 |
|||||
3 |
数据源管理展示 |
|||||
4 |
资产发现 |
配置任务 |
||||
5 |
任务管理 |
|||||
6 |
资产扫描 |
|||||
7 |
任务变更 |
|||||
8 |
资产报表分析 |
|||||
9 |
分类分级配置 |
行业模板管理 |
||||
10 |
规则因子管理 |
|||||
11 |
规则配置 |
|||||
12 |
策略配置 |
|||||
13 |
分类分级模型管理 |
模型管理 |
||||
14 |
模型版本管理 |
|||||
15 |
分类分级管理 |
数据分类分级任务管理 |
||||
16 |
分类分级规则执行 |
|||||
17 |
分类分级模型执行 |
|||||
18 |
分类分级结果输出 |
|||||
19 |
分类分级任务检索 |
|||||
20 |
手动终止任务 |
|||||
21 |
任务执行结果管理 |
|||||
22 |
分类分级报表分析 |
|||||
23 |
数据分类分级目录 |
数据源视角展示 |
||||
24 |
分类分级结果目录 |
|||||
25 |
行业模板目录 |
|||||
26 |
敏感数据目录 |
|||||
27 |
数据风险评估 |
任务列表管理 |
||||
28 |
风险扫描 |
|||||
29 |
任务查询 |
|||||
30 |
任务编辑 |
|||||
31 |
图表分析 |
|||||
32 |
数据质量监测子系统 |
数据质量监控 |
监控规则管理 |
|||
33 |
内置规则模板管理 |
|||||
34 |
监控任务管理 |
|||||
35 |
新建监控对象 |
|||||
36 |
监控任务调度 |
|||||
37 |
监控执行管理 |
|||||
38 |
质量监控总览 |
|||||
39 |
质量告警管理 |
告警配置 |
||||
40 |
告警通知组管理 |
|||||
41 |
告警记录管理 |
|||||
42 |
告警外发 |
|||||
43 |
表质量评价 |
表质量分析 |
||||
44 |
表质量报告输出 |
|||||
45 |
问题和修复 |
表问题管理 |
||||
46 |
表问题修复 |
|||||
47 |
数据安全风险应用层防护 |
数据服务防护 |
服务应用管理 |
|||
48 |
加密算法管理 |
|||||
49 |
服务加密传输 |
|||||
50 |
敏感数据加密 |
|||||
51 |
接口服务限流 |
|||||
52 |
接口调用解密 |
|||||
53 |
服务期限管控 |
|||||
54 |
数据权限管控 |
|||||
55 |
服务开发防护 |
|||||
56 |
接口访问监控 |
|||||
57 |
数据资源防护 |
用户分级 |
||||
58 |
数据资源分级管控 |
|||||
59 |
敏感标签关联 |
|||||
60 |
数据资源脱敏 |
|||||
61 |
数据资源访问管控 |
|||||
62 |
数据资源共享管控 |
|||||
63 |
数据资源申请管控 |
|||||
64 |
数据搜索防护 |
主数据应用管理 |
||||
65 |
云搜管控 |
|||||
66 |
主数据字段管控 |
|||||
67 |
全息图谱数据管控 |
|||||
68 |
敏感数据脱敏显示 |
|||||
69 |
数据分析防护 |
分析组件配置 |
||||
70 |
用户组管理 |
|||||
71 |
组件权限配置 |
|||||
72 |
数据读取管控 |
|||||
73 |
数据输出管控 |
|||||
74 |
模型分享安全管控 |
|||||
75 |
数据安全风险处置子系统 |
资产档案 |
网络资产管理 |
|||
76 |
数据资源管理 |
|||||
77 |
应用管理 |
|||||
78 |
人员账号管理 |
|||||
79 |
部门管理 |
|||||
80 |
信息采集 |
数据安全信息接收 |
||||
81 |
数据安全信息解析 |
|||||
82 |
数据安全信息标准化 |
|||||
83 |
数据安全信息过滤处理 |
|||||
84 |
数据安全信息聚合处理 |
|||||
85 |
数据安全信息缓存 |
|||||
86 |
状态检测处理 |
|||||
87 |
通信服务组件配置 |
|||||
88 |
关联引擎管理 |
|||||
89 |
日志代理管理 |
|||||
90 |
场景监管 |
业务建模 |
||||
91 |
业务场景分析 |
|||||
92 |
规则模型 |
规则管理 |
||||
93 |
预设模型管理 |
|||||
94 |
风险管理 |
告警管理 |
||||
95 |
隐患管理 |
|||||
96 |
研判分析 |
|||||
97 |
事件管理 |
|||||
98 |
风险处置 |
安全工作台 |
||||
99 |
工单管理 |
|||||
100 |
预警管理 |
|||||
101 |
安全报告管理 |
|||||
102 |
合规中心 |
安全知识库建设 |
||||
103 |
安全合规检查 |
|||||
104 |
数据安全融合分析 |
数据安全总览 |
||||
105 |
敏感数据安全分析 |
|||||
106 |
共享数据安全分析 |
|||||
107 |
系统对接 |
广州市交通运输局大数据平台对接 |
||||
108 |
广州市交通运输局信息安全管控平台对接 |
|||||
109 |
商品化应用软件服务 |
数据安全风险监测 |
数据库安全监测系统 |
支持多种数据库协议监测 |
满足国产化适配要求 |
|
110 |
风险监测 |
|||||
111 |
三层关联 |
|||||
112 |
查询分析 |
|||||
113 |
特殊业务场景支撑 |
|||||
114 |
报表分析 |
|||||
115 |
API安全监测系统 |
传输文件还原 |
||||
116 |
账号身份关联 |
|||||
117 |
敏感操作还原 |
|||||
118 |
API数据资产梳理 |
|||||
119 |
API资产分类分级 |
|||||
120 |
API数据资产全景 |
|||||
121 |
风险策略定制 |
|||||
122 |
账号行为监测 |
|||||
123 |
安全风险分析 |
|||||
124 |
数据安全风险底层防护 |
数据静态脱敏系统 |
敏感数据自动发现 |
|||
125 |
脱敏算法管理 |
|||||
126 |
数据抽取配置 |
|||||
127 |
保证数据完整性 |
|||||
128 |
保证业务逻辑关联性 |
|||||
129 |
保证数据原始特征 |
|||||
130 |
水印与溯源 |
|||||
131 |
保证数据保密性 |
|||||
132 |
断点续传 |
|||||
133 |
脱敏报表分析 |
|||||
134 |
数据动态脱敏系统 |
数据识别 |
||||
135 |
数据访问控制 |
|||||
136 |
动态脱敏 |
|||||
137 |
运维审批 |
|||||
138 |
虚拟补丁防护 |
|||||
139 |
审计和告警 |
|||||
140 |
丰富的内置报表 |
|||||
141 |
多设备联动与功能开放 |
|||||
142 |
数据安全分类分级实施
|
数据资产梳理 |
|
|||
143 |
元数据采集 |
|
||||
144 |
数据分类分级 |
|
数据分类是数据保护工作中的一个关键部分,是建立统一、准确、完善的数据架构的基础,是实现集中化、专业化、标准化数据管理的基础。通过对交通行业数据按照统一的数据分类方法,依据自身业务特点对产生、采集、加工、使用或管理的数据进行分类,可以全面清晰地厘清数据资产,对数据资产实现规范化管理,并有利于数据的维护和扩充。数据分类为数据分级管理奠定基础。数据分级是以数据分类为基础,采用规范、明确的方法区分数据的重要性和敏感度差异,并确定数据级别。根据《广州市交通运输局数据安全管理办法》及数据实际应用情况,可以将数据的安全级别从高到低分为核心数据、重要数据、敏感数据、一般数据4个级别。
(1)核心数据:一旦遭到泄露、篡改、毁损、非法使用或共享,可能直接危害政治安全或对国家安全和其他领域安全造成严重危害的数据。
(2)重要数据:一旦遭到泄露、篡改、毁损、非法使用或共享,可能直接危害国家安全、经济运行、社会稳定、公共健康和安全的数据。
(3)敏感数据:除重要数据、核心数据以外,涉及100万人以上个人信息或10万人以上个人敏感信息的数据。
(4)一般数据:除重要数据、核心数据、敏感数据以外的其他数据。
实际使用过程中应根据数据的重要性、敏感性、风险性和对业务的影响程度,以及个人信息保护要求,对现有的数据(含个人信息)实施分级管理,管理要求应参照《广州市交通运输局数据安全管理办法》及其他数据安全相关政策法规。
通过智能化手段,基于分类分级规则配置,实现对广州市交通运输局大数据平台的海量数据资产进行自动数据发现、敏感数据识别,结合人工对自动识别的结果进行确认,从而快速了解数据的分类、等级、敏感性等整体情况,使用数据分类分级标准规范为依据,评估区分数据的重要性和敏感度差异,并确定数据级别。
建设数据分类分级与风险评估子系统对系统数据进行自动数据发现、敏感数据识别且可以使用系统支持或用户导入的法规标准进行分类分级操作,生成数据资产目录。
系统支持多种识别规则模型,如:基于深度学习+条件随机场的命名实体识别模型,可以更准确、高效的识别中英文姓名、地址、机构名称等。基于NLP技术的文本识别模型、判断敏感文本数据,如:身份证等。此外还支持传统的正则表达式、字典等识别规则。
用户可以从不同维度感知到敏感数据情况,如:某个数据库包含多少敏感表、敏感字段、敏感等级。也可以知道单一敏感项的分布、使用情况。如:身份证信息分布在系统的哪些位置、使用热度情况。
可针对不同的数据源,对数据源连接信息进行维护,可添加附加信息,包括业务系统名称、所属部门、所属责任人。
输入数据源的相关信息后保存进行新增数据源。新增数据源后,“分类分级管理-任务列表”模块自动生成同名的分类分级任务,“数据安全评估”模块自动生成同名的风险检测任务。
支持单条及批量数据源导入管理,可以按照模板方式填写数据源进行批量或单条导入。
展示添加完成的数据源,列表展示内容需包含:数据源名称、数据源类型并通过字体与颜色区分、主机及端口、创建用户、创建时间、最近同步时间、最近分类分级时间、发现结果、同步状态、同步标识、分类分级状态、同步进度、操作。提供同步数据源、编辑数据源、删除数据源、终止数据源同步等。
资产发现可以针对指定主机进行扫描,从而发现数据库资产。若待扫描的主机范围较大,需要输入指定端口,以有效节省扫描所需时间。
新增任务,配置任务的相关信息,必填字段具有带*的标识;其中主机可以用IP区间的格式填写,也可填写多个IP以逗号隔开。端口也可以使用区间方式填写,或填写多个端口以逗号隔开。扫描周期时间可选择。输入内容时,主机及端口作唯一校验。新增任务内主机具有唯一性校验功能。
新增的任务展示在任务列表内,列表展示内容:任务名称、IP段、周期、服务数、状态、创建时间、最新发现时间、操作。
支持单个或多个任务进行扫描功能。扫描完成后,查看扫描结果,可将结果添加到数据源中,其中扫描出的结果若已经被添加至数据源中,则其状态为“已添加”且添加按键置灰。
任务编辑,可以对任务进行编辑,修改任务信息。操作方式与新增任务一致。任务的删除,删除任务后,该扫描任务被删除,不影响添加的数据源。
扫描任务的结果以报表的方式进行展示。在报表页面中,引导用户进行任务的过滤选择。过滤条件需要有“确定”按钮,点击确定后才刷新数据。过滤条件中,展示所有“完成”状态的任务列表,可以根据任务名称模糊搜索、多选;为清晰展示哪些任务已选,需分组展示已选与未选。内容包含 (资产发现概述、数据库类型分布、性能占用、数据库资产网段分布、端口分布、单网段数据库、资产分布、单网段数据库资产分布、协议类型分布)
支持丰富的分类分级模板,可根据行业特性以及业务场景选择合适的分类分级模板开展数据分类分级工作,且支持对规则进行过滤和编辑。
行业模板主要分为三个板块功能:1.行业模板,内置了多个行业模板,可以点击“查看”,查看具体模板详情,也可以下载到本地进行查看。2.识别字段列表,识别字段列表包含:识别字段、分级、分类、创建时间、操作。识别字段用于数据的分类分级,每个识别字段绑定了一个级别与分类,命中该识别字段的数据,其分类分级则为该识别字段的分类分级。内置的识别字段,不可进行编辑或删除。 3.模板导入与下载,页面中展示了「内置」标志的为内置模板,顺序在自定义模板前面。自定义模板中允许对识别字段进行编辑与删除。自定义模板命名不得与内置模板冲突。
包含规则因子新建、规则因子导入、规则因子批量转化为规则配置、规则因子导出等功能模块。
支持对于不同类型的数据进行识别的算法规则进行启用/禁用、修改和删除,支持对敏感数据定义策略进行设定,如大于#级时定义为敏感数据。
在该模块创建规则,用于分类分级。新增规则,点击“新增”按键进行新增。新增规则用于系统的分类分级。规则的逻辑配置支持。规则中支持对因子进行 and / or 的运算;规则列表:展示字段包含:规则ID、规则名称、状态、规则描述、更新时间、操作。
规则列表按照更新时间降序排字段。
策略配置主要用于系统内敏感数据及表分类分级的制定。配置修改及时会进行保存。但相关的分类分级任务需要等下一次执行时才应用生效。
支持有监督学习模型训练功能,可将一部分打标的数据源导入至指定模型中进行训练,通过AI深度学习,可得到能预测类似数据源分类分级情况的模型,将该模型使用到现有数据源中进行模型执行,便可预测出该数据源的分类分级结果;有了AI加持下的模型管理模块,分类分级梳理不再依赖对行业模板和规则因子的频繁修改,显著提升了字段梳理效率。即使后期分类分级标准规范发生变更,也可通过模型训练快速学习新样本得到新的分类分级模板。
模型管理包含创建、删除、修改、查阅自定义模型以及相应的模型参数等版本管理功能。
模型首次新增建立一个版本,新版本的模型信息中具有版本名称、类型,以及其他高级参数配置等约定。同一个模型可以训练多个版本,尝试不同的模型类型以及参数设置来调整预测效果,但同一时间只能选择生效其中一个版本。
系统支持丰富的分类分级模板,具备AI引擎根据模板更快、更准确的自动发现敏感数据并完成分类分级,对于多次任务扫描的结果提供变化标注,更快速便捷的感知敏感信息的变化情况。
在传统进行人工检查核对分类分级结果时,服务人员往往面临着大量重的字段标注,如本人姓名、当事人、从业人员等相同含义但内容不同的字段,容易导致服务人员的标注精力被重复消耗;为此,数据安全分类分级系统推出了基于聚类分析的梳理向导辅助功能,投入较少的人力即可完成大量的数据梳理工作;用户仅需修改单个类别的分类分级信息,即可覆盖其他相似字段/表的分类分级结果,可以在短时间便达到较高的整体梳理率。
展示分类分级任务的各种状态及信息,展示内容包含:任务名称、数据源名称、数据源类型、主机、发现结果、状态、次数、周期、创建时间、最新发现时间、操作。
需要在数据源管理内数据源同步之后,方可进行分类分级任务的执行,否则无法获取数据源相关数据,分类分级任务管理页中将不展示对应任务。对单个任务点击“执行”按钮进行任务执行,或勾选多个任务后点击“立即执行”进行批量的任务执行,
除了传统的执行规则方式来进行分类分级以外,可以使用有监督学习模型来完成分类分级自动打标。分为两种情况:1)使用内置的有监督学习模型,直接进行预测。2)自定义训练一个模型,然后进行预测。
任务分类分级结果具有批量导出功能。一个数据源一个Excel文档。批量导出时如有多个文件则压缩成zip;单个Excel文档的命名规范遵循“任务名_导出操作的时间”
分类分级任务查询,可以使用任务名称、数据源名称、任务状态进行查询
执行中的分类分级任务,可以手动终止,包括 单个任务、批量任务。
查看分类分级分析详情:可对不同状态任务进行查看,展示不同结果;分类分级图表展示:默认为关闭状态。仅当手动打开“图表展开”时才进行展示。具有“图表统计模式”、“手动梳理模式”这两种模式展示功能。
在报表页面具有分条件过滤展示、任务名称模糊搜索、分组展示已选与未选等功能。过滤条件中,展示所有“完成”状态的任务列表,可以根据任务名称模糊搜索、多选;为清晰展示哪些任务已选,需分组展示已选与未选。报表页中有不同的数据模块 包含:数据资产、性能占用、敏感数据资产表、分类分级结果、数据分级分布、数据库类型分布、个人信息、重要数据、行业通用数据;各个部分在一个页面中按顺序展示。
支持数据源,敏感数据和所选定的分级标准等多维度进行展示。支持分级概览,表列分布,级别分布等情况图标展示及详情展示,方便使用者了解数据资产的分布情况,同时提供对敏感列识别规则及分类分级信息修改功能。数据分类分级目录可与数据应用层防护系统进行API对接,如数据的细粒度访问控制,数据脱敏等,从而达到对数据进一步分级保护的目的。
数据源区域:数据源视角展示主要分为四个板块:1.数据源区域2.数据源概览3.数据源查询4.数据源信息列表。数据源概览:数据源概览展示字段为数据库、敏感表、所有字段、敏感字段、已梳理字段占比、表级别分布、字段级别分布。默认显示所有数据源的数据,选择特定数据源后,展示当前数据源的数据情况。
分类分级结果信息列表展示字段包含:数据源名、库别名、Schema、表名、表别名、行业模板、数据源名称、主机、字段数、敏感字段数、分级、是否梳理、已梳理占比、分类、操作,可以对字段的字段别名、识别字段、分级、分类结果进行人工确认与修正调整。
行业模板目录功能模块页面分为左右两个区域进行划分,左侧区域为多棵树,展示所有已添加数据源同步后所对应的模板。右侧增加一个开关“隐藏或展示空值”,默认隐藏空值,即对树形结构中没有数据的项做隐藏。
敏感数据目录模块具有“隐藏或展示空值”开关功能,默认隐藏空值,即对树形结构中没有数据的项做隐藏敏感数据的数据源区域会显示分类分级模块内的所有规则。
基于数据分类分级结果,提供对基线检测、敏感数据、漏洞扫描方面进行数据风险扫描与评估,掌握数据源存在的敏感字段分布占比以及评估存在的风险点。
任务列表展示字段包含:任务名称、数据源名称、数据源主机、风险评分、风险数、状态、更新时间、操作。
具有单个或多个任务扫描功能,默认扫描范围为基线检测、敏感数据、漏洞扫描范围可选择。
任务查询可以使用任务名称、数据源名称、状态进行查询,任务名称及数据源名称支持模糊查询。
对任务名称及检测范围等进行编辑操作。
图表分析具有展示漏洞、基线、弱密码三种风险及其数据源的排名情况等功能,列表内所有扫描已完成的数据会计算在该排名内,扫描失败的任务不计算在内。
数据安全最基础的要素是数据本身,广州市交通运输局交通数据资源与分析模型服务系统汇聚了海量的交通行业大数据,在对数据进行安全监测与防护过程中,实现对数据质量的监测与告警也是数据流转过程管理中不可或缺的一部分。建立数据质量监控能力,对广州市交通运输局纳入安全监管与防护的数据,配置监控规则以及定时任务,可查看表质量监控执行结果,结果异常自动发送告警通知,根据表监控结果对表质量进行不同等级的评价。
建立数据质量监测子系统,对数据完整性、准确性、及时性、唯一性各维度建立基于业务需求以及数据自身特点的灵活的监控规则,及时发现监测对象存在的数据问题并针对性分发告警信息给关注此数据的人员,让数据保障更高效,不断提升数据质量,为支撑上层业务应用提供稳定、高质量的数据赋能。
数据质量系统需要保障广州市交通运输局大数据平台的数据质量,以此支撑穗智管一体化平台、智慧交通、交通慧眼等广州市交通运输局重点信息化平台数据服务,并且在重大节假日、重大活动、重要演示等场景要提供24小时质量数据重点保障。
可对监控规则进行管理,可新增监控对象,选择监控规则进行配置定时执行监控任务,可查看监控结果。
可对数据质量监控规则模板进行新增、编辑管理,可从数据的完整性、准确性、唯一性以及及时性等维度,从表级、行级、字段级等监控粒度分类管理,可查看监控规则被监控任务引用的情况。
内置开发多种从数据的完整性、准确性、唯一性以及及时性等维度,从表级、行级、字段级等监控粒度的规则模板,更加方便数据监控管理人员对表的监控管理配置。
可对数据质量监控任务明细进行查看,可对数据质量监控任务进行编辑和批量删除管理,可控制监控任务的上下线。
可选择数据库表作为监控对象,关联监控规则,可灵活编写执行代码,配置执行结果的期望范围,执行结果期望支持对于具体阀值范围或者命中比例两种方式配置。
可通过配置定时任务的频次,开启与关闭数据质量监控任务。根据数据更新的频率等业务信息,配置合适的监控调度频率,实现对数据质量的定时监控。
可查看监控任务执行的结果,不符合期望范围的执行结果被标记异常状态,可查看详细的执行日志信息。同一个监控对象表支持配置多个监控规则,在监控数据体量比较大的情况下,同一个监控执行时间节点可能会对多张数据表进行同时监控判断,采用多节点分布执行,同时一个监控对象若配置了多个规则,只要其中一个规则执行异常则停止判断其他规则将该对象的监控结果判断为异常,避免监测链路阻塞,保障数据质量监控效率。
分析数据表质量规则引用情况,分析数据质量任务总数量、调度执行成功率、调度总数量、监控任务状态异常任务占比。
可配置告警通知频率、通知方式以及通知人员范围,可查看告警列表信息。
可配置开启或关闭监控告警功能,支持告警阀值与告警沉默通道的规则设置,从而控制告警的频次;可发送告警到通知组或单个用户,告警方式支持系统消息、短信、邮件等方式。通过配置告警沉默通道,可避免对于同一告警的反复告警提醒,让数据质量告警更有针对性,通过及时的告警通知,可让数据实施人员第一时间了解数据作业存在的问题,并根据告警通知的日志信息,辅助快速定位解决问题。
可配置告警通知组,将关注相同数据告警需求的多个用户配置到同一个告警通知组,实现按分组批量发送告警通知,提高了对告警通知对象配置的效率。
可查看通过各种方式发送的告警通知历史记录以及处理结果,支持对告警通知进行系统自动处理以及人工处理反馈,支持按照监控名称、监控对象、监控状态以及处理时间段进行告警信息查询。
通过系统消息、短信、邮件等方式向数据质量管理人下发数据质量告警,通过告警可以直观了解数据质量情况,异常类型和原因。
通过对表质量进行监控分析可监控结果分布情况,根据表历史监控结果,对比监测结果为异常的频次,以每个表的每月监测异常次数占比指标作为对数据表的质量评价基础,分不同的梯度对表质量进行评价,整体掌握数据资源质量状况,辅助对于质量较差的表进行溯源了解以及数据作业维护优化针对性工作。
通过对数据分析结果进行可视化报告输出,方便管理员掌握数据整体质量情况。
可通过对数据监控状态异常的任务,形成表问题列表,管理员分析后标记表质量问题类型。
表的相关负责人修复表的异常问题后,进行问题修复登记,记录表异常解决方案。
除了底层技术数据安全监测与防护能力的建立,还需要与现有广州市交通运输局大数据平台进行实施对接,建立在广州市交通运输局大数据平台数据应用层面的安全防护能力,以便充分保障广州市交通运输局大数据平台数据应用层面上的安全,包括不限于对用户在数据的服务调用、数据资源查看、数据搜索、数据分析等场景下的数据安全进行更细粒度的管控与防护,实现用户的分级与数据分级的数据安全使用相匹配,保障数据应用层面的安全。
新增数据服务防护功能,可以与广州市交通运输局大数据平台中数据共享服务系统进行深度对接整合,使其满足数据共享应用层安全防护要求。
可对服务应用进行管理,可配置各服务应用下的用户组成员以及数据源,数据源支持表级粒度的授权管控,可查看各应用已授权的接口服务清单。
服务应用管理提供了对于数据开发应用以及数据服务共享的应用进行统一管理,应用系统将纳入整个数据共享体系的各组织、各用户紧密的联系在了一起,通过应用所属的单位,应用授权的用户,应用所授权的接口服务等关联信息,能快速了解数据的归属、数据的分发、数据的服务等数据流转链路。统一的服务应用管理与授权,避免同一机构或者用户建立多个类似重复的业务应用,从而降低数据服务流转链路梳理的复杂度。
可对加密算法进行管理,支持国密算法,可对加密算法进行导入和导出,建立加密算法库,对算法密钥进行查看,若服务应用系统启用了加密防护并绑定了加密算法,则可在该模块查看引用了该加密算法的服务应用系统。
可通过开关控制是否启用对各应用的接口服务加密功能,开启后可选择加密算法并生成密钥。加密开通的配置,能够在保护接口服务数据安全的前提下,更能够适应目前广州市交通运输局支撑各内部以及外部应用系统的实际现状。
由于开启数据接口加密后,调用的应用系统也需要同步改造接口调用代码来适配接解密过程,为了不影响之前已经授权服务的应用系统业务正常使用,可对涉及到敏感数据的接口才开启加密。
对于敏感数据需要启用加密防护,支持对敏感数据的接口服务数据按照加密算法进行数据的加密处理防护与解密后的完整数据返回。目前支持对接口服务返回的数据进行整体加密与解密,加解密效果示例如下图:
可针对应用调用的服务开启接口限流,主要从数据返回的流量大小以及调用接口的频次两方面进行限制。针对单次请求返回数据量进行流量限制,比如一次最大返回10M的数据量,超出则接口进行超过流量提醒。
针对调用次数的限制,提供配置限流的策略,通过配置接口请求的间隔与阀值,可实现对应用调用接口的限流管控,防止数据接口被业务应用超出正常业务需求的高频调用行为,保护数据接口安全。接口限流的管控粒度控制到单个应用对象调用的单个接口,通过灵活的策略开启与关闭,适用于动态变化的业务需求与安全防护场景。接口请求次数限制场景如下图:
假设用户在0:19时间点访问接口,经检查其前10秒内访问次数为5次,则允许本次访问。
假设用户0:20时间点访问接口,经检查其前10秒内访问次数为6次(超出限流次数5次),则不允许本次访问。
支持对调用接口服务的应用启用加密防护,基于数据安全分类分级结果,采用对称加密算法技术,对敏感数据的接口服务数据除了调用的应用id以及授权密钥的认证,还需要输入与加密算法对应的解密密钥才能获取完整的接口数据。
支持主流对称加密算法,加密解密效率高,速度快,适合交通行业大数据的数据应用场景。通过数据加密技术防止接口恶意调用攻击以及数据泄露风险。
可对接口服务授权的期限进行管控,若授权的使用期限超出申请审批阶段的授权期限,授权密钥将到期自动失效。支持应用对过期的接口授权进行续期申请,审批通过后密钥将自动恢复有效,不会对应用系统调用服务产生变更与影响。对于服务期限的精细化管控,可适应于需要临时支撑的应用场景,提供差异化的授权周期服务,遵循即开即用,即关即停的原则,避免数据超期供应带来的数据泄露风险。
可针对不同应用进行接口开发平台的数据源以及数据表的权限管控,实现不同应用之间的数据隔离。各应用组下的开发成员,仅能使用应用下授权的数据表进行接口服务的开发,接口保存上线后会系统会自动分配密钥给该应用,实现应用组内自己开发接口自己使用的场景,且同一应用组下的成员可共同查看、编辑与调用开发的接口服务。支持将接口服务发布共享,其他应用可进行申请授权调用,实现接口服务的自主开发与赋能输出。
对接口开发代码输入页面防止SQL注入,仅允许操作select查询语句,每次只允许执行一条SQL,限制开发人员对于系统敏感变量的访问,采用有效的SQL防注入手段,保护数据服务对应的数据库数据安全。
支持对每个接口服务被各应用系统调用的趋势监控,可输入自定义日期段进行查询,支持按天、小时、分钟等不同时间细粒度查询条件,可查看被限流、已成功等不同调用状态的趋势统计,通过接口调用监控及时实现存在异常调用的应用以及服务,快速定位异常调用的时间线,减少接口数据泄露风险。
结合数据分类分级结果,对广州市交通运输局大数据平台中数据资源相关系统各个业务环节进行全面防护,使其满足数据资源管理应用安全防护要求。
除了对数据进行分级管控,对数据流转过程中相关的用户也需要进行分级。可对用户密级进行配置,用户的密级可分为公开、内部、敏感数据等不同的安全防护等级,不同密级的用户需要与数据密级匹配。
针对不同分类分级的数据资源,匹配用户的密级以及数据的脱敏策略,当用户密级比数据密级小时,将无法查看到该数据资源;当用户密级大于等于数据密级时,将可以查看到该数据资源,从而实现在保障数据访问安全的前提下对不同用户访问平台数据资源的差异化显示。
基于数据分类分级结果,可对敏感数据字段关联敏感数据标签,并将敏感标签配置对应的脱敏规则,实现管理对敏感数据字段的脱敏规则配置。常用的数据脱敏处理方式有关系映射、常量替换、随机替换、截断、泛化、浮动、掩码等。
基于数据所关联的脱敏标签以及脱敏规则,对数据表敏感数据字段的数值进行脱敏显示。交通行业数据敏感数据的主要字段为从业人员身份证、联系方式、住址、车牌号码、企业名称以及营业执照等基础监管主体对象信息,针对用户查看数据资源的场景,敏感数据也需要进行脱敏处理,以保障营运个体对象的隐私。
在数据展示层面的数据脱敏,主要采用动态脱敏的形式,通过动态配置与关联脱敏方案,实现对敏感数据的脱敏处理。
可通过灵活的后台配置,控制数据资源的展示条数,例如样例数据只访问20条,防止数据资源在平台展示层面的泄露风险。
支持对数据资源的发布与取消发布,发布后的数据资源才会显示在数据资产清单中。数据仓库中的数据表是全量且不规整的,通过数据治理形成可用的数据资产,针对数据应用需求场景以及数据分类分级结果,对可内部开放的数据资产清单进行发布,供广州市交通运输局内部以及外部相关各应用系统进行数据资产的申请与查看数据资源详情。
提供对数据资产申请的审批管控机制,数据需求方在平台申请数据资源需要明确数据交换方式、授权周期、应用系统名称以及申请附件资料证明,通过多级审批通过后,方能进行数据共享的实施工作。建立一套线上数据申请审批机制,并提供审批流程跟踪,避免在数据共享过程中的超范围共享。
对广州市交通运输局大数据平台中数据搜索平台相关功能进行安全能力保障,可以分主题、分用户进行数据权限控制,使其满足数据分析搜索应用安全防护要求。
可对主数据应用组进行管理,可配置各主数据应用组下的用户成员,可对应用组下可搜索的主数据主题进行配置管理,动态实现根据业务需求对相同主数据的不同应用用户检索数据的差异化安全管控。
基于给不同用户访问的主数据列表进行安全权限管控,在数据云搜环节对应匹配返回相应权限内的主数据搜索结果,实现用户仅能搜索和查看到权限范围内的数据内容,保障数据检索环节的数据安全。
主数据通过定时调度抽取到ES中,采用多索引联合搜索,在搜索返回环节进行用户权限判断,无权限的索引将不参与搜索,从而实现对不同权限用户的差异化检索结果返回。
支持对主数据搜索环节的字段进行是否展示的管控,且支持对字段值域进行动态字典翻译配置,可实现对核心或敏感数据字段进行快速屏蔽以及值域转换。
可对不同板块的全息图谱详情页的数据安全进行管控,用户通过云搜数据结果跳转到全息图谱详情页,无访问权限的用户将无法实现跳转。
对搜索到的敏感数据字段数据进行脱敏展示,保护各主题数据的例如人员身份证、车牌号码等隐私信息,避免数据展示层面的隐私泄露风险。
对广州市交通运输局大数据平台中的数据分析应用平台中数据权限、应用权限、分析组件权限、输出权限等进行全面防护,使其满足数据分析应用层应用安全防护要求。
可对系统的分析组件进行配置管理,支持对组件名称、前端组件以及排序进行配置,支持对分析组件的分类添加。通过对分析组件的配置,可实现面向用户的组件清单范围动态管控。
可对数据分析用户组进行新增、编辑管理,可给每个用户组分配用户,实现基于用户组对同一业务需求用户的数据安全进行批量管控。
可对用户组的可访问的组件权限进行管控,可通过组件分类进行批量授权勾选,支持对已授权、未授权的组件进行快速查询。
可对数据查询的数据库以及表级粒度访问进行安全防护管控,控制不同数据访问权限的用户对数据库数据的访问,避免在平台应用层的数据分析环节造成数据泄露。
可对数据分析结果输出写库环节进行数据库层面的安全管控,避免造成输出冗余不合规的数据分析数据,对数据库造成影响。
可对分享的数据模型进行安全管控,对于分享模型中涉及到的非权限内的数据进行修改限制,避免用户查看到权限以外的数据以及分析组件。
采用手工录入、批量导入等方式,对纳入安全监管的信息系统基础网络资产信息(包括主机、安全设备资产等)进行统一梳理和统计,以图表形式帮助数据安全主管人员整体掌握当前组织结构下,资产总量、系统数量、系统所使用的资产数量等信息,从不同维度对基础资产进行分析,帮助使用者直观、快速地掌握资产整体情况。
数据分级治理,始于数据资产梳理。数据资源管理模块可通过扫描用户的数据库表,可按照多种维度梳理并形成广州市交通运输局大数据平台的数据资源目录,并内置了敏感数据识别规则,可以有效识别敏感数据在系统内的分布情况,同时支持对数据库、表、字段的备注定义和分类打标,可根据数据价值和特征,对数据资源进行分类分级,从而落实对数据更为精细的安全管理措施。
采用手工录入、批量导入等方式,对用户的应用服务、接口进行统一梳理。对应用服务(如API接口服务、应用服务等)的流量和日志进行监测,对接口访问进行统计,结合业务规则对高频的访问行为进行及时的告警。对接口的健康状况进行实时监测,包括高延时、返回报错、404异常访问进行监测和记录,及时告警。
对数据库、应用、主机账号进行集中管理,并对账号权限进行梳理,关联到责任人基本信息、角色、单位,定义人员尤其是开发测试人员的合法数据操作权限范围,对其数据访问操作行为进行监督审核,确保相关人员,尤其是特权人员的操作及行为是否在权限范围内,操作是否合理合规,同时可对越权行为及高危操作进行告警和记录。
根据部门组织机构权限对部门进行统一管理,对每个部门建立部门的档案,档案内容包含部门的基本信息、部门下的系统情况分析、人员情况分析、网络资产分析、数据资产分析情况。
信息采集通过对接网络设备、数据安全设备、主机和应用系统数据日志进行全面的标准化处理,及时发现各种安全威胁、异常行为事件,为管理人员提供全局的视角,确保业务的不间断运营安全;信息采集通过基于标准化的关联分析引擎,为广州市交通运输局提供全维度、跨设备、细粒度的关联分析,透过事件的表象真实地还原事件背后的信息,为广州市交通运输局提供真正可信赖的事件追责依据和业务运行的深度安全。同时提供集中化的统一管理平台,将所有的日志信息收集到平台中,实现信息资产的统一管理、监控资产的运行状况,协助用户全面审计信息系统整体安全状况。
信息采集采取旁路部署形式,各类数据通过网络可多形式传输。整体由采集器、通信服务组件、关联引擎及代理组成。
(1)采集器
主要实现日志采集、日志解析与格式统一、日志预处理、完成日志向平台的传送等功能,被监控设备分为标准设备和非标设备;采集器主要完成标准设备日志的收集功能。把采集的日志数据过滤并转化为统一定义的标准数据格式;完成日志压缩和归并;
(2)通信服务模块
通信服务模块主要用于完成采集器与平台间的通信,将格式统一后的日志直接写入数据库并且同时提交给关联分析模块进行分析处理。通信服务组件可以接收多个采集器的日志;在平台尚未支持统一日志格式时,能够根据要求,将定义的统一日志转换为所需要的日志格式。
(3)预处理引擎
对于整个数据采集系统收集到的事件种类多,数量大,为了更有效地对这些海量的事件进行分析和处理,确保第一时间对各种存在的安全问题采取措施,平台必须具有强大的事件处理和分析功能。目前对实践进行处理和分析最有效的方法就是做事件的关联。包括实时进行关联分析、跨设备关联分析、基于事件因果关系、事件安全要素、跨协议层、多层架构、时间回溯以及关联结果的回放等内容。
(4)终端采集器
采集器主要完成非标准设备的安全日志采集,采集器采集到日志信息后,通过SYSLOG日志发送给采集器。主要包括文件型、数据库型、API型的开发工作,至少支持windows主机日志及性能采集;支持通过SNMP Get方式对主流安全设备、网络设备的性能数据采集;IIS、Apache web服务器日志收集;数据库日志采集。
根据采集器的配置,日志信息接收模块可以监听在相应的端口上。收到相应的数据报文后,转换为相应的格式标准,并且附加上来源地址信息。如果有必要,需要对收到的报文中文本信息进行正确的解码处理,保证不出现乱码现象。
接收到的原始日志信息,经过解析规则的模式匹配,提取出直接信息和非直接信息,最终就得到了解析后的通用事件。日志信息解析模块启动的时候,需要首先进行规则库的加载,加载各种日志格式的解析、映射定义。加载完成后,才能进行日志的解析处理。当原始日志无法匹配规则库中任何一个规则时,就会生成一个未识别日志信息。用户收到未识别日志信息后,应该更新规则库,以支持这种日志格式。
完成解析后的通用事件,可以根据规则库,进行标准化处理。标准化主要是对解析后的日志,根据标准化的通用事件格式,对各个标准化字段,进行信息的直接映射、非直接映射处理。映射处理基于预先定义的标准。标准基于对安全领域的技术、威胁、模式以及网络层、应用层的抽象。标准化过程,也会进行字段的格式处理,如时间戳的format、locale的处理。经过映射处理后,就得到了最终的通用事件。
采集器为了消除不必要的日志事件,或者去掉不重要的日志事件,可以设定过滤规则。任何标准化完成后的通用事件,都会经过过滤规则匹配。当满足匹配后,此事件就会被过滤,直接过滤掉,不会进入后续模块进行处理。当不满足匹配,此事件就不会被过滤,直接进行后续模块处理。
采集器为了减少重复日志事件的数量,会在处理流程中,通过设定一个聚合周期、聚合规则,对于在聚合周期内,所有满足聚合规则的事件,进行聚合处理,得到聚合事件。聚合事件中的事件计数字段,会记录本次聚合的源事件的数量。聚合处理不会影响后续关联分析等处理。
为了实现日志缓存的需求,需要对队列进行持久化处理。采集器日志缓存基于状态驱动。当队列的空闲状态较低时,超过最低阈值后,会触发回写模块,把内存队列中的事件持久化到设备磁盘系统上。当队列的空闲状态较高时,超过最高阈值后,会触发加载模块,把磁盘系统上持久化的数据,加载到内存队列中。
为了实现状态检测处理,需要维护每个资产的状态信息。当收到设备的原始日志后,会更新此设备的事件计数、最后活跃时间等信息。当状态检测周期到达后,采集器会把每个设备的状态信息组装成心跳事件,上送给上层设备。
通信服务组件接收各个采集器上发的通用事件,汇总后进行存储。通信服务组件处理收到的心跳事件,更新对应资产的心跳状态,并持久化心跳信息到数据库中。通信服务组件处理配置同步请求。当用户或管理员在界面上新增、删除、修改了客户、资产、规则库后,通信服务组件应该能够把这些改动同步到各个连接的采集器上。
关联引擎从接收到的通用事件中,基于关联规则,发现关联事件。关联事件包括各个原始事件列表。关联引擎产生的关联事件,能够支持入库接口,进行持久化处理。关联引擎支持自定义的关联规则,支持规则的启用、禁用。
当某些设备无法主动发送SYSLOG日志或者由于配置等原因(如不允许直接网络访问)的时候,在目标对象主机上部署一个轻量级的代理进程,用于主动抓取日志。探针采集到日志信息后,通过SYSLOG日志发送给采集器。
面向业务场景或复杂的数据流转场景,根据数据的流向,利用数据流节点,采用简单的元件拖拽、连线的操作方式对其数据流转进行可视化的拓扑配置和统一管理,基于业务需求对其节点及节点之间的数据流转设置监控策略。基于业务的数据流转拓扑作为数据、业务和人员安全监控的参考基线,包括节点对象的访问量、访问流量、访问速率、请求延时、异常访问和敏感数据访问的监控。
经过业务建模后可直观展现出该业务场景下敏感数据流动安全的情况。主要由数据库异常TOP、API访问异常TOP、权限身份异常访问TOP、数据流动实时风险监控等几部分组成。
针对数据流转场景下某个单一节点的上下跳进行合规定义,识别和发现一些恶意攻击和潜在的风险问题,以达到提前预警的能力。用户根据自身业务特性,可通过【规则匹配】、【规则抽取】、【规则统计】、【规则判断】四大引擎编排内容,对来源目标、标签等因子的自由定义组合成规则,再针对不同场景匹配不同规则组合形成对请求端信息、访问请求、行为特征,目标端所返回的数据量、数据敏感度等进行管控的针对性策略,灵活自定义数据安全场景规则,变动告警阈值和告警生效节点。
(1)规则匹配引擎
设置规则匹配引擎,日志解包后,利用规则匹配从网络或数据报文中匹配数据安全事件的关键因子,判断报文中是否含有某些关键字段,包括但不限于:
HTTP类型:源IP、源IP标签、源IP所属系统、源IP所属部门、HTTP协议版本、HTTP请求URL、接口组、接口标签、HTTP Refer、来源用户名、目的IP、目的IP标签、目的IP所属系统、目的IP所属部门、目的端口、HTTP请求域名、目的用户名、规则ID、告警等级、应用协议、流量方向、HTTP请求方法、HTTP响应码、HTTP响应体、敏感等级、敏感数据类型、平均执行时长等。
SQL类型:源IP标签、源IP所属系统、源IP所属部门、源主机名、来源用户名、数据库用户名、数据库用户名组、客户端工具名、操作系统用户名、目的IP、目的IP标签、目的IP所属系统、目的IP所属部门、目的端口、数据库名/实例名、表名、字段名、SQL模板ID、SQL组、SQL标签、规则ID、告警等级、应用协议、流量方向、返回码、操作类型ID、敏感等级、敏感数据类型、影响行数、平均执行时长等。
(2)规则抽取引擎
一旦报文内容与关键因子匹配完成,告警内容需要使用规则抽取引擎抽取与匹配因子相关的和具体字段值,支持解析json、xml等多种格式请求,抽取请求报文中的源端信息如源端IP、源端主机名、源端设备类型、请求协议与方法等信息;响应报文中如身份证、电话、用户名等敏感数据类型字段、影响行数、执行时长等信息,完成告警信息的预处理,以方便进行下一步统计判断。
(3)规则统计引擎
规则统计引擎基于数学统计方法开发,在一个周期内(如分钟、小时、天),对规则抽取完成的字段采用Kohonen聚类、K-means聚类、线性回归、Logistic模型、关联统计等方法进行计算统计,形成安全事件。
(4)规则判断引擎
规则判断引擎根据统计结果进行危险程度判断,用于安全事件的定性。判断标准可以自由定义阈值,也可由AI算法想学习生成规则基线,一旦到达规则设定的判断阈值或者基线值,最终生成风险事件。
支持多种针对数据安全的场景化事件规则模型,包括但不限于登录爆破、撞库、账号共用行为、数据泄露事件、敏感数据访问事件、越权请求事件、接口异常事件、业务异常事件。通过内置模型可以发现大量和敏感信息查询及返回风险、数据服务登录爆破风险、多人共用账号风险、特权账号越权操作风险等多种数据安全场景特有的复杂安全事件。
对探针发现的、平台规则生效检测出告警事件进行统一管理并提供各维度的查询功能。
(1)海量数据高速检索
经过预处理之后的安全数据以结构化的形式分布式存储在系统大数据库中,对外提供数据查询与统计服务,从而实现海量数据检索与挖掘。
对安全告警的分类检索。支持数据搜索输入框,可输入关键字包括不限于设备IP、日志发生时间、原始信息等进行检索;支持输入时间段、表达式等条件进行检索;支持快速选项卡检索;可指定多个查询条件进行组合查询;搜索结果以列表方式实现清晰展示,可在前端页面直接导出检索结果。
(2)丰富的规则库支持
支持各种数据安全事件告警,包括越权访问、越权操作、业务异常、敏感数据访问、账户隐患、数据泄漏、敏感数据大量返回、数据遍历、暴力破解、SQL注入、漏洞攻击、违规应用、弱口令风险、明文传输风险、HTTP配置风险、数据库配置风险、登录异常、行为异常、web攻击等。
(3)告警事件聚合
从安全事件视角对所有安全告警进行事件聚合,对某一类高发的数据安全事件进行名称、类型、告警等级、告警次数、处理状态等维度的统计合并,避免多次重复告警。
以资产和漏洞为视角,结合内部管理制度和流程,通过内置工单系统,实现资产弱点的全生命周期管理。通过弱点标准化引擎,资产对扫描器扫描发现漏洞、安全服务人工渗透漏洞、内部运维人员发现漏洞、互联网公布漏洞等不同的漏洞进行统一管理。扫描能力如下:
具体见招标文件