生态环境数据质量监督检查规范.docx

《生态环境数据质量监督检查规范.docx》由会员分享，可在线阅读，更多相关《生态环境数据质量监督检查规范.docx（10页珍藏版）》请在第一文库网上搜索。

1、生态环境数据质量监督检查规范1适用范围本规范规定了生态环境大脑数据资源中心与省市县生态环境部门的数据质量管理要求。本规范适用于生态环境系统数据的质量监督检查工作。2规范性引用文件下列文件对于本规范的编写是必不可少的依据。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。公共数据条例GB/T25000.12-2017系统与软件工程系统与软件质量要求和评价(SQUaRE)第12部分：数据质量模型GB/T25000.24-2017系统与软件工程系统与软件质量要求和评价(SQUaRE)第24部分：数据质量测量GB/T36344-20

2、18信息技术数据质量评价指标3基本原则(1)权责明确原则：各部门之间的职责和权限边界清晰，各司其职，各尽其力，共同推动数据质量管理有序进行。(2)统一规范原则：各部门的数据质量管理过程，应符合生态环境数据标准体系框架内的相关标准和规范。(3)全程监管原则：建立涵盖数据采集和归集、数据检查、数据维护的全过程监管体系，确保数据全生命周期的规范、完整、及时、一致、唯一、有效。(4)持续改进原则：数据质量管理是一个动态长期过程，遵循PDCA(策划-实施-检查-处理)理念，逐步、持续改进数据质量。4.术语及定义4.1 数据质量在指定条件下使用时，数据的特性满足明确的、隐含的要求。4. 2数据质量管理对数

3、据全生命周期各个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使数据质量维持在较高水平。5. 3数据归集指数源单位将依法履职过程中采集和产生的数据根据数据管理要求集中传输到生态环境大脑数据资源中心的行为。6. 4数据检查对数据的规范性、完整性、及时性、一致性、唯一性、有效性等特性进行质量检查的行为。7. 5数据维护对已经存储于数据库中质量不合格数据进行整改的行为，如字段状态或属性更正。5.评估维度数据质量评估维度是数据质量的评估标准和定义约束规则的依据。根据业务需求，参考GB/T25000.12-2017国家标准，本规范选取以下生态

4、环境数据评估维度。5.1 规范性规范性(NonnaIiZation)是在特定的使用环境中，数据具有正确地表示一个概念或事件的相关属性真实值的属性的程度。数据的规范性需要将数据与其所描述的实际对象比较，数据应符合业务规则和统计口径。5. 2完整性完整性(Comp1eteness)指在特定使用环境中，与一个实体相关联的主题数据具有所有预期属性值和相关实例值的程度。该维度用于度量哪些数据是缺失的或者哪些数据不可用。5. 3及时性及时性(Currentness)指在特定的使用环境中，数据具有表征其正确寿命的属性的程度。由于数据的数值随时间而不断变化，因此该维度的评估检查需要贯穿数据全生命周期。5. 4

5、唯一性唯一性(Uniqueness)指数据或者属性的重复程度。保证唯一性能避免数据冗余，同时也减少了出现数据不一致的潜在可能性。8. 5一致性一致性(COnSiStenCy)指在特定的使用环境中，数据具有表征其与其它数据无矛盾且连贯的属性的程度。该维度是对不同数据仓库、应用和系统中所存储或使用信息等价程度的测量，以及使数据等价的处理流程的测量标准。满足一致性是不同系统间数据集成的基础。9. 有效性有效性(AVaiIabiIity)一般指范围有效性、日期有效性、形式有效性等主要体现在数据记录的规范和数据是否符合逻辑。10. 责分工10.1 据综合管理单位监信处为数据综合管理部门，负责统筹规划、协

6、调推进、监督指导各处室(单位)及各市、县生态环境数据管理工作,主要职责如下：(1)制定全省生态环境数据质量管理的相关规章制度;(2)对数据技术管理部门、数源单位和数据使用单位的履职情况进行监督、评估；(3)对违反数据质量管理规定，造成数据错误、失真、延误、遗漏等后果的行为责令整改。7. 2数源单位数源单位根据业务职能产生某类数据，是该类数据的质量管理责任部门，主要职责如下：(1)遵守生态环境数据质量管理的相关规章制度；(2)负责职责范围内所采集和归集数据的更新、维护等工作；(3)当数据发生变更时，应及时通知数据综合管理部门、数据技术管理部门和数据使用单位。涉及数据结构变化的，应对变更后所涉及到

7、的业务情况提供解释；(4)及时整改数据质量检查中指出的以及数据使用单位反馈的数据质量问题；(5)定期开展本部门数据质量自查工作，及时发现、解决数据质量管理中出现的问题。7. 3数据技术管理部门生态环境监测中心为数据技术管理部门，负责生态环境数据质量监管的技术工作，主要职责如下：(1)遵守生态环境数据质量管理的相关规章制度；(2)协助数源单位和使用部门完成数据采集、归集及维护工作；(3)配合数据综合管理部门共同建立数据质量评估体系，积极开展数据质量检查工作，督促各部门的质量管理工作；(4)实施数据质量检查、实时监测和全面评价，负责数据资源中心的数据质量校核和质量约束规则库维护；(5)及时向数源单

8、位通告出现的数据质量问题，并督促其解决；(6)定期向数据综合管理部门报告数据质量管理执行情况。7. 4数据使用单位数据使用单位主要职责如下：(1)遵守生态环境数据质量管理的相关规章制度；(2)校核共享数据的数据质量。在使用数据过程中，发现数据不满足原需求或存在数据质量问题，及时向数源单位反馈，配合数源单位进行数据维护。8数据采集和归集1 .1质量管理流程数据采集和归集过程中的数据质量管理由数源单位负责，数据技术管理部门协助。8 .2实施细则(1)数源单位根据数据综合管理部门制定的标准规范,加强对人员的管理、工作情况监督和培训，对数据进行清洗加工以及标准化之后再进行归集工作，确保数据归集符合各项

9、要求。(2)当数据发生变更(包括不限于以下情况：数据结构、数据长度、数据类型、字典表、验证逻辑变化等情况),数源单位应提前通知数据综合管理部门解释变更后的业务情况，再由数据综合管理部门进一步依据数据使用情况同步通知到数据技术管理部门和数据使用单位。数源单位还应配合数据技术管理部门进行原数据集成接口调试，保障数据集成服务能继续正常运行。(3)数据技术管理部门负责接入数据资源中心数据的校核，做好数据检查、情况反馈、督促整改、采集入库等工作。9 .数据检查9.1 检查方法(1)人工使用数据管理工具定时核查数据质量问题；(2)数据库及系统程序的自动化控制措施，实时或定期监测关键数据的质量；(3)其它数

10、据检查方法。9.2检查规则9.2.1规范性规范校验要求如下：(1)要求指定进行规范校验的库、表、校验字段；(2)判定数据是否满足规范性的要求。示例：污染源基本信息中电话号码、邮箱、统一社会信用代码等规范检查，比如电话号码必须多少位，统一社会信用代码位数要求，或是对污染物的监测值的小数位数检查。9. 2.2完整性引用完整性校验包括对污染源编码、行政区、流域、行业等公共代码及其他外部引用关系的校验，要求如下：(1)要求指定引用完整性的库、表；(2)要求行政区、流域、行业等公共代码满足相关国标、行标要求；(3)污染源编码、排口编码遵循排污单位编码规则HJ608-2017中相关规定;(4)以表为单位，

11、依据相关规范(参见规范性引用文件)，对公共代码字段进行规范符合性检查，若公共代码字段均遵循规范，则公共代码合规；示例：对建设项目业务数据表污染源编码、行政区、流域公共代码等进行合规性校验，如果满足规范，则合规，反之，说明建设项目数据不符合完整性规范。9. 2.3及时性更新及时性校验要求如下：(1)要求指定进行及时性校验的库、表；(2)将数据生产频率与数据表中最新时间比较，如果最新时间满足数据生产频率特征，则满足数据更新及时性要求。示例：污染源监测数据的更新频率为小时，早晨10点查询最新时间应为8点的数据，则不满足及时性要求。9. 2.4唯一性数据唯一性校验要求如下：(1)要求指定进行数据重复校

12、验的库、表；(2)要求指定用于重复判定的字段组，并表征每条数据的唯一性；(3)判定是否有两条或两条以上字段组内容完成相同的数据，如果有，则存在重复数据。示例：污染源在线监控数据，企业编码、排口编码、监测时间、污染物编码4个字段构成一条监测数据的唯一性，如果有两条数据这4个字段值完全相同则数据重复。9. 2.5一致性源端、目标端在数据量、最新时间的一致性校验，要求如下：(1)要求源端提供所交换数据字典、字段项说明；(2)结合源表名、源表时间戳字段、目标表名、目标表时间戳字段等；(3)以表为单位，进行源端、目标端数据库中数据条数和最新时间的比对，条数、最新时间一致，则该表满足一致性要求。示例：源库

13、建设项目基本信息表中数据交换前统计为IOO条，交换至数据资源中心后统计也为100条，且数据最新更新时间一致，则满足一致性要求。9. 2.6有效性有效性校验要求如下：(1)要求指定进行规范校验的库、表、校验字段；(2)判断字段值之间是否满足一定逻辑规则。示例：环评审批信息的受理时间和审批时间，如果受理时间大于审批时间，则不满足有效性要求。9. 3实施细则(1)数据技术管理部门按照“多源校核、动态更新”的原则，依据数据质量评估维度制定约束规则库，并配置到数据质量管理工具；数源单位有义务配合数据技术管理部门制定数据质量检查的业务规则；(2)数据技术管理部门采用全检或抽验的方式对接入数据进行质量检查，

14、形成数据质量报告，督促数源单位及时整改维护质量不合格数据；(3)建立数据质量可追溯机制，并保持上述质量检查的全部证实性记录；(4)当数据发生与数据质量有关的业务或技术变更时,数源单位需要通知数据技术管理部门进行对应的数据质量检查规则变更。10数据维护10.1维护内容(1)数据更正，包括但不限于对数据的错误、失真、延误、遗漏等情况的补全与纠错；数据补全，根据客观事实按照通用标准明确业务流程、数据描述主体和补充缺值信息；数据纠错，根据“一数一源”要求明确数据来源，校准数据内容；(2)数据标准变更，包括但不限于数据长度、数据类型、数据范围、字典表、验证逻辑等；(3)数据结构或接口变更；(4)数据质量

15、约束规则库的维护。10. 2实施细则(1)数据维护前应做好数据和系统的备份工作；(2)数据使用单位在数据使用过程中，应建立相应措施和机制，对所用数据质量进行评价，及时向数源单位反馈质量问题，反馈表参见附1;(3)数源单位应在收到问题通知后的5个工作日内，对数据问题进行整改，并向数据技术管理部门反馈，数据质量问题处理流程参见附2；(4)数据维护人员在进行数据维护时，必须认真负责,避免在数据维护过程中产生新的错误数据；(5)数据维护工作应严格备案，数据技术管理部门对各部门报送的数据维护的时间、内容、原因、责任人等记录进行备案，涉及的书面材料登记存档。11数据质量评估(1)数据综合管理部门会同数据技术管理部门建立数据质量评估体系，积极开展数据质量评估工作，督促各部门的质量管理工作；(2)数据技术管理部门应从规范性、完整性、及时性、一致性、唯一性、有效性六个评估维度对各部门数据质量进行评估；(3)数据技术管理部门应根据约定的质量检查规则，保持每月一次的频率对各数源单位的数据质量进行评估并出具数据质量报告；(4)评估发现的数据质量问题应通知数源单位及时进行整改。