TAII 002-2021 基于人工智能的未成年人不良信息审核技术要求.docx

《TAII 002-2021 基于人工智能的未成年人不良信息审核技术要求.docx》由会员分享，可在线阅读，更多相关《TAII 002-2021 基于人工智能的未成年人不良信息审核技术要求.docx（16页珍藏版）》请在第一文库网上搜索。

1、ICS 35.240L 70团 体 标 准T/AII 002-2021基于人工智能的未成年人不良信息审核技术要求Technical Requirements for Artificial Intelligence-basedJuveniles Harmful Information Audit2021-11-02 发布2021-11-15 实施深圳市人工智能行业协会 发布前言U引言Ill1范围12规范性引用文件13术语和定义14缩略语25基于人工智能的未成年人不良信息审核系统架构26未成年人不良信息载体26. 1文本类36.2图像类36. 3视频类36. 4音频类36. 5文件类36. 6UR

2、L 类37未成年人不良信息分类体系37. 1未成年人主体敏感内容47.2未成年人不宜内容58人工智能审核算法81.1 计算机视觉技术81.2 自然语言处理技术91.3 语音信号处理技术99人工智能机器审核评估准则99 . 1预评估99 . 2效果评估910 3性能评估1110未成年人不良信息审核流程1110 . 1人工智能机器审核流程1211 .2人工审核流程1212 .3机器审核同人工审核的配合流程12本文件按照GB/T 1. 1-2020标准化工作导则一第1部分：标准化文件的结构和起草规 则的规定起草。本文件由深圳市人工智能行业协会提出并归口。请注意本文件的某些内容可能涉及专利。本文件的发

3、布机构不承担识别专利的责任。本文件负责起草单位：腾讯科技（上海）有限公司、深圳市腾讯计算机系统有限公司、 深圳市人工智能行业协会、平安科技（深圳）有限公司、深圳市华赛睿飞智能科技有限公 司、厦门大学、上海计算机软件技术开发中心。本文件主要起草人：闵晓晴、鄢科、黄飞跃、杨红、王翔、郎丽艳、王辉、钱丽玲、 林必毅、孙凯、侯翠琴、纪荣蝶、孙晓帅、陈敏刚。本文件为首次发布。在互联网的使用者当中，未成年群体颇受关注，加强未成年人群网络保护、减少网络有 害信息对未成年人的不良影响已成为社会共识。据共青团中央维护未成年权益部、中国互联 网络信息中心（CNNIC）于2020年5月联合发布的2019年全国未成年

4、人互联网使用情况研究 报告显示我国未成年网民规模为1.75亿，未成年人互联网普及率达到93. 1%,其中46%的未 成年网民曾在上网过程中遭遇过各类不良信息，包括淫秽色情、血腥暴力等内容。网络不良 信息不仅严重影响未成年心理健康，甚至可能成为诱发犯罪的重要因素，对未成年人不良信 息的审核迫在眉睫。随着人工智能技术的发展，目前市场上有一批互联网不良信息审核产品，如腾讯、阿里、 百度等互联网公司在各自的云开放平台上都推出了不良信息审核能力，以及网易易盾、数美、 中国移动等也开发了不良信息管控系统。基于人工智能的不良信息审核系统可以大大减少人 工成本开支，提高审核效率。但是这些审核平台都聚焦于一般的

5、不良信息审核场景，缺少对 未成年不良信息的专项审核，存在一定的审核能力真空地带。此外，如何去界定未成年人不 良信息目前也没有一个明确可参考的标准。本标准以净化网络空间色情低俗、暴力欺凌等危害未成年身心健康的不良信息为目标， 提出基于人工智能的未成年不良信息审核标准，明确审核架构、审核信息载体、未成年人不 良信息的范围和细分类别、基于人工智能的审核算法评估标准以及审核流程。本标准覆盖范围包括未成年人在互联网中接触到的包括社区、论坛、社交媒体、聊天应 用、网站、博客、短视频、直播、视频点播、流媒体、云盘、网盘、电台、游戏等各个场景。 归纳的信息载体包括载体文本、图像、视频、音频、文件与URL六大类

6、。本标准定义的年人 不良信息可以分为两大类：未成年人主体敏感内容与未成年人不宜内容。未成年人主体敏感 内容指对以未成年人为行为主体的敏感内容进行鉴别与拦截，可细分为四个二级类目：未成 年人色情低俗、未成年人个人隐私、未成年人暴力欺凌与未成年人不良行为。未成年人不宜 内容对未成年人不宜接收的信息进行过滤，可以细分为三类二级标签：未成年人不宜行为、 未成年人有害信息和未成年人不宜ACG。本标准规范的机器审核评估准则分为预评估、效果 评估和性能评估，并给出了详细的评估细则和流程。本标准规范的未成年人不良信息审核流 程应采用以人工智能机器审核为主，人工审核为辅的审核方式，可以配合达到最优的审核效 果。

7、本标准通过对未成年人不良信息的细化分类，可以引导从事相关业务的单位有针对性地 对不同类别进行管控，以达到更好的审核监管效果。同时，本标准的提出也有利于上级监管 部门与不同公司在统一的审核类目下进行评测对比。规范化的基于人工智能的未成年人不良 信息审核流程的提出也有利于对审核流程进行标准化，促进未成年人网络安全保护往更加通 用化、有序化的方向发展。基于人工智能的未成年人不良信息审核技术要求1 范围本标准给出了基于人工智能的未成年人不良信息的定义和特征，并从信息载体、分类体 系、评估准则与流程规范等方面给出了针对未成年人不良信息审核的技术要求。本标准适用于提供和接入未成年人不良信息管控的业务。本标

8、准覆盖范围包括未成年人在互联网中接触到的包括社区、论坛、社交媒体、聊天应 用、网站、博客、短视频、直播、视频点播、流媒体、云盘、网盘、电台、游戏等各个场景。2 规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适 用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。中华人民共和国未成年人保护法中华人民共和国网络安全法网络信息内容生态治理规定（国家互联网信息办公室令第5号）3 术语和定义下列术语和定义适用于本文件。3.1机器审核 Mach i ne Rev i ew依托人工智能技术对不良信息进行计算机自动化审核方案。3.2人工审核

9、 Manua I Rev i ew采用人工的方式对不良信息进行审核方案。3.3精准率Prec i s i on精准率是指算法预测正确的结果占召回样本的百分比。在基于人工智能的未成年人不良 信息审核中是指机器审核认为是不良信息中正确的结果占比。3.4召回率 RecaI I召回率是指在实际为某种类别的样本中被预测为该类别样本的概率。在基于人工智能的 未成年人不良信息审核中是指实际为不良信息的样本中被机器审核认为是不良信息的样本 占比。3.5误检率 False Alarm Rate误检率是指误判为违规的样本与正常样本的占比。在基于人工智能的未成年人不良信息 审核中是指在所有正常审核信息中被误判为不良

10、信息的占比。3.6漏检率 Missing Accept Rate漏检率是指漏检为正常的样本与违规样本总数目的占比。在基于人工智能的未成年人不 良信息审核中是指在所有违规审核信息中被漏报为正常信息的占比。4 缩略语下列缩略语适用于本文件。URL：统一资源定位符(Unife)rm Resource Locator)ACG：动画、漫画与游戏(Animation、Comics and Game)OCR：光学字符识别(OPtiCal Character Recognition)ASR： 自动语音识别(AutomaticSpeechRecognition)QPS：每秒查询率(QUeryPerSeCOnd)

11、5 基于人工智能的未成年人不良信息审核系统架构为了保护未成年人上网安全，依托人工智能算法技术的发展，图1展示了基于人工智能 的未成年人不良信息审核系统。针对文本、图像、视频、音频、文件、链接等审核信息载体，根据未成年人不良信息分 类体系标准，采取以人工智能机器审核为主，人工审核为辅的审核模式。人工智能机器审核 对未成年人不良信息进行分类、过滤和处理，针对算法无法判断的消息内容，交由人工进行 进一步多轮审核判断。根据审核结果来调整审核运营策略。运营策略根据政策监管导向而实 时动态调整，并反馈到审核系统中。A于人工曾籍的未视年人不艮信息审慎系随A“年人事A廿玲AraM t ttAXtM朱隼人不定M

12、C图1基于人工智能的未成年人不良信息审核系统架构框图6 未成年人不良信息载体未成年人不良信息的载体多种多样，有各类传输形式，按照类型划分可以分为文本、图 像、视频、音频、文件与URL。6. 1文本类文本类是指信息传播过程中以文本为信息载体进行传播。文本类信息广泛出现在社区、论坛、社交媒体、网站、博客、游戏等多种渠道，具有应 用场景广、占用空间小、传输速度快等特点。在审核过程中，也存在语言多变、表达方式多 样等审核难点，是未成年人不良信息审核的重要信息载体。6.2图像类图像类是指信息传播过程中以图像为信息载体进行传播。图像类信息广泛出现在社交媒体、图库、在线杂志、论坛、网站等多种渠道，通过可视

13、化的内容极大的提高了用户体验的同时，也隐藏着危害未成年人的巨大风险。在审核过程中， 图像类的非结构化属性和语义特征是基于人工智能的未成年人不良信息审核的难点。6. 3视频类视频类是指信息传播过程中以视频为信息载体进行传播。视频类信息随着直播、短视频、流媒体的发展得到了广泛的传播。与此同时，视频类不 良信息量级大、类型丰富多样，加剧了未成年人视频内容监控的难度。6.4音频类音频类是指信息传播过程中以音频为信息载体进行传播。随着网络传输速率的高速发展，音频的数据交互越来越多地应用到了各个领域，即时聊 天应用、流媒体、在线电台、游戏等应用中。音频类信息使用门槛低，面向人群丰富，不良 信息扩散快速便捷

14、。6.5文件类文件类是指信息传播过程中以文件为信息载体进行传播。文件类信息在云盘、网盘等在线存储领域广泛存在，文件形式包括word, pdf, excel, ppt, html, txt, Xml等，还包括zip, rar, tar. gz等压缩包文件。文件类信息一般扫描识 别判定难度较大、时间较长，存储并传播不良信息的数量级较大，对未成年人的不良影响较 大。6. 6 URL 类URL类是指信息传播过程中以链接URL为信息载体进行传播。通过对链接URL进行解析，可以获得对应的文本、图像、视频、音频、文件等信息再进 行信息审核。7 未成年人不良信息分类体系为了给未成年人营造绿色上网环境，基于人工

15、智能的未成年人不良信息审核技术助力企 业建立完善长效的涉未成年人网络内容治理机制。在此需要明确需要审核的未成年人不良信息的分类体系。未成年人不良信息可以分为两大类：未成年人主体敏感内容与未成年人不宜 内容。7. 1未成年人主体敏感内容未成年人主体敏感内容审核指对以未成年人为行为主体的敏感内容进行鉴别与拦截，包 括儿童色情，校园暴力，未成年人犯罪等内容识别。具体来说还可以细分为如下四个二级类 目：未成年人色情低俗、未成年人个人隐私、未成年人暴力欺凌与未成年人不良行为。表1未成年人主体敏感内容二级类目二级类目描述细分类目定义审核信息 载体未成年 人色情 低俗未成年人色情低俗包括但不限 于如下内容：未成年人大尺 度照片，直接暴露人体性器官 或表现性行为的动作、姿态等； 未成年人低俗性感、带有性 暗示、性挑逗或者隐讳展现性 行为、性过程的内容；未成 年人性侵犯，包括对未成年人 的强奸和骚扰等。未成年人性侵犯画面、文字、音频中表现未成年人 性侵犯行为，包括对未成年人的强 奸和骚扰等。文本、图像、视频、音频、文件、URL未成年人性行为画面、文字、音频中