人工智能安全框架 （2020 年） 中国信息通信研究院安全研究所 2020 年 12 月 1 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。 转载、摘编或利用其它方式使用本报告文字或者观点的，应 注明“来源：中国信息通信研究院”。违反上述声明者，本 院将追究其相关法律责任。 牵头编写单位：中国信息通信研究院安全研究所 参与编写单位：北京瑞莱智慧科技有限公司 北京百度网讯科技有限公司 腾讯科技（深圳）有限公司 三六零安全科技股份有限公司 中国科学院信息工程研究所 编写组成员：魏亮、魏薇、景慧昀、彭志艺、张旭东、 董胤蓬、王海棠、唐佳伟、邹权臣、张德岳、杨勇、刘水生、 马多贺、徐世真、唐家渝、萧子豪、吴月升、黄超、唐梦云、 陈昊、郝利民、孙振强、曹亮、刘昭、钱佳宇、周川、陈凯 前 言 人工智能作为引领新一轮科技革命和产业变革的战略性技术，正 成为世界主要国家推动科技跨越式发展、实现产业优化升级、赢得全 球竞争主动权的重要战略抓手。随着全球人工智能规模化建设和应用 加速，人工智能基础设施、设计研发以及融合应用面临的安全风险日 益凸显。世界主要国家纷纷通过制定人工智能伦理准则、完善法律法 规和行业管理等方式开展人工智能安全治理。人工智能安全技术体系 是人工智能安全治理的重要组成部分，是落实人工智能伦理规范和法 律监管要求的重要支撑，是人工智能产业健康有序发展的重要保障。 人工智能安全框架是构建人工智能安全技术体系的重要指南，旨 在为人工智能相关企业循序渐进提升安全能力、部署安全技术措施提 供指导。在工业和信息化部网络安全管理局指导下，中国信息通信研 究院联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编制《人 工智能安全框架（2020 年）》蓝皮书。本蓝皮书针对全球人工智能 安全框架缺失问题，凝聚业界专家共识，聚焦当前人工智能突出安全 风险，提出涵盖人工智能安全目标，人工智能安全分级能力，以及人 工智能安全技术和管理体系的人工智能安全框架，期待为社会各方提 升人工智能安全防护能力提供有益参考。 目 录 一、人工智能安全现状................................................ 1 (一)人工智能安全挑战............................................ 1 (二)人工智能风险地图............................................ 3 (三)人工智能安全技术现状........................................ 6 (四)人工智能安全框架缺失....................................... 11 二、人工智能安全框架............................................... 12 (一)设计思路................................................... 12 1.框架范围................................................. 12 2.设计原则................................................. 12 3.核心要素................................................. 13 (二)安全框架................................................... 14 (三)框架分析................................................... 17 1.安全目标................................................. 17 2.安全能力................................................. 18 3.安全技术................................................. 23 4.安全管理................................................. 24 三、人工智能安全技术实施........................................... 28 (一)业务安全................................................... 28 1.业务合规性评估........................................... 28 2.安全攻击检测............................................. 28 3.业务安全机制............................................. 30 4.恶意应用检测............................................. 31 (二)算法安全................................................... 32 1.算法鲁棒性增强........................................... 32 2.算法公平性保障........................................... 35 3.算法可解释性提升......................................... 36 4.算法知识产权保护......................................... 37 5.算法安全评测............................................. 38 (三)数据安全................................................... 39 1.数据隐私计算............................................. 39 2.数据追踪溯源............................................. 42 3.问题数据清洗............................................. 42 4.数据公平性增强........................................... 43 5.数据安全评测............................................. 44 (四)平台安全................................................... 44 1.漏洞挖掘修复............................................. 44 2.模型文件校验............................................. 45 3.框架平台安全部署......................................... 46 (五)安全技术图谱............................................... 46 四、人工智能重点应用安全防护实践................................... 48 (一)自动驾驶安全防护........................................... 48 1.安全风险................................................. 48 2.安全防护................................................. 50 (二)智能信贷风控安全防护....................................... 53 1.安全风险................................................. 53 2.安全防护................................................. 54 (三)深度伪造应用安全防护....................................... 55 1.安全风险................................................. 55 2.安全防护................................................. 56 图 目 录 图 1 人工智能安全风险地图...................................... 4 图 2 人工智能安全领域发表论文趋势.............................. 7 图 3 人工智能安全热点技术方向发表论文情况...................... 7 图 4 CVE 收录典型机器学习开源框架平台安全漏洞数量 .............. 8 图 5 人工智能安全框架......................................... 15 图 6 人工智能安全技术图谱..................................... 47 图 7 自动驾驶安全风险......................................... 49 图 8 自动驾驶安全防护技术体系................................. 50 表 目 录 表 1 人工智能安全热点技术方向提出国家及中国创新成果 ............ 8 人工智能安全框架（2020 年） 一、人工智能安全现状 (一)人工智能安全挑战 1.人工智能“基建化”加速，基础设施面临安全挑战 2020 年 5 月，我国《政府工作报告》提出以 5G、人工智能等为 代表的新型基础设施建设政策，此举按下了人工智能国家战略推进的 快进键。随后，25 省市发布“新基建”政策方案，累计投资 30 余万亿 人民币，加快推动人工智能算力、算法和数据基础设施建设。在新基 建推动催化下，人工智能技术将加快转变为像水、电一样的基础设施， 向社会全行业全领域赋能。然而，人工智能基础设施却潜藏安全风险