当前位置:首页 / 委员履职 / 政协提案 / 2022年提案
0002 关于重视人工智能应用安全的建议
日期:2022-01-18 提案者:仲盛

调研情况:

习近平总书记强调:“人工智能是新一轮科技革命和产业变革的重要驱动力量,加快发展新一代人工智能是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题。”近年来,在党和政府的支持和引领下,中国人工智能技术迅猛发展,不断实现突破,取得了前所未有的成就,根据《中国人工智能发展报告2020》发布数据,过去十年内中国人工智能专利申请量位居世界第一。包含计算机视觉、机器学习、自然语言处理等在内的人工智能技术,正逐步应用于交通、安防、医疗等多个领域,如自动驾驶、人脸识别、医疗诊断等,为经济社会发展带来了新动力。 然而,人工智能在带来新机遇的同时,也存在被恶意攻击的安全隐患。其应用安全性关系到人民利益、社会稳定与国家安全,因此,如何保障人工智能应用安全落地,成为当前亟需重视的问题。 

问题分析:

从目前人工智能应用情况来看,主要存在以下问题: 

一、人工智能技术仍存在安全漏洞。以对抗样本为例,近年来对抗样本攻击算法的出现和快速发展,严重威胁着基于深度学习的人工智能系统安全,只需对输入数据添加难以察觉的微小扰动,就能误导系统输出错误结果,实现恶意攻击。例如2020年一项研究中,穿着印有对抗样本T恤的试验者成功在目标检测系统中“隐身”;另一项研究则成功让人脸识别系统将试验者误认为他人等等。若犯罪分子利用该安全漏洞,逃避监控、冒充他人、误导自动驾驶车辆、干扰各类人工智能应用,将造成难以估计的后果。同时,攻击算法日新月异,当前防御方法仍存在着局限性。 

二、缺乏规范、系统的安全评估机制和安全防控预案。尽管人工智能技术正广泛应用,但其当前在部署前后仍缺乏完善的安全评估标准、评估流程和评估内容等安全评估机制,对实际应用中潜在的威胁难以做出实时、全面和可靠的分析,从而留给恶意攻击者可乘之机;同时,应用安全防控预案的缺失,可能导致在应用遭受恶意攻击时难以做出及时有效的处理措施,进一步扩大危害。 

具体建议:

针对上述问题,具体建议如下: 

一、加强人工智能应用安全防御研究。以政府为主导,加大资金投入和政策扶持。在研究人员方面,依托相关研究机构与相关院校,构建人工智能安全防御研究平台;完善人工智能应用安全人才培养体系,加大相关安全类人才培养力度;加快引进人才、政策留住人才,促进高水平人工智能应用安全人才队伍建设。在策略研究方面,针对已知恶意攻击,加快相关安全漏洞防御手段研究;而针对不断变化的、潜在未知的恶意攻击,则需探究更具自适应性的防御策略。 

二、加快完善安全评估机制。加快组织相关专家人员,针对人工智能应用制定科学的安全评估标准,构建全面的安全评估内容、完善评估工作流程等,创建规范化、系统化的安全评估机制。尤其针对安全至关重要的领域,如安防监控、人脸过闸、人脸支付、自动驾驶等,应设立更为严格的评估机制。在部署实际应用前,组织相关专家对其进行安全评估,如存在的安全漏洞、遭受攻击的可能性、攻击的影响程度等,仅对风险可控的应用准予落地;应用部署后,定期由相关专家人员进行再评估,保障应用始终安全。 

三、制定并落实可靠的安全防控预案。未雨绸缪才能防患于未然。面对不同的应用领域,结合安全评估结果,针对潜在的安全隐患制定相应详细、有效、可靠的防控预案并全面落实,有效预防和降低安全漏洞攻击所造成的危害。