马杰：AI安全研发要跑到威胁为害之前

以“万物智能”为主题，一年一度的百度世界2020大会于9月15日正式揭幕。在百度大脑分论坛上，百度副总裁马杰发表了题为“智能为脑，安全为本”的主题演讲，系统阐述了百度大脑在AI安全领域一系列能力布局和最新进展。

众所周知，随着万物互联和大规模智能协作的逐渐深入，人类正在进入一个经济深度智能化的发展阶段。作为其中的核心议题，AI在安全方面的诸多挑战不仅关系到整个AI体系的稳定可靠，直接影响到AI算力、算法和数据的落地应用，也为相应的安全能力建设提出了新的要求与新的思维方式。

（百度副总裁马杰）

面对一系列全新的安全挑战，马杰在演讲中将AI安全问题划分为Security、Safety和Privacy三个维度进行考量，并由此探寻更具针对性的解决方案。

在Security，即在强对抗环境下的安全威胁层面，来自物理世界和数字世界的攻击可能导致探测装置和深度学习模型做出误判，造成AI系统在工作过程中的“指鹿为马”、“无中生有”和“有中生无”。

而来自非对抗条件下自然环境所产生的真实威胁、即Safety层面真实世界中环境因素对输入数据的正常扰动，也有可能对深度学习模型的分类和预测造成影响。

为此，百度推出了模型鲁棒性体系化评估框架。从光照、空间变换、模糊、噪声和天气变化等多项安全属性着手，根据不同模型任务场景制定评估标准，帮助行业更好地量化评估潜在的安全威胁与模型鲁棒性。同时，百度还首创了AdvBox对抗样本工具箱。从安全验证、模型加固、对抗样本检测、模型鲁棒性形式化验证等多个方面，助力飞桨、TensorFlow等主流机器学习平台快速提升模型的健壮性。

而在Privacy、即数据安全与隐私保护层面，贯穿于采集、处理、流通、计算整个数据生命周期，隐私合规检测、差分隐私、AI自动脱敏、联邦计算、可信计算等安全技术的应用将为百亿级大规模数据的安全联合计算创造可能，也将为金融、医疗、政务等领域的联合分析、联合风控、联合营销提供数据安全保障，进一步释放数据价值，扩大AI时代大规模数据协作的信任边界。

目前，依托PaddleFL联邦学习开源框架，百度领先的联邦学习和有隐私保护的机器学习能力已与百度大脑深度融合，为飞桨在产业应用中的跨组织数据合作提供重要的辅助工具支撑。

“我们希望通过长期的研究与实践，能够跑到这些威胁造成重大危害之前。”对于百度在AI安全领域的持续发力，马杰重申了加大这一投入的必要性。事实上，其已不止关乎于AI时代众多安全攸关的关键场景，也已成为当前世界亟需应对的现时挑战——例如，在备受争议的AI换脸问题上，百度研发并开源的业内首款AI换脸检测工具，便可实现对深度伪造、合成技术的高效“打假”，为监管部门阻断电信网络诈骗等违法行为提供助力。

当然，围绕算力、算法、数据的安全研究与解决方案，只是在百度大脑AI安全体系框架下的其中一环。面向更为广泛的AI安全生态挑战，基于全面开源的“七种武器”BASS下一代人工智能安全技术栈等AI安全核心技术，百度正为解决AI生态中云、管、端及大数据和算法层面的一系列安全风险问题提供支持。

正如本次百度世界大会“万物智能”的主题，作为百度大脑核心架构之一，百度的AI安全能力将持续致力于为AI大生产平台的升级和产业智能化变革保驾护航。并从Security、Safety及Privacy多个维度，打造更安全的AI，打造更安全的AI时代。（一鸣）