1.1 人工智能的发展、应用及其安全性
1.1.1 人工智能的发展
1956年，在由一批包括斯坦福大学的麦卡锡教授、美国麻省理工学院的明斯基教授、贝尔实验室的香农和IBM公司的罗切斯特在内的著名学者共同发起的达特茅斯会议上，人工智能的概念首次被提出：让机器像人那样认知、思考和学习，即用计算机来模拟人的智能。20世纪70年代以来，科学家在机器定理证明、机器翻译、专家系统、博弈等方面进行了研究，在此过程中出现了符号学派、研究学派、行动学派。时至今日，人工智能的发展并非一帆风顺，前后经历了三次大的浪潮［2-4］。
第一次浪潮出现在20世纪50年代末到70年代初：人工智能思潮赋予机器逻辑推理能力。伴随“人工智能”这一新兴概念的兴起，人们对人工智能的未来充满了想象，大量研究人员投身于人工智能理论研究。在这一阶段，人工智能主要用于解决代数、几何问题，以及学习和使用英文程序，相关研究主要围绕机器的逻辑推理能力展开。其中，20世纪60年代末到70年代初，以爱德华·费根鲍姆为首的一批年轻科学家提出了知识工程的概念，开始了大量以知识为基础的专家系统的研究与应用，将人工智能推向了第一次高潮，当时，人们对人工智能寄予了很高的期望，甚至预言“十年以后人工智能将超越人类思维”。但受限于当时计算机算力不足，以及经验与数据量不充足等因素，研发出的专家系统所能解决的问题非常有限，更谈不上超越人类思维，因此，人们对于人工智能的发展转为持怀疑态度。1972年，受英国科学委员会委托，剑桥大学詹姆士·莱特希尔对人工智能的研究状况进行了总体调查，并提供了一个内容翔实的公开报告。该报告对当时英国的人工智能研究进行了评判，主要针对人工智能基础研究中的自动机、机器人和中央神经系统。其结论是，自动机和中央神经系统的研究有价值，但进展令人失望；机器人的研究没有价值，进展非常令人失望，建议取消对机器人的研究。鉴于当时英国的全球科技中心的地位，此后，人工智能开始了第一个严冬（AI Winter）。
第二次浪潮出现在20世纪80年代初到90年代初：专家系统使得人工智能实用化。最早的专家系统是在1968年由爱德华·费根鲍姆研发的DENDRAL系统，可以帮助化学家判断某种特定物质的分子结构；DENDRAL首次对知识库进行定义，也为第二次人工智能发展浪潮埋下伏笔。自20世纪80年代起，特定领域的“专家系统”人工智能程序被更广泛地采纳，其能够根据领域内的专业知识推理出专业问题的答案，人工智能也由此变得更加“实用”，专家系统所依赖的知识库系统和知识工程成为当时主要的研究方向。特别是在1981年，日本通产省开始主持研制“第五代计算机”项目，希望使计算机从计算与存储数据的结构向直接推理与处理知识的新型结构过渡。其目标是打造一个具有1000个处理单元的并行推理机，其推理速度比常规推理机高1000倍，连接具有10亿个信息组的数据库和知识库，其实就是研制一个能够回答任何问题的“通用”专家系统且具备听说能力。然而，由于领域的局限性、知识描述和生成的复杂性等因素，1992年“第五代计算机”以失败告终，该项目前后耗资8.5亿美元。从此，AI发展步入第二次低谷。
第三次浪潮出现在21世纪初至今：深度学习加速人工智能的普及和应用。不断提高的计算机算力加速了人工智能技术的迭代，也推动感知智能进入成熟阶段，人工智能与多个应用场景结合落地，相关产业焕发新生机。2006年深度学习算法的提出、2012年AlexNet在ImageNet训练集上图像识别精度取得的重大突破，直接掀起了新一轮人工智能发展的浪潮。2016年，AlphaGo打败围棋职业选手，人工智能再次收获了空前的关注度；2017年，AlphaGo以3∶0的比分完胜世界围棋冠军柯洁；之后，AlphaGo Zero从零开始，完全不需要任何历史棋谱和人类先验知识，通过自己左右互搏490万盘棋局，最终无师自通，战胜AlphaGo。相继多个吸引人们眼球的、在局部领域内超过人类水平的人工智能成果的展示，让人们真切感受到人工智能的威力，人工智能创业公司层出不穷，科学研究进一步推进，助推人工智能呈现加速发展态势。
人工智能的第三次浪潮较前两次有本质的不同［5］。如今，以大数据、强大算力和深度网络模型为标志的先进算法已在计算机视觉、语音识别、自然语言处理等领域取得突破性进展，使得人工智能发展的影响范围不再局限于学术界，开始广泛嫁接生活场景，从实验室走入日常，政府、企业、非营利机构纷纷“拥抱”人工智能。具体来讲，本轮人工智能浪潮的到来，除强大的算力外，还得益于数据的爆炸式增长及深度学习算法的发展和突破。
人工智能技术需要以大量的数据作为输入，通过对模型不断训练，获得必要的模型参数。然而，目前大数据的发展存在一些问题［1］，包括数据流通不畅、数据质量良莠不齐、数据污染、关键数据缺失等。由于人工智能缺乏对数据正确性甄别的能力，同时，人工智能在进行推理判断的时候，是依据所获取的数据来进行的，所以，人工智能系统高度依赖数据的正确性。有多种原因能够使输入的数据质量低下，包括数据丢失和变形、噪声数据输入、数据投毒和样本对抗等，进而会对人工智能系统的安全造成影响。
深度神经网络由于不需要繁杂的特征工程，因而在当前人工智能发展中“大行其道”。深度神经网络模型基于直接的端到端方式来学习已知的因果关系，这种因果关系是通过神经网络的大量隐含层来记录的，其结果可能会出现一些问题，如过拟合问题、可靠性问题、不可解释性问题等。就不可解释性问题而言，深度学习的模型计算、特征选择等均由算法自行完成，目前尚无理论对其进行合理解释。为此，难以保证这样训练出的模型不被窃取或污染，因而存在结果不可控的隐患。
除了上述由新技术的脆弱性导致的系统运行安全问题，还存在另一种安全问题，即新技术的脆弱性并没有给人工智能系统自身的运行带来风险，但这些脆弱性可以被攻击者利用而引发其他安全问题。例如，2016年5月，在佛罗里达州公路上一辆处于“自动驾驶”模式的特斯拉汽车Model S以74英里（1英里≈1.61千米）的时速，直接撞上了拐弯中的白色拖挂式大货车，其原因是自动驾驶系统误将白色拖挂式大货车识别为天上的白云，导致自动刹车未生效［6］。其实，早在1978年9月就发生过机器人伤人事件，日本广岛一家工厂的切割机器人在切割钢板时，误将一名值班工人当作钢板进行了操作，致使该工人死亡，这是世界上第一宗机器人杀人事件。
1.1.2 人工智能的应用
随着以“智能”为核心特征的各类新兴科技的加速融合与聚变发展，人工智能技术不断重构生产、分配、交换、消费等活动的各环节，尽管各行业所面临的痛点不同，但人工智能技术能够通过数据收集、处理与分析等数据驱动的方式，改变未来社会诸多重点领域，教育、智能经济、互联网消费、医疗和自动驾驶等的发展模式将发生重大变化［7］。
1.人工智能在教育中的应用
人工智能技术正在推动教育信息化的快速发展，AI教育是人工智能技术对教育产业的赋能，通过将人工智能与传统教育相融合，尤其是新一代人工智能技术应用覆盖教学全过程，实现学生的个性化学习、跨媒体学习和终身学习等［8］。然而，在人工智能协助学生学习的过程中，可能会放大原本就存在的不平等。当人工智能放大、增强人类的智慧时，它可能会放大有偏见的推理形式。当人工智能不断扩大、不断增强并不断在我们生活的方方面面得到应用时，有可能对某些群体（如缺乏使用智能设备能力的群体或者有特殊需求的学生群体）产生一定障碍。同时，“智适应”的互动设计也会因为各种数据原因存在一些设计偏见，可能会损害特定学生群体的权益，无法使所有学生群体拥有公平地展示自己能力的机会［9］。
2.人工智能在智能经济中的应用
数字化转型使各类要素重新配置，生产制造更加智能，供需匹配更加精准，专业分工更加精细，国际贸易更加广阔，掀起了由工业经济向数字经济演进的重大变革，其中大数据智能、人机混合增强智能、群体智能、跨媒体智能等新一代人工智能技术将成为产业变革的核心驱动力，重构工业经济活动各环节，形成从宏观到微观的各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式，引发工业经济结构重大变革，实现社会生产力的整体跃升。潘云鹤院士提出，中国的工业经济智能化发展包括工厂生产智能化、企业经营智能化、产品创新智能化、供应链接智能化和经济调节智能化五个层次［10］。
3.人工智能在互联网消费中的应用
当前，人工智能技术已被广泛应用于人们日常生活的多种消费场景，例如，支付宝、美团或大众点评等交易型“超级应用程序”，融合了各种生活方式服务，将数亿名客户与本地企业联系起来。人工智能改变了中国城市亿万人民的生活，加快了餐饮、酒店和电影等相关服务的预订和交付。2021年，在美团平台上，每天有超过60万名外卖配送人员平均在30分钟内完成食品配送订单。这么高的效率得益于强大而智能的调度系统，该系统每小时完成30亿条路线规划，以优化“外卖小哥”的配送量和配送时间［7］。在此过程中，基于客户的大数据历史信息，存在一定的大数据“杀熟”风险。
在金融领域，人工智能被用于银行信贷智能风控管理［11］。银行信贷业务的风险管理核心在于构建风控模型，帮助银行有效识别客户信用风险及欺诈行为。获取多领域、多维度、高质量的用户数据对于建立识别客户风险的风控模型至关重要，然而利用多源数据进行风控建模存在诸多风险，包括数据泄露风险和数据孤岛风险，具体表现为：在构建或优化信贷模型时，通常会选择与数据提供方联合建模，在此过程中，通常需要一方数据出库，存在数据泄露的风险；同时，信贷模型的构建通常需要征信、银行流水等多领域数据，由于行业竞争、隐私安全和行政手续等壁垒问题，金融机构难以整合使用分散在各地、各机构的不同领域数据。
此外，人工智能技术正在改变人们与目标价值信息的联系方式。例如，大部分人都在使用智能手机和时下流行的移动应用程序（如抖音、爱奇艺、腾讯视频、今日头条、快手和微博）。大规模推荐算法是信息获取的重要方式之一，由深层神经网络支持的系统每天根据用户兴趣和喜好为其量身定制数以千计的新兴新闻和视频。例如，2021年，中国每天有超过1.2亿人使用今日头条来看新闻、视频和其他内容。在这个过程中，系统实时收集用户反馈，并将其输入先进的分布式机器学习算法，调整模型以用于下一个项目推荐。在此过程中，存在个人数据被收集及隐私泄露的风险。
4.人工智能在医疗中的应用
随着人工智能技术在医疗领域的持续发展和应用落地，已有不少成功案例，如新药研发、辅助疾病诊断、辅助治疗、健康管理、医学影像、临床决策支持、医院管理、便携设备、康复医疗和生物医学研究。然而，目前人工智能还处在发展阶段，某些方面（包括数据模型的建立、数据的来源、知识模型和知识标准等）还有待完善；同时，当前的模型通常是由工程师构建的，缺少临床医学专家的参与。另外，临床疾病在很多情况下的数学逻辑不太清楚，其中涉及很多潜在的干扰因素甚至未知因素，目前建立的人工智能模型难以完全模拟临床上的因果关系［12］。
5.人工智能在自动驾驶中的应用
《德勤全球AI发展白皮书》指出，未来同汽车相关的智能出行生态的价值正在被重新评估，出行的三大元素“人”“车”“路”被赋予类人的决策、行为，整个出行生态也会发生巨大的改变。有专家认为：“自动驾驶汽车是未来网络的节点。”强大的计算力与海量的高价值数据是构成多维度协同出行生态的核心力量。随着人工智能技术在交通领域的应用朝着智能化、电动化和共享化的方向发展，无人驾驶将主导汽车产业的革新。根据中国信息通信研究院发布的《人工智能安全框架（2020年）》，2020年7月，苏州发布了全球首条城市微循环无人小巴市民体验线路，落实了全国首个常态化运营的城市公开道路无人小巴项目。2020年10月，百度自动驾驶出租车服务在北京全面开放，10月12日单天呼单量突破2600单。
自动驾驶汽车是由云端服务、传感器、计算单元、自动驾驶算法和底盘动力系统等构成的复杂系统。由于众多组件暴露出了大量攻击面，所以其面临严峻的安全挑战。根据风险来源的不同，自动驾驶安全风险可分为传统网络安全风险和人工智能安全风险。传统网络安全风险主要有云服务安全风险、计算环境破坏风险、车云网络通信安全风险和内部网络通信安全风险；传感器数据干扰和自动驾驶算法攻击是突出的人工智能安全风险。
1.1.3 人工智能带来的安全问题
技术是一把“双刃剑”，人工智能技术也不例外，在造福人类及给人们的生活带来便利的同时，也会产生一些安全方面的问题［13］。
1.在社会安全方面
人工智能带来的主要社会安全风险涉及国家安全、社会治安、产业和职业结构变化及就业等方面，可能对社会的局部乃至整体稳定形成新的挑战，并容易使人民群众对这些伴生风险的质疑上升到技术本身，制约相关高技术产业的发展。
美国DARPA于2017年7月发布的《人工智能与国家安全》认为，人工智能将会是国家安全领域的颠覆性力量，未来的人工智能技术有可能与核武器、飞机、计算机和生物技术一样，成为给国家安全带来深刻变化的颠覆性技术。《人工智能与国家安全》还强调，人工智能通过变革军事优势、信息优势和经济优势影响国家安全。2019年8月，亨利·基辛格等人在《大西洋月刊》上发表文章《蜕变》，其中提到，人工智能在未来存在令人担忧的影响，包括：由于人类把越来越多探求知识的工作交给人工智能而导致好奇心下降；不真实的新闻和视频导致信任减少；人工智能为恐怖主义提供了新的可能性；由于人工智能的操纵，导致民主制度被削弱；或许还会因自动化而减少人类的工作机会等。
人工智能给产业、职业结构变化及就业带来的风险，源于人工智能（特别是智能机器人）对第一、第二产业岗位的替代，这会导致大量体力劳动者和简单脑力劳动者的结构性失业、转业，增加人民群众的生活压力和政府的行政压力。2017年，美国兰德公司在关于人工智能安全的一篇报告《人工智能对安全及未来就业的风险》中指出，由于人工智能越来越多地替代人力完成任务，如车辆驾驶、医疗诊断及新闻报道撰写等，预计未来20年，人工智能会对就业问题造成较大的影响。Forrester Research预测，人工智能技术将在2025年之前取代美国7%的工作岗位，其中16%的美国工人将被人工智能系统取代。在新的社会分工模式建立之前，人工智能对就业的冲击可能引发社会安全风险。《未来简史》作者尤瓦尔·赫拉利于2017年7月预测，未来二三十年内超过50%的工作会被人工智能取代，人工智能的产业化推进将使部分现有就业岗位减少甚至消失，导致结构性失业［1］。
2.在经济安全方面
人工智能会给实体经济安全带来一定的风险。在实体经济中，人工智能技术将逐步渗透到更多行业和环节中，推动经济、社会各领域从数字化、网络化向智能化加速跃升，人工智能产业将逐步成为实体经济中不可或缺的支柱产业和经济发展的重要驱动力，关乎国家经济安全命脉，一旦人工智能的某个环节受制于人，国家经济安全将受到冲击。尽管当前国产化替代加速，但自主可控领域依旧存在较大的成长空间，我国核心算法、芯片及基础元器件的掌握与国外还存在一定的差距，缺乏重大原创科技成果。人工智能硬件领域仍缺乏顶尖级创新型资深人才。“中兴事件”表明，只有把关键核心技术掌握在自己手中，才能够摆脱受制于人的局面。在高成本的精密工业和大型工业中，如果基于人工智能的模型泛化能力差，算法不完善，数据不精确，对抗能力不足，或某一环留有“后门”，使人工智能平台发生误判，则可能造成较大的经济损失。
同时，人工智能也会给货币金融安全带来一定的风险，主要体现在身份认证安全性风险、信用评估可靠性风险和基于人工智能的新型国家金融威胁等方面。第一，由于生成对抗神经网络技术的飞速发展，人工智能辅助的身份验证可能存在欺骗，同时，“换脸”和“换声”等技术也给货币金融系统的远程安全身份认证带来了新的难题。第二，在人工智能信用评估中，如果人工智能评估算法不完善，模型泛化能力不足，则可能产生一定规模的金融风险，并且不容易在初期发现。在基础技术研究和领先性上，我国和技术先进国家也存在差距。从业务形态来看，在金融风险评测及基于对抗学习的识别技术、抗干扰技术等方面，我国基本上还是参照国外的算法模型，向技术先进国家学习、迁移的情形居多。第三，人工智能金融决策模型发展到一定阶段后，将可能具备“索罗斯式”的冲击力，要对未来基于人工智能的“资本怪兽”保持充分的警惕，防范其对货币金融体系的入侵，确保能够在技术和非技术手段上予以反制。
3.在基础设施、网络安全及设计研发方面
在“新基建”（新型基础设施建设）的推动下，人工智能技术将加快融入生活中的基础设施，向社会全行业、全领域赋能。然而，人工智能基础设施潜藏安全风险。以机器学习开源框架平台和预训练模型库为代表的算法基础设施，因开发者蓄意破坏或代码实现不完善而面临算法后门嵌入、代码安全漏洞等风险。2020年9月，安全厂商“360”（北京奇虎科技有限公司）公开披露谷歌开源框架平台TensorFlow存在24个安全漏洞。开源数据集及提供数据采集、清洗、标注等服务的人工智能基础数据设施面临训练数据不均匀、训练数据投毒、训练数据泄露等安全风险。2020年，美国麻省理工学院的研究人员通过实验证实CIFAR-100-LT、ImageNet-LT、SVHN-LT等被广泛应用的数据集存在严重的不均衡问题［11］。
网络和大数据的发展推动了人工智能的进步，网络攻击智能化趋势也给网络安全保护提出了更高的要求。有关人工智能与网络安全关系的研究表明，一旦人工智能被运用到网络攻击活动中，将使网络攻击活动更加难以预警和防范，关键信息基础设施也将面临新的安全风险。例如，将人工智能技术运用到木马病毒的制作传播中，将会出现难以防御的超级病毒木马，传统应对方法将无法控制这些恶意程序传播扩散的速度。
人工智能的技术研发与应用也存在一些具有不确定性的安全风险。联邦学习、迁移学习等人工智能新技术的应用，使跨机构的人工智能研发协作进一步增多。由于遵循了不同的规范，因此，人工智能设计研发阶段的安全风险更加复杂且难以检测发现。一是人工智能算法自身存在技术脆弱性。当前，人工智能尚处于依托海量数据驱动知识学习的阶段，以深度神经网络为代表的人工智能算法仍存在弱鲁棒性、不可解释性、偏见歧视等尚未突破的技术局限。二是人工智能新型安全攻击不断涌现。近年来，对抗样本攻击、算法后门攻击、模型窃取攻击、模型反馈误导、数据逆向还原、成员推理攻击等破坏人工智能算法和数据机密性、完整性、可用性的新型安全攻击快速涌现，人工智能安全性受到全球学术界和工业界广泛关注。三是因算法设计实施有误而产生非预期结果。人工智能算法的设计和实现有可能无法完成设计者的预设目标，导致产生偏离预期的不可控行为。例如，设计者为算法定义了错误的目标函数，导致算法在执行任务时对周围环境造成了不良影响［11］。
4.在军事安全方面
直接利用人工智能的强大能力来赋能安全，以提高对敌攻击的水平，这本身就会给人类带来危险，而且这种赋能攻击的方式是蓄意的，会给军事安全带来重大影响。
作为军事大国，美国的人工智能军事作战赋能的目标非常清晰，强力推动其顶尖人工智能研究实现新的技术突破，促进科学新成果的发现，增强经济竞争力，巩固国家安全。2019年3月，美国参议院军事委员会举行主题为国防部人工智能计划的听证会，美国国防部高级研究计划局（DARPA）、国防创新小组（DIU）、国防部联合人工智能中心（JAIC）等机构主管分别介绍所在部门的人工智能项目及运行机制等，巩固并强化了人工智能技术及应用与军方之间的联系，推动美国的人工智能军用化步伐进一步加快。以DARPA为例，DARPA正将投资和研发重点转向第三代人工智能技术，致力于创建能在特定语境下进行推理的机器。资助的主要项目包括终身学习机器（L2M，于2017年启动）、可解释人工智能（XAI，于2018年启动）和机器常识（MCS，于2018年启动）等，目的是探索提高人工智能技术水平的方法，实现语境推理能力。DARPA认为，将这些技术集成到与军事作战人员合作的军事系统中，将有助于在对空间敏感的复杂战场环境中做出及时决策，分析不完整或者相互矛盾的海量信息，并使用无人系统安全自主地执行关键任务［14］。
在当前的俄乌冲突中，俄乌双方均较大规模地使用了以无人机为主的无人装备，以实施战场情报侦察和目标打击任务：乌军使用土耳其制造的“旗手”TB-2摧毁俄方防空系统与装甲部队，俄军使用“前哨-R”察打一体无人机摧毁乌方多管火箭炮系统。此外，有分析认为，乌军无人机通过综合识别俄方将领并进行打击，造成多位俄方高级将领阵亡。无人装备依托自身传感装备获取战场情报，凭借搭载的通信系统实现战场态势信息的实时传输，并接受指控平台的打击命令，实现侦、控、打、评的信息闭环，未来无人/反无人装备在现代战争中的应用范围会越来越广。同时，在网络空间战场中，双方通过深度学习、多语言模型、人脸识别等人工智能手段进行“舆论战”，开展认知域的对抗，瓦解敌方斗志，增强己方信心［15］。