2024年4月2日，兰德发布《新兴技术和风险分析：人工智能和关键基础设施》报告，这是关于新兴技术对美国国土安全部（DHS）任务和能力影响的一系列分析之一。报告预计，2027年，全球人工智能市场的规模预计将2022年的869亿美元增至4070亿美元。人工智能将越来越多地被纳入影响经济繁荣、国家安全和社会福祉的更多应用中。

报告研究了三个问题：（1）未来十年，关键基础设施中人工智能应用的技术可用性如何？（2）科学技术将如何成熟；未来十年人工智能用例，需求和市场，资源，政策、法律、道德和监管障碍，关键基础设施应用的技术可访问性发生了变化吗？（3）未来十年，人工智能可能会给关键基础设施应用带来哪些风险和场景（包括威胁、脆弱性和后果）？在评估时考虑了四个属性：技术可用性、风险和场景（报告将其分为威胁、脆弱性和后果）。

一、人工智能风险评估

报告中的风险评估侧重于将人工智能技术用于合法或非法目的对关键基础设施的威胁、脆弱性和后果。

1．威胁

人工智能对关键基础设施的威胁可能来自几个方面。（1）人工智能可以用于开发和监控关键基础设施，这有益于优化设计、提高效率和确保安全，但如果基础设施设计中使用的输入（例如桥梁）被错误使用或篡改，也将带来威胁。微软的一份报告指出，“人工智能技术可以提供攻击过程中产生的信号的自动解释，有效威胁事件的优先级，以及自适应响应，以解决对抗行动的速度和规模。（2）物联网功能的增多增加了应对网络攻击的脆弱性。正如一位消息人士所指出的那样，“人工智能通过其吸收使用模式数据和提供预期需求精确计算的能力来影响电网系统，使其成为电网管理的主要技术。然而，它也增加了黑客在网络攻击中的数字足迹和切入点，从而产生新的脆弱性。（3）人工智能系统的内部威胁是另一种威胁。在人工智能系统的开发过程中，内部人员可能会制造不安全因素和后门，从而成为被利用的目标。（4）赋予人工智能系统的自治程度也可能构成威胁。例如，在智能电网中，工业控制系统可以提醒操作员系统发生故障，并要求采取行动。人工操作员甚至人工智能操作员团队可能会对系统进行进一步的询问以验证故障信号，而人工智能操作员可能会根据其错误的训练决定立即采取行动。

总之，报告认为，所有有助于人工智能开发和使用的技术都可能成为目标，例如积累和保护关键数据的能力，高性能计算，半导体开发和制造，机器人技术，机器学习和自然语言处理，甚至包括这包括使能和融合技术，如网络、大数据和物联网。这些技术都应被视为存在潜在脆弱性。

2．脆弱性

报告指出，人工智能系统应用的规模、范围和复杂性将造成相关脆弱性。当前，人工智能系统已应用于交通、金融服务等领域，但这也带来了许多脆弱性。例如，在人工智能驱动的自动驾驶汽车和长途卡车中，将带来包括发生事故时的责任和保险、车辆的监管和标准化等问题；在传统金融服务领域，需要预防和减轻分布式拒绝服务攻击。此外，其他脆弱性还包括：能够规划和控制智慧城市甚至关键基础设施（如电网）的人工智能平台可以用来制定针对这些关键基础设施的攻击计划；利用人工智能来攻击美国选举系统——无论是深度伪造和虚假信息，还是不公正地划分国会选区，它的范围和规模将是巨大的，可能会引起极大的关注；将人工智能用于发展可用于对付关键基础设施或人口的先进生物和化学武器等等。同时，人工智能系统的复杂性也会带来脆弱性。报告评估后认为，随着人工智能系统变得越来越复杂并接近通用人工智能（AGI），人类将越来越难以理解和评估人工智能过程的结果。

报告指出，为了减轻与人工智能相关的脆弱性，在开发和部署的所有阶段都必须进行集成和测试，以确保充分理解所有关键基础设施应用程序的完整功能、安全性和故障模式，并确保功能、安全和故障在一定范围内。

3．后果

与AI用例相关的后果也与其应用范围、规模和复杂性的影响有关：范围广、规模大的关键基础设施项目和部门应该会产生严重后果。影响整个行业甚至单个行业关键部分的关键基础设施，如果受到人工智能支持的威胁或人工智能设计系统失败的攻击，可能会产生更大的影响。

在审查人工智能使用和滥用的潜在后果时，开发和保护关键基础设施的复杂性也是需要考虑的一个重要因素。一位人工智能专家对人工智能日益复杂提出了以下警告:“对于超级智能机器来说，让它们越来越智能的问题在于，我们不知道如何正确地指定它们的目标。”专家接着说：“如果我们有一台比人类更聪明、更强大的机器，它会按照我们的要求去做，但不是我们真正想要的。警告是，人类将失去描述正在开发的人工智能系统的系统需求的能力。

报告在评估了ChatGPT-4技术首次推出时遇到的困难后认为，转向现场人工智能系统，特别是使其直接与公众接触，将是减少不良后果的发生。此外，确保适当的护栏到位，使人工智能反映适当的目标和目的将是实现良好结果。

二、关键结论

l  人工智能是一种变革性技术，很可能会广泛应用于整个社会，包括关键基础设施。

l  人工智能可能会受到许多与其他信息时代技术相同的因素的影响，例如网络安全、保护知识产权、确保关键数据保护以及保护专有方法和流程。

l  人工智能领域包含许多技术，一旦可用，这些技术将被纳入人工智能系统中。因此，人工智能科学技术的成熟度将取决于几个关键技术领域，包括高性能计算、先进半导体开发和制造、机器人、机器学习、自然语言处理以及积累和保护关键数据的能力。

l  为了将人工智能置于当前的成熟状态，划分三个人工智能类别是有用的：狭义人工智能（ANI）、通用人工智能（AGI）和超人工智能（ASI）。到本次分析的十年结束时，该技术很可能仍然只实现了ANI。

l  人工智能将为关键基础设施和专用智能城市的最终发展带来机遇和挑战。开发和监控系统将受益于使用支持人工智能的设计，可以增强态势感知并减少脆弱性。然而，威胁参与者将发现越来越多的攻击面，特别是关于嵌入在关键基础设施部门和系统中的物联网应用程序。

l  2023年3月推出的ChatGPT-4提供了一个有趣的案例研究，说明这些人工智能技术（在本例中为大型语言模型）可能如何成熟并融入社会。最初的推出展示了一个循环——开发、部署、识别缺陷和其他潜在用途领域，以及人工智能系统的快速更新——这可能会成为人工智能的一个特征。