Thales的全球副总裁Ashvin Kamaraju深入探讨了人们对AI风险的日益担忧，随着企业拥抱AI，他解释了最大的风险，并概述了领导者保护其AI生态系统的战略方法。

广泛可用的GenAI平台和工具的兴起，促使企业的决策者评估该技术在其堆栈中的哪些地方可以被利用来增强运营。根据GitHub的调查，92%的开发人员已经在使用AI编码工具，这些平台正在成为企业中一切的基础——从流程到解决方案和思维方式。

对增加AI使用率的日益关注，引发了围绕这项技术的潜在风险的讨论。尽管如此，随着它变得更加普遍，一个更令人担忧的因素必须被考虑：对AI的风险。

AI面临的四大风险以及领导者需要知道的事

• 窃取模型：威胁参与者可以通过复制模型来瞄准使用公共API的机器学习模型。通过手头有准确的模型，网络罪犯可以了解其能力的细节，测试限制，看看他们如何成功地瞄准真正的东西。随着企业寻求整合AI，但没有预算为代价高昂的开发提供资金，这种威胁载体正在增长。他们求助于更具成本效益的选项，如GPT-4，为付费客户提供对其数据的洞察。
• 数据中毒：用于训练深度学习模型的公共数据集有可能被篡改。如果坏人可以访问这些集合，这些集合就可以被操纵，而对有毒数据进行训练的模型会产生错误或恶意的预测和决定。虽然目前还没有报道的例子，但如果成功完成，这种情况可能会造成巨大的损害。
• 快速注入：已经证明其对AI有害的风险是快速注入。大型语言模型是AI工具的基础，它们通过预测接下来会发生什么来工作——对于聊天机器人来说，这是用来驱动响应和发出指令的。黑客正在使用提示注入技术，通过输入一系列提示或问题来欺骗应用程序，以覆盖其现有指令，从而“欺骗”聊天机器人。
• 提取机密信息：人们越来越担心这些AI平台存储的是什么。由于土地管理公司接受了数据方面的培训，因此上传到这些平台上的信息可以存储起来，如果查询正确，则可以重新分发。随着企业将大型语言模型添加到他们的技术堆栈中，最大的风险将是上传的数据。如果团队上传个人身份信息或机密信息，企业将面临公开共享这些数据的风险。

企业如何缓解AI面临的风险

AI在企业中的广泛使用是一个日益增长的趋势，这意味着除非得到适当的解决，否则AI面临的风险将持续存在。实施这些AI系统的企业应该负责任地这样做，纳入安全行业指导，并将这些系统纳入威胁格局。

那么，企业如何才能撑起AI责任的尽头呢?通过确定适当的AI业务用例来领先于威胁，这些使用案例包括：

• 利用AI作为一种灵活的防御：今天的威胁需要一种主动的安全方法，而不是被动的方法。通过将AI添加到他们的安全堆栈中，企业可以先发制人地应对威胁。使用基于AI的系统，IT和安全团队可以访问不断收集的大量威胁情报资源，使他们能够快速实施新策略，并更好地了解坏人不断演变的策略。AI为团队配备了缓解现代风险所需的洞察力和解决方案，这在网络犯罪分子转向AI以推进他们的方法时至关重要。
• 利用GenAI进行高级异常检测：借助AI系统收集的威胁情报，IT和安全团队可以进行实时异常检测。误报可能会使内部团队难以检测异常，因为他们筛选结果以确保系统识别真正的异常。与其对数据进行分类，还可以对生成模型进行训练，以便更好地理解“正常数据”模式，从而帮助减少误报。GenAI可以通过从数据集中提取信息来帮助警报尖峰、机器人和其他可能针对系统的攻击。准确高效地支持团队挫败攻击。
• 减少工作量：以前，安全团队需要某些编程语言等领域的专家来帮助在攻击过程中为决策过程提供信息。AI消除了对每种语言专家的需求。如果企业因恶意脚本试图攻击其系统而面临攻击，IT和安全团队可以求助于GenAI来输入脚本，并收到有关修补任何现有漏洞以防御攻击的即时指示，这不仅允许快速补救，而且还减轻了内部团队的负担。

AI风险责任不仅仅是企业的责任

在所有技术中，该行业在塑造未来使用方面发挥着关键作用。几乎在一夜之间，AI变得迅速普及，其进步也同样迅速。美国有开发更负责任的AI的需求，但缺乏明确的法规，对那些不太熟悉这项技术的人来说，几乎没有什么清晰的东西。

随着AI继续渗透到工作场所，企业面临着快速、安全地部署基于AI的系统以满足新需求，同时避免将自己暴露在不断扩大的威胁矢量中的巨大负担，这一巨大的重量并不是企业本身可以承受的，因此制定法规、提供指导和框架对工作场所AI的未来至关重要。

拜登政府发布的AI行政命令有助于为AI的安全和安保建立新的标准。白宫最近的努力也推动了领先的AI公司承诺推动安全、可靠的AI发展，这将进一步提高实施这些公司解决方案的企业对AI的使用。尽管取得了进展，但监管需要时间才能充分发挥作用，AI的进步也不会因为等待政策实施而放缓。

幸运的是，现有的框架、指导和资源可供企业在等待更严格的法规时确保适当的业务使用和AI的实现。例如，美国国家标准与技术研究院(NIST)推出了NIST AI风险管理框架，这个框架旨在更好地管理与AI相关的个人、企业和社会的风险。

在过去的一年里，我们看到了AI发展的如此之快。随着我们等待对提供更多定义流程的技术的进一步监管，企业应该求助于像NIST这样的现有框架来最好地装备自己。

协作将是保护AI的关键

为了成功地使用AI，很明显，企业需要转变心态，专注于这项技术的风险。通过将资源放在保护AI的背后，并呼吁商业领袖、监管机构和行业专家的合作，可以清楚地看到一条从AI创新中受益的更安全的未来。