谁是前端应用程序首选框架

人工智能系统还需要情景数据，这可能会极大地扩大公司的暴露风险。假设一家保险公司想要更好地掌握客户的驾驶习惯，它可以购买购物、驾驶、位置和其他数据集，这些数据集可以很容易地交叉关联并与客户账户匹配。这种新的、呈指数级增长的数据集对黑客更具吸引力，如果被攻破，对公司的声誉也会造成更大的破坏。

人工智能的安全设计

有很多数据需要保护的一家公司是在线文件共享平台Box。Box使用AI提取元数据，并提高搜索、分类等能力。Box的CISO拉克希米•汉斯帕尔(Lakshmi Hanspal)表示，Box可以从合同中提取条款、续订和定价信息。Box的大多数客户内容分类要么是用户定义的分类，要么是被完全忽视。他们坐在堆积如山的数据上，这些数据可能对数字化转型有用。

汉斯帕尔说，保护数据是Box的一个重要事项，同样的数据保护标准也适用于人工智能系统，包括训练数据。Box建立信任并保持信任。

这意味着所有系统，包括新的人工智能项目，都是围绕核心数据安全原则构建的，包括加密、日志记录、监控、身份验证和访问控制。汉斯帕尔指出，数字信任是其平台与生俱来的，他们将其付诸于实践。

Box对传统代码和新的AI和ML支持的系统都有一个安全的开发流程。汉斯帕尔说：“我们在开发安全产品方面与ISO的行业标准保持一致。设计上的安全性是内置的，而且有制衡机制，包括渗透测试和红色团队。”

数学家和数据科学家在编写AI和ML算法代码时通常不担心潜在的漏洞。当企业构建AI系统时，他们会借鉴现有的开源算法，使用商业的“黑匣子”AI系统，或者从零开始构建自己的AI系统。

对于开放源码，攻击者有可能嵌入恶意代码，或者代码包含漏洞或易受攻击的依赖项。专有商业系统还使用开放源代码，以及企业客户通常无法查看的新代码。

逆向攻击是一个主要威胁

AI和ML系统通常是由非安全工程师创建的开源库和新编写的代码的组合。此外，不存在用于编写安全AI算法的标准优秀实践。考虑到安全专家和数据科学家的短缺，这两方面的专家供应更少。

AI和ML算法是比较大的潜在风险之一，也是博思艾伦•汉密尔顿(Booz Allen Hamilton)的Raff最担心的长期威胁之一，其有可能将训练数据泄露给攻击者。他表示：“有一些逆向攻击，可以让人工智能模型向你提供关于它自身以及它所接受的训练的信息。如果它是根据PII数据进行训练的，你就可以让模型向你泄露这些信息。实际的PII可能会暴露出来。”

Raff说，这是一个被积极研究的领域，也是一个巨大的潜在痛点。有些工具可以保护训练数据免受逆向攻击，但它们太昂贵了。他表示：“我们知道如何阻止这种威胁，但这样做会使培训模型的成本增加100倍，这并不夸张，所以没人会这么做。”

你不能确保你不能解释的东西安全

另一个研究领域是可解释性。今天，许多AI和ML系统，包括许多主要网络安全供应商提供的AI和ML支持的工具，都是“黑匣子”系统。YL Ventures的CISO Sounil Yu表示：“供应商没有在其中建立可解释性。在安全方面，能够解释所发生的事情是一个基本的组成部分。如果我不能解释为什么会发生这种情况，我怎么能补救呢?“。

对于构建自己的AI或ML系统的公司来说，当出现问题时，他们可以回到训练数据或使用的算法来解决问题。Yu指出，如果你是从别人那里构建的，你根本不知道训练数据是什么。

需要保护的不仅仅是算法

人工智能系统不仅仅是一个自然语言处理引擎，或者仅仅是一个分类算法，或者仅仅是一个神经网络。即使这些部分是完全安全的，系统仍然必须与用户和后端平台交互。

系统是否使用强身份验证和最低权限原则?到后端数据库的连接是否安全?与第三方数据源的连接情况如何?用户界面对注入攻击是否有弹性?

另一个与人相关的不安全感来源是人工智能和机器学习项目独有的：数据科学家。奥托特的阿巴蒂科表示，优秀的数据科学家对数据进行实验，得出有洞察力的模型。然而，当涉及到数据安全时，实验可能会导致危险的行为。使用完数据后，他们可能会倾向于将数据移动到不安全的位置或删除样本数据集。Othot在早期就投资于获得SOC II认证，这些控制有助于在整个公司实施强有力的数据保护实践，包括在移动或删除数据时。

人工智能机构Urvin AI的产品经理、国际非营利性安全研究组织ISECOM的联合创始人彼得•赫尔佐格(Peter Herzog)表示：“事实是，所有地方的大多数人工智能模型中较大的风险并不在人工智能中，问题出在人身上。没有安全问题的人工智能模型几乎没有，因为人们决定如何训练他们，人们决定包括什么数据，人们决定他们想要预测和预测什么，以及人们决定暴露多少信息。”

另一个特定于AI和ML系统的安全风险是数据中毒，即攻击者将信息输入系统，迫使系统做出不准确的预测。例如，攻击者可能会通过向系统提供具有类似恶意软件指示器的合法软件示例来欺骗系统，使其认为恶意软件是安全的。

拉夫说：“这是大多数企业高度关注的问题。目前，我没有意识到任何人工智能系统在现实生活中受到攻击。从长远来看，这是一个真正的威胁，但现在攻击者用来逃避杀毒软件的经典工具仍然有效，所以他们不需要变得更花哨。”

避免偏差和模型漂移

当AI和ML系统用于企业安全时，例如，用于用户行为分析、监控网络流量或检查数据泄露，偏差和模型漂移可能会产生潜在风险。很快过时的训练数据集可能会使组织变得脆弱，特别是在越来越依赖人工智能进行防御的情况下。企业需要不断更新模型，让更新模型成为一件持续的事情。

（编辑：平凉站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!