黑客使用数据科学逃避艺术状态AI网络安全系统
在拉斯维加斯举行的大规模黑帽网络安全会议上，许多人被吹捧着他们如何使用人工智能（AI）和机器学习来帮助使世界成为当今的更安全的地方和明天的网络安全威胁，这使许多人震惊了许多人。
但是，尽管每个人和他们的狗看起来都在拥抱AI，但越来越多的专家担心网络安全供应商对与这些技术的严重依赖相关的风险没有足够的关注。
安全公司Forcepoint的Raffael Marty警告说：“发生的事情有点令人担忧，在某些情况下甚至是危险的。”
安全行业对算法的饥饿是可以理解的。正如连接到互联网的设备正在爆炸一样，它正面临着网络攻击的海啸。同时，熟练的网络工人大大短缺。使用机器学习和AI来帮助自动化威胁检测和响应可以减轻员工的负担，并有可能比其他软件驱动的方法更有效地确定威胁。但是，马蒂（Marty）和其他一些在《黑帽子》（Black Hat）上发言的人说，许多公司现在正在推出基于AI的产品，因为他们觉得自己必须与已购买AI炒作周期的客户吸引观众。而且，他们将忽略机器学习算法可以将客户置于错误的安全感的危险。
许多产品都涉及称为“监督学习”的东西，该产品要求公司选择和标记算法的数据集，例如，通过标记干净的恶意软件和代码来培训算法。
马蒂说，一种风险是，在急于将其产品推向市场时，公司使用培训信息，这些信息尚未被彻底擦洗异常的数据点，这可能导致算法缺少一些攻击。另一个是，访问安全公司系统的黑客可以通过切换标签来破坏数据，从而将某些恶意软件示例标记为“干净代码”。而且，坏人甚至不需要篡改数据，而是可以弄清模型用于标记恶意软件的代码功能，然后从自己的恶意代码中删除这些特征，以使算法不会捕获它。
在会议上的一次会议上，微软的Holly Stewart和Jugal Parikh还标记了过度依赖单个主算法以驱动安全系统的风险。危险是，如果该算法被妥协，则没有其他信号会引起问题。
为了防止这种情况，微软的Windows Defender威胁保护服务使用具有不同培训数据集和功能的各种算法。因此，如果将一种算法入侵，则假设其完整性也没有受到损害，那么其他算法的结果将突出第一个模型中的异常。
除这些问题外，马蒂指出，通过一些非常复杂的算法，很难弄清为什么他们真正吐出某些答案。尽管他和其他许多人称之为“解释性”问题，但很难评估什么驱动什么异常，尽管有许多不同的公司正在努力尝试“阅读这些黑匣子AI的思想”，并从DeepMind，Mit，Nvidia和其他类似的情况下获得了一些显着的成功。
不管这一点，尽管每个人都同意这一切都不意味着AI和机器学习在防守武器库中不应发挥重要作用。马蒂（Marty）和其他人的信息是，对于安全公司及其客户而言，监视和最大程度地降低与算法模型相关的风险非常重要，这并不是很小的挑战，因为在网络安全和数据科学方面具有理想专业知识的人和数据科学的理想组合仍然像在拉斯维加斯夏季一样罕见。
