麻省理工学院最新的人类混合网络安全平台闪电试验
当今的安全系统通常属于两个类别之一 - 人类或机器。所谓的“分析师驱动的解决方案”依赖于活着的专家创建的规则，因此错过了与规则不符的任何攻击。同时，当今的机器学习方法取决于“异常检测”，这往往会触发误报，这既造成对系统的不信任，又最终必须由人类调查。
但是，如果有一个可以合并这两个世界的解决方案怎么办？它会是什么样？
在新论文中，麻省理工学院计算机科学和人工智能实验室（CSAIL）和机器学习初创企业Patternex的研究人员展示了一个名为AI2的人工智能平台，该平台通过不断纳入人类专家的投入，预测网络攻击比现有系统更好。该名称来自将人工智能与研究人员所谓的“分析师直觉”合并。
该小组表明，AI2可以检测到85％的攻击，这比以前的基准测试大约要好三倍，同时还将假阳性的数量减少了5倍。该系统已在36亿个称为“日志线”的数据上进行了测试，这些数据被称为“日志线”，这些数据是在三个月内由数百万个用户生成的。
为了预测攻击，通过数据将数据聚集到有意义的模式中，AI2通过数据梳理并检测可疑活动。然后，它将这项活动提交给人类分析师，他们确认哪些事件是实际攻击，并将反馈纳入其下一组数据的模型中。
Csail研究科学家Kalyan Veeramachaneni说：“您可以将系统视为虚拟分析师。”“它不断生成可以在短短几个小时内完善的新模型，这意味着它可以显着和迅速地提高其检测率。”
Veeramachaneni在上周在纽约市的IEEE国际大数据安全会议上发表了有关该系统的论文。
创建与基于人类和机器的方法合并的网络安全系统非常棘手，部分原因是手动标记算法的网络安全数据的挑战。
例如，假设您要开发一种计算机视觉算法，该算法可以识别高精度的对象。为此标记数据很简单 - 只需邀请一些人类志愿者将照片标记为“对象”或“非对象”，然后将数据馈送到算法中。
但是，对于一项网络安全任务，像亚马逊机械土耳其人这样的众包网站上的普通人根本没有采用标签“ DDOS”或“渗透攻击”等标签的技能，Veeramachaneni说。
“您需要安全专家。”
这打开了另一个问题 - 专家很忙，他们不能全天审查被标记为可疑的数据的回报。众所周知，公司会放弃工作太多的平台，因此有效的机器学习系统必须能够改善自己，而不会压倒其人类的霸主。
AI2的秘密武器是它将三种不同的无监督学习方法融合在一起，然后向分析师展示供他们标记的顶级事件。然后，它构建了一个有监督的模型，它可以通过团队所谓的“连续积极学习系统”来不断完善。
具体来说，在其培训的第一天，AI2选择了200个最异常的事件，并将其交给专家。随着时间的流逝，它将越来越多的事件视为实际攻击，这意味着分析师每天可能只考虑30或40个事件。
“本文汇集了分析师的直觉和机器学习的优势，并最终驱动了误报和假否定的，”巴黎圣母院计算机科学教授Nitesh Chawla说。“这项研究有可能成为针对诸如欺诈，服务滥用和帐户接管等攻击的防御措施，这是面向消费者的系统面临的主要挑战。”
该团队说，AI2可以每天扩展到数十亿个日志线，将一分钟的数据转换为不同的“特征”，或最终被视为“正常”或“异常”的离散行为类型。
Veeramachaneni说：“系统检测到的攻击越多，它收到的分析师的反馈就越多，这反过来又提高了未来预测的准确性。”“这种人机互动产生了美丽，级联的效果。”
