激进的新技术使AI几乎没有数据学习
对指数的未来感兴趣？加入我们的Xpotential社区，通过我们Xpotential Academy的课程来证明自己的未来证明，连接，观看主题演讲或浏览我的博客。
机器学习通常需要大量的示例来学习，例如，获得人工智能（AI）模型才能识别一匹马，您需要向其展示成千上万的马匹图像。这就是使技术在计算上昂贵的原因，并且与人类学习截然不同。一个孩子通常只需要看到一个物体，甚至只有一个示例，然后才能终身认识到它 - 尽管最近包括DeepMind，Baidu和Google在内的公司一直在尝试创建AI和机器人，这些AI和机器人学习，以及“创建自己的知识”，而无需提供任何数据，而不是在任何数据中都没有做任何事情，例如，不需要做任何事情，例如，不再使用新事物来使用新事物。
实际上，儿童有时不需要任何例子来识别某些东西。显示了一匹马和犀牛的照片，并告诉独角兽是两者之间的一面，他们第一次看到图画书中可以识别出神话般的生物。
现在，安大略省滑铁卢大学的一篇新论文表明，AI模型还应该能够使用研究人员称为“少于一个”或Lo-hot的过程来完成此操作。换句话说，AI模型应该能够准确地识别更多的对象，而不仅仅是训练的示例数量的小或有限。对于一个越来越昂贵且无法访问的领域，随着使用的数据集变得越来越大，这可能是一笔巨大的交易。
研究人员在尝试流行的机器视觉数据集时首先证明了这一想法。MNIST包含60,000次手写数字的培训图像，通常用于测试现场的新想法。
在上一篇论文中，麻省理工学院的研究人员介绍了一种将巨型数据集“提炼”到很小的技术中，作为概念证明，他们将MNIST压缩到只有10张图像。这些图像不是从原始数据集中选择的，而是经过精心设计和优化，以包含与完整集合的等效信息。结果，当专门在10张图像上训练时，AI模型的准确性几乎与对所有MNIST图像进行训练的模型几乎相同。
滑铁卢研究人员希望进一步进行蒸馏过程。如果可以将60,000张图像缩小到10张，为什么不将它们挤成五个呢？他们意识到的诀窍是创建将多位数字融合在一起的图像，然后将它们送入带有混合动力车或“软”标签的AI模型中 - 回想一下马匹和犀牛具有独角兽的部分特征。
“如果您想到Digit 3，它看起来也像Digit 8，但没有数字7，” Waterloo博士学位学生兼报纸的首席作者Ilia Sostolutsky说。“软标签试图捕获这些共享功能。因此，我们没有告诉机器，‘这张图像是数字3，’我们说，‘该图像是数字3，30％的数字8，数字8，而10％的数字为0。’”
一旦研究人员成功使用软标签来实现MNIST的Lo-shot学习，他们就开始怀疑这个想法实际上可以走多远。您可以教授AI模型以从少量示例中识别的类别数量有限制吗？
令人惊讶的是，答案似乎是没有。使用精心设计的软标签，即使有两个示例也可以在理论上编码任意数量的类别。Sustolutsky说：“有了两点，您可以将一千堂课或10,000堂课或一百万堂课分开。”
这就是研究人员通过纯粹的数学探索在最新论文中所展示的。他们使用最简单的机器学习算法之一（称为K-Nearest邻居（KNN））来介绍这个概念，该算法使用图形方法对对象进行了分类。
要了解KNN的工作原理，请以将水果分类为示例的任务。如果您想训练KNN模型以了解苹果和橙子之间的差异，则必须首先选择要使用的特征来表示每种水果。也许您会选择颜色和重量，因此，对于每个苹果和橙色，您可以将KNN一个数据点以水果的颜色作为X值和重量作为其Y值。然后，KNN算法将所有数据点绘制在2D图表上，并在苹果和橘子之间的中间直接绘制边界线。在这一点上，该图将整齐地分为两个类，并且该算法现在可以根据属于线路的哪一侧来决定新数据点是否代表一个或另一个。
为了通过KNN算法探索Lo-shot Learning，研究人员创建了一系列微小的合成数据集并精心设计了其软标签。然后，他们让KNN绘制了所看到的边界线，并发现它成功地将绘图分为多个类，而不是数据点。研究人员还对边界线下降的位置具有高度的控制。使用对软标签的各种调整，它们可以获取KNN算法以绘制花朵形状的精确图案。
当然，这些理论探索有一些限制。尽管Lo-hot学习的想法应该转移到更复杂的算法中，但设计软标记的示例的任务越来越困难。KNN算法是可解释的和视觉上的，使人类可以设计标签。神经网络是复杂且无法穿透的，这意味着可能不是正确的。用于设计神经网络的软标签示例的数据蒸馏也有一个主要的劣势：它要求您从巨型数据集开始，以便将其缩小到更有效的效率。
Suclutsky说，他现在正在努力弄清其他方法来设计这些微小的合成数据集 - 无论是手工还是使用其他算法设计它们。尽管存在这些额外的研究挑战，但本文为Lo-Shot学习提供了理论基础。
他说：“结论取决于您拥有的数据集，您可能会获得巨大的效率提高。”
这就是麻省理工学院博士学位的学生Tongzhou Wang最感兴趣的人，他领导了较早的数据蒸馏研究。
他谈到Sostolutsky的贡献时说：“本文以一个真正新颖而重要的目标为基础：从小型数据集中学习强大的模型。”
蒙特利尔AI伦理研究所的研究人员瑞安·库拉纳（Ryan Khurana）回应了这种观点：“最重要的是，'少于一个练习的学习将根本减少数据要求，以构建功能性模型。”这可能会使迄今为止受到该领域数据要求阻碍的公司和行业更容易获得AI。它也可以改善数据隐私，因为必须从个人中提取较少的信息才能培训有用的模型。
Suclutsky强调这项研究还早，但他很兴奋。他说，每当他开始向研究人员发表论文时，他们最初的反应就是说这个想法是不可能的。当他们突然意识到不是这样，它就打开了一个全新的世界。
