AI可以从大脑扫描中重新创建您看到的东西 - 再次
喜欢指数的未来？加入我们的Xpotential社区，通过Xpotential University的课程进行未来的证明，阅读有关指数技术和趋势，连接，观看Keynote或浏览我的博客。
您可能没有听说过功能性磁共振成像或fMRI机器，但它们不仅是最先进的工具来理解我们的思维方式 - 通过在行动中产生令人着迷的和丰富多彩的大脑活动的图像，而且越来越多地是帮助研究人员解析和传递您的思想，情绪，观点，声音，声音，整个MEMENT的想法，直到您的想法，直到您的想法，您的想法，您的想法，您的想法和您的想法，您的想法和您的想法，您的想法和您的想法是您的想法，您的想法是您的想法，您的想法是您的想法，您的想法和您的想法是您的想法，您的想法是您的想法，您的想法是您的想法，您的想法是您的想法，您的想法是您的想法。因此，他们不仅有趣，而且他们在改变世界。
以这种方式看待某人的大脑活动可以告诉神经科学家在哪个人使用的大脑区域使用，而不是个人在想，看见或感觉。数十年来，研究人员一直在试图破解该代码 - 现在，使用人工智能（AI）来解决数字，他们一直在取得严重的进步。日本的两名科学家最近将fMRI数据与先进的图像生成AI相结合，将研究参与者的大脑活动转换为图片，与他们在扫描过程中看到的图片相似。可以在研究人员的网站上看到原始图像和重新创建的图像。
“我们可以使用这类技术来建立潜在的脑机界面，”日本大阪大学的神经科学家Yu Takagi说，该研究的作者之一。这样的未来界面有一天可以帮助目前无法交流的人们，例如那些外表无响应但仍然有意识的人。该研究最近被接受在2023年的计算机视觉和模式识别会议上提出。
这项研究在2022年12月以预印本发布（尚未经过同行评审或发布）以来一直在网上进行了浪潮。在线评论员甚至将这项技术与“思维阅读”进行了比较。但是，专家说，这种描述夸大了这项技术的能力。
“我认为我们不介意阅读，”德克萨斯大学奥斯汀分校的计算神经科学家Shailee Jain说，他没有参与新研究。“我认为这项技术目前对患者或用于坏事的实际有用。
这项新研究远非第一个使用AI在大脑活动上重建人观看的图像的研究。在2019年的实验中，日本京都的研究人员使用一种称为深神经网络的机器学习来重建fMRI扫描中的图像。结果看起来更像是抽象绘画，而不是照片，但是人类法官仍然可以将AI制造的图像与原始图片进行准确的匹配。
此后，神经科学家一直使用更新，更好的AI图像发生器继续这项工作。在最近的研究中，研究人员使用了稳定的扩散，这是一个基于伦敦的启动稳定性AI的所谓扩散模型。Takagi说，扩散模型（包括AI图像发生器（例如DALL-E 2））的类别是“ AI爆炸的主要特征”。这些模型通过在训练图像中添加噪音来学习。像电视静态一样，噪声会扭曲图像 - 但以可预测的方式开始学习。最终，该模型可以单独从“静态”中构建图像。
稳定的扩散于2022年8月向公众发布，已接受数十亿张照片及其标题的培训。它已经学会了识别图片中的模式，因此可以在命令上混合和匹配视觉功能以生成全新的图像。“您只是告诉它，对，‘滑板上的一只狗，’然后它会在滑板上产生一只狗，”阿姆斯特丹大学神经科学家艾里斯·格罗恩（Iris Groen）说，他没有参与这项新研究。研究人员“只是采用了该模型，然后他们说，‘好吧，我们现在可以以一种明智的方式将其链接到大脑扫描吗？’”
新研究中使用的大脑扫描来自一项研究数据库，其中包含较早的研究的结果，该研究的结果八名参与者同意定期放置fMRI扫描仪，并在一年中查看10,000张图像。结果是fMRI数据的巨大存储库，该存储库显示了人脑的视觉中心（或至少这八名人类参与者的大脑）如何响应观看每个图像。在最近的研究中，研究人员使用了来自四名原始参与者的数据。
为了生成重建的图像，AI模型需要与两种不同类型的信息一起使用：图像的低级视觉属性及其更高级别的含义。例如，它不仅是一个在蓝色背景上的角度伸长的物体 - 它是天空中的飞机。大脑还可以与这两种信息一起使用，并在不同地区处理它们。为了将大脑扫描和AI连接起来，研究人员使用线性模型将每个部分处理低级视觉信息的部分结合在一起。他们也对处理高级概念信息的零件也做了同样的事情。
格罗恩说：“通过基本上将它们互相映射，他们能够生成这些图像。”然后，AI模型可以了解一个人的大脑激活中哪些微妙的模式对应于图像的哪些特征。一旦该模型能够识别这些模式，研究人员就将其从未见过的fMRI数据喂养，并任务其生成图像与之一起进行。最后，研究人员可以将生成的图像与原始图像进行比较，以了解模型的性能。
作者在研究中展示的许多图像对看起来非常相似。加州大学圣塔芭芭拉分校的计算机科学家安布吉·辛格（Ambuj Singh）说：“我对此感到兴奋。”辛格说，尽管如此，这并不意味着科学家已经确切地弄清楚了大脑如何处理视觉世界。稳定的扩散模型不一定像大脑能够产生相似结果一样处理图像。作者希望比较这些模型和大脑可以阐明这两个复杂系统的内部工作。
尽管这项技术听起来可能很奇妙，但它有很多局限性。每个模型都必须培训并使用一个人的数据。
“每个人的大脑都确实不同，”荷兰Radboud大学的计算神经科学家Lynn Le说，他没有参与研究。如果您想从大脑扫描中重建图像，则必须训练一种自定义模型，为此，科学家将需要大脑中的高质量fMRI数据。除非您同意完美静止并专注于张别的幽闭恐惧症MRI管中的数千个图像，否则任何现有的AI模型都不会有足够的数据来开始解码您的大脑活动。
Jain解释说，即使有了这些数据，AI模型也只擅长于他们经过明确培训的任务。经过培训的模型，介绍了您如何看待图像对于试图解码您在想的概念而无法使用的模型，尽管包括Jain在内的一些研究团队正在为此构建其他模型。
目前尚不清楚这项技术是否可以重建参与者只想想象的，而不是用眼睛看的图像。对于该技术的许多应用，这种功能是必要的，例如使用脑部计算机界面来帮助那些无法说话或姿态与世界交流的人。
Jain说：“从建立解码技术中，神经科学有很多可获得的东西。”但是，潜在的伦理难题带来了潜在的好处，随着这些技术的改善，解决这些问题将变得越来越重要。她说，该技术的当前局限性是“不够好的借口，无法轻易解码。”“我认为现在是时候考虑这种技术的隐私和负面用途的时间，即使我们可能不在那可能发生的阶段。”
