另一个AI机器人在发明公司政策后会导致混乱
喜欢指数的未来？加入我们的Xpotential社区，通过Xpotential University的课程进行未来的证明，阅读有关指数技术和趋势，连接，观看Keynote或浏览我的博客。
周一，使用流行人工智能（AI）供电的代码编辑器光标的开发人员注意到了一些奇怪的东西：在机器之间切换，立即将它们登录，为使用多个设备的程序员打破了共同的工作流程。当用户联系光标支持时，一个名为“ SAM”的代理告诉他们，这是根据新政策下的行为。但是没有这样的政策，山姆是一个机器人。AI模型制定了这项政策，引发了有关黑客新闻和Reddit上记录的一波投诉和取消威胁。
这标志着AI的最新实例（也称为“幻觉”）造成了潜在的业务损失，并在加拿大航空公司制定的另一家AI机器人的背后造成了该航空公司陷入困境。插图是一种“创造性的填充”响应，其中AI模型发明了合理的听起来但错误的信息。AI模型没有承认不确定性，而是优先考虑创建合理，自信的响应，即使这意味着从头开始制造信息。
对于在没有人类监督的情况下以客户角色部署这些系统的公司，后果可能是直接且昂贵的：沮丧的客户，受损的信任，以及在光标的情况下，有可能被取消的订阅。
该事件始于当Reddit用户名为Brokentoasteroven的Reddit用户注意到，在台式机，笔记本电脑和远程开发框之间交换时，光标会话出乎意料地终止。
Brokentoasteroven在一条消息中写道：“登录一台计算机上的光标立即使会话无效。”“这是一个重要的UX回归。”
困惑和沮丧，用户写了一封电子邮件给光标的支持，并迅速收到了SAM的答复：“光标旨在使用每个订阅作为核心安全功能的一种设备，”电子邮件回复。回应听起来是确定的，官方的，用户并不怀疑山姆不是人类。
在最初的Reddit帖子之后，用户将帖子作为对实际政策更改的正式确认 - 这是许多程序员日常工作至关重要的习惯。
一位用户写道：“多设备工作流是开发人员的表赌注。”
不久之后，一些用户公开宣布了他们对Reddit的订阅取消，并认为该政策是其原因。
“我实际上只是取消了我的潜艇，”原始的Reddit海报写道，并补充说他们的工作场所现在“完全清除了”。其他人加入了：“是的，我也取消了，这是asinine。”
不久之后，主持人锁定了Reddit线程并删除了原始帖子。
“嘿！我们没有这样的政策，”三个小时后的Reddit回复中写道。“当然，您可以在多台机器上使用光标。不幸的是，这是前线AI支持机器人的错误响应。”
光标崩溃回想起2024年2月的类似情节，当时加拿大航空公司被命令纪念自己的聊天机器人发明的退款政策。在这一事件中，杰克·莫法特（Jake Moffatt）在他的祖母去世后与加拿大航空的支持联系，该航空公司的AI代理商不正确地告诉他，他可以预订定期的航班并追溯申请丧亲率。当加拿大航空后来否认他的退款请求时，该公司辩称：“聊天机器人是一个独立的法人实体，负责自己的行动。”加拿大法庭拒绝了这项辩护，裁定公司负责其AI工具提供的信息 - 该公司在采用新的AI机器人和工具时为公司打开了全新的危险罐头蠕虫。
光标员工并没有像加拿大航空所做的那样提出责任，而是承认了这一错误，并采取了措施进行修改。光标共同创始人迈克尔·特鲁尔（Michael Truell）随后对黑客新闻道歉，因为他们对不存在的政策感到困惑，并解释说，用户已被退还，并且由于后端变更而引起的，旨在改善会议安全性，该安全性无意识地造成了某些用户的会话无效问题。
他补充说：“现在，任何用于电子邮件支持的AI响应都被明确标记为这样。”“我们使用AI辅助响应作为电子邮件支持的第一个过滤器。”
尽管如此，这一事件仍引发了有关用户披露的问题，因为许多与山姆互动的人显然认为这是人类。
一位用户在Hacker News上写道：“ LLMS假装是人（您命名为Sam！），并且没有标记为这样的标签，这显然是欺骗性的。”
尽管光标员工修复了技术错误，但该集显示了在面向客户角色中部署AI模型的风险，而无需适当的保障和透明度。对于向开发人员出售AI生产力工具的公司，拥有自己的AI支持系统发明了一项疏远其核心用户的政策，代表了一个特别尴尬的自我伤口。
一位用户在《黑客新闻》上写道：“有些具有讽刺意味的是，人们真的很难说幻觉不再是一个大问题，然后一家将从这种叙述中受益的公司会直接受到它的伤害。”
