OpenAI首次亮相，大规模GPT-3 AI升级，超过1750亿参数
对指数的未来感兴趣？加入我们的Xpotential社区，通过我们Xpotential Academy的课程来证明自己的未来证明，连接，观看主题演讲或浏览我的博客。
A team of more than 30 OpenAI researchers, who recently received a $1 Billion grant from Microsoft to create the world’s first Artificial General Intelligence, have released a paper about GPT-3, a revolutionary Artificial Intelligence (AI) language model that achieved world beating state of the art results for a range of tasks that include everything from being able to write scarily accurate sounding fake news and basic code all the way through to helping people create new types of never ending “procedural” games, and writing为学生赢得学期论文，这些论文帮助他们通过鲜艳的颜色通过了课程。
GPT-3具有高达1750亿个参数，在AI中，GPT-2的最大版本是15亿个参数，世界上最大的基于变压器的语言模型是由Microsoft本月早些时候引入的，是170亿个参数。
GPT-3与人脑！
Openai去年发布了GPT-2，由于担心强大的AI可用于恶意目的而引起争议的释放方法。Openai因交错的方法而受到某些人的批评，而其他人则称赞该公司表现出一种谨慎释放AI模型有可能滥用潜力的方法。GPT-3上周在预印杂志论文中首次亮相，但到目前为止，尚未提供官方发布日期，当被问及是否将发布GPT-3的完整版本或七个较小版本之一的大小从1.25亿到130亿到130亿个参数不等时，OpenAI发言人拒绝发表评论。
许多基于最先进的变压器的模型已经发展为在许多自然语言处理任务上实现人级的性能。作者说，近年来许多语言模型进步背后的基于变压器体系结构的方法受到特定于任务数据集和微调的需求的限制。取而代之的是，GPT-3是一种自动回归模型，该模型通过无监督的机器学习训练，并专注于几杆学习，该学习在推理运行时提供了一项任务的演示。
论文写道：“在这里，我们表明，扩展语言模型会大大改善任务不合时宜的，几乎没有射击的性能，有时甚至通过先前的最新微调方法具有竞争力。”“对于所有任务，GPT-3都无需任何梯度更新或微调即可应用，任务和少量演示纯粹是通过与模型的文本互动指定的。”
“广泛地，在NLP任务上，GPT-3在零拍和单次设置中取得了令人鼓舞的结果，并且在少数拍摄的环境中，有时[IT]有时与竞争激烈，甚至有时超过了最先进的设置（尽管由精心调整的模型持有最新的模型），”作者指出。”
新论文以不同尺寸的GPT-3的形式来评估几乎没有的学习结果，以及一声学习，这是最紧密地模仿人类学习方式的那种思考，而零照片学习，其中只有在运行时提供了对任务的描述。
尽管GPT-3可以很好地生成新闻文章和任务，例如在句子中使用新颖的单词或执行算术，但在常识性推理方面可能会缺乏。在去年推出的高级基准测试中，专门针对高级NLP模型测试推理和其他任务，GPT-3在COPA和记录阅读理解的数据集中获得了几乎最先进的结果，但在文字中文字分析（WIC）和种族（Race）和种族，中学和高中考试问题的情况下却短缺。
“在某些任务中，GPT-3在一些涉及比较两个句子或摘要的任务中似乎很弱，例如，是否在两个句子（WIC）（WIC）中使用一个句子，一个句子是否是另一句话是另一个句子的释义，还是一个句子暗示另一句话暗示另一句话。”“通过对GPT-3的优势和劣势（包括这些局限性）的广泛表征，我们希望刺激语言模型中几乎没有学习的学习，并引起人们对最需要进步的关注。”
与许多其他预训练的语言模型不同，在本文中还包括对GPT-3中发现的算法偏见的初步评估。使用Senti WordNet模型评估了GPT-3种族偏见表现的情感分析，并发现“亚洲人”的分数始终取得了积极分数，在GPT-3的七个版本中的三个版本中，在种族群体中排名第一。“黑色”始终在七个GPT-3版本中的五个版本中的情感分析得分较低。因此，与新模型一样庞大和先进的是，它在准备就绪之前仍有一定的路要走。
