OpenAI今天在分阶段发布的GPT-2中发布了最终模型,这是AI社区多年来一直在谈论的怪异文本生成器。
GPT-2使用机器学习根据有限的输入生成新颖的文本。基本上,您可以输入任何您喜欢的内容的句子,然后AI会吐出一些“相关”文本。与大多数“文本生成器”不同,它不输出预写的字符串。至少根据OpenAI的研究论文,GPT-2构成了以前不存在的文本。
这家非营利性组织在2月份成为头条新闻,当时它宣布不会立即将GPT-2的全尺寸模型全部发布给公众。相反,该公司选择在八个月内分四部分发布它。
由于我们担心该技术的恶意应用,因此我们不会发布经过训练的模型。作为负责任披露的一项实验,我们将发布一个供研究人员进行实验的小得多的模型以及一份技术论文。
完整模型包含15亿个参数。训练模型所用的参数越多,它看起来就越“智能”-就像人类一样,实践可以完美。
最初,OpenAI发布了具有1.24亿个参数的模型,随后发布了355和7.74亿个参数。每次迭代都显示出与以前的迭代相比功能上的显着提高。我们检查了774M模型并被吹走了。您可以在此链接上自行尝试,开发人员Adam King将模型转换为UI。
除了新的1.5B型模型砝码外,OpenAI还发布了GPT-2检测模型,以尽力防止滥用。不幸的是,根据OpenAI,检测器不如生成器好。该公司在今天的博客中说:
我们进行了内部检测研究,并开发了一种检测模型,其检测率约为95%,可检测生成的1.5B GPT-2,具体而言,我们基于RoBERTaBASE(1.25亿个参数)和RoBERTaLARGE(3.55亿个参数)建立了序列分类器)并对其进行微调,以将1.5B GPT-2模型与WebText(我们用来训练GPT-2模型的数据集)的输出进行分类。
我们认为,对于独立检测而言,此准确性不够高,需要与基于元数据的方法,人为判断和公共教育相结合才能更加有效。我们将发布此模型,以协助研究合成文本的检测,尽管这样做确实可以使具有访问权限的对手更好地逃避检测。
一旦我们有机会尝试完整的模型,我们将进入GPT-2完整版本的对抗性(积极)用例。在此期间,您可以下载该模型在这里Github上,检查出的模卡在这里,并宣读OpenAI的博客文章在这里。