当前位置:首页 > > OpenAI发布了有史以来最强的NLP预训练模型GPT-3

2020年5月底OpenAI发布了有史以来最强的NLP预训练模型GPT-3,最大的GPT-3模型参数达到了1750亿个参数。论文《Language Models are Few-Shot Learners》长达74页已发布在arXiv。

有网友估算最大的GPT-3模型大小大约有700G,这个大小即使OpenAI公开模型,我们一般的电脑也无法使用。一般需要使用分布式集群才能把这个模型跑起来。虽然OpenAI没有公布论文的花费,不过有网友估计这篇论文大约花费了上千万美元用于模型训练。

如此惊人的模型在模型的设计上和训练上有什么特别之处吗?答案是没有。作者表示GPT-3的模型架构跟GPT-2是一样的,只是使用了更多的模型参数。模型训练也跟GPT-2是一样的,使用预测下一个词的方式来训练语言模型,只不过GPT-3训练时使用了更多的数据。

既然这样,那这只怪兽特别之处是什么?GPT-3论文的核心在于下图:



 
 
  机器人推荐
 
栏目导航
 
最新信息
 
 
 
隐私条款
隐私政策
使用条款
咨询热线
 
销售咨询
4006-935-088 / 4006-937-088
客服热线
4008-128-728
 

版权所有 @ 创泽智能机器人集团股份有限公司      鲁ICP备18039973号-2      运营中心 / 北京·清华科技园九号楼5层      生产中心 / 山东省日照市开发区太原路71号

消毒机器人   讲解机器人   迎宾机器人   机器人底盘   商用机器人   智能垃圾站   智能服务机器人   大屏机器人  雾化消毒机器人  紫外线消毒机器人  消毒机器人价格  消毒机器人厂家  服务机器人底盘  核酸采样机器人  雾化消毒机  机器人OEM代工厂  智能配送机器人  喷雾消毒机器人  图书馆机器人  酒店送物机器人  云迹科技润机器