OpenAI的聊天机器人ChatGPT最近可谓是火到出圈，这也让大家对ChatGPT背后的技术非常好奇。GPT-3是OpenAI产品历程中的一个重要里程碑，也是其Codex和ChatGPT等应用的基石。
近期，机器学习平台Weights & Biases（W&B）发表了OpenAI的产品与合作伙伴关系副总裁Peter Welinder接受W&B员工Lukas和Boris的采访：“Fine-tuning OpenAI's GPT-3”。Peter Welinder现任OpenAI产品与合作伙伴副总裁，负责GPT-3的运行和其他业务。
在采访中，Peter Welinder比较全面地解密了OpenAI背后的故事，并对GPT-3的研发和商用情况做了详细介绍，特别是OpenAI怎样训练GPT-3使得它在文章摘要、翻译以及问题回答等任务中展现出出色的能力；以及用户应该如何利用GPT-3进行微调来更好地将其应用于翻译、文案写作和其他商业任务中；最后Peter Welinder还介绍了OpenAI团队对于GPT-3 API产品研发和工程实施的一些思路。
GPT-3是一种大型语言模型，被训练用来在给定上下文中预测下一个单词，使用Transformer架构。它很灵活，可以用于翻译、摘要、分类和问答等任务。GPT-3的优势在于它的简单性和不需要专门训练数据集就能表现良好的能力。GPT-3可以用于翻译任务，方法是提供比如“德语：英语”对的翻译样例，或者像问人一样要求模型翻译给定的句子。
尽管GPT-3主要是在英语数据上训练的，但仍然能够在翻译任务中表现良好，因为它能够通过提供的样例中的模式，并利用自己的一般语言能力产生翻译。GPT-3也可以用于摘要和问答等任务。GPT-3在商业应用中也取得了成功，如文本生成和问答。它明显比早期版本的GPT更大、功能更强大，训练的数据也更多。它被用来生成创意写作任务的起点或变体，如产品描述，并已与OpenAI API集成，使开发人员更容易使用。
API允许用户对GPT-3进行特定任务的微调，包括设置学习率和数据的过渡次数，以及选择模型大小。