在日常生活让 AI 帮忙完成一些任务，已经不是新鲜事。智能音箱里的 AI，可以告诉你“明天天气怎么样”；翻译软件里的 AI，能准确翻译一大段话甚至一篇文章；写作 AI 则会输出作文。

但它们都只能干一件事，翻译的 AI 写不了作文，问答的 AI 也不会翻译。它们更像一个个工具，而不是一个智能体。一个真正智能的 AI 应该是什么样的？它应该是通用的，既可以对付问答、写文章，也能搞定翻译。

最近在硅谷大火的 GPT-3，就是这么一个 AI。问答、写文、翻译都不在话下，还能写代码、算公式、做表格、画图标。

2018 年 6 月，在 ELMo 基础上，OpenAI 提出了 GPT。GPT 全称 Generative Pre-training，字面意思是“生成式预训练”。

GPT 同样基于预训练模式，但和 ELMo 不同的是，它加入了第二阶段训练：精调（Fine-tuning，又称“微调”），开创了“预训练 精调”的先河。所谓精调，即在第一阶段训练好的模型基础上，使用少量标注语料，针对具体的 NLP 任务来做调整（即有监督学习）。

除了开创“预训练 精调”模式，GPT 还在特征提取器上采用更加强大的 Transformer。所谓特征提取器，就是用来提取语义特征的。Google 在 2017 年推出的 Transformer，比 ELMo 所用的特征提取器 RNN，在综合效果和速度方面有优势。并且，数据量越大，越能凸显出 Transformer 的优点。

GPT 在预训练阶段设计了 12 层 Transformer（层数越多规模越大），并且使用“单向语言模型”作为训练任务。上文说到，ELMo 模型能理解上下文，上文和下文的信息都被充分利用。而 GPT 和之后的迭代版本，坚持用单向语言模型，只使用上文信息。

GPT 的设计思路奠定了此后迭代的基础，但由于它的规模和效果没有很出众，风头很快被 2018 年底亮相的 BERT 所盖过。

再看看算力。从初代 GPT 到 GPT-3，算法模型基本没有变化，都是基于 Transformer 做预训练，但训练数据量和模型规模十倍、千倍地增长。相应地，所需要的算力也越来越夸张。初代 GPT 在 8 个 GPU 上训练一个月就行，而 GPT-2 需要在 256 个 Google Cloud TPU v3 上训练（256 美元每小时），训练时长未知。

2020 年 5 月，微软推出了一台专门为 OpenAI 设计的超级计算机。它托管在 Azure 上，包含超过 28.5 万个处理器内核和 1 万块 GPU，每个显卡服务器的连接速度为 400 Gbps/s。它的性能在超级计算机排名中，可以排到前五。

最后，再来说说 OpenAI 这家机构。埃隆・马斯克和原 Y Combinator 总裁山姆·奥特曼主导成立于 2015 年的 OpenAI，原本是一个纯粹的非营利 AI 研究组织，但经过一次转型和架构调整，加上引入微软投资，现在已经成为混合了营利与非营利性质的企业。

一直以来，OpenAI 的目标都是创建“通用人工智能”（Artificial General Intelligence，简称AGI），就好像文章开头所说的，AGI 是一个可以胜任所有智力任务的 AI。

打造 AGI 的路径有两种，一种是开发出更加强大的算法，另一种是在现有算法基础上进行规模化。OpenAI 就是第二种路径的信仰者。2019 年，OpenAI 核算了自 2012 年来所有模型所用的计算量，包括 AlexNet 和 AlphaGo，发现最大规模 AI 模型所需算力，已经增长了 30 万倍，每 3.4 个月翻一番。而摩尔定律指出，芯片性能翻倍周期是 18–24 个月。这就意味着，最大规模 AI 模型对算力需求的增长，远超芯片性能的提升。

毫无疑问，算力已经成为 NLP 研究甚至 AI 研究的壁垒。知乎用户“李渔”说得好：GPT-3 仅仅只是一个开始，随着这类工作的常态化开展，类似 OpenAI 的机构很可能形成系统性的 AI 技术垄断。

花粉社群VIP加油站