【编者按：OpenAI CEO Sam Altman在不久前的一次访谈中比较开放地谈到OpenAI的下一步发展计划。在该访谈中，他表示OpenAI目前正在面临着GPU资源限制，这影响了API的可靠性和速度，但他们致力于降低API成本并推出更快、更便宜的GPT-4模型。此外，他们计划提供更长的上下文窗口和更好的微调支持，未来可能还会推出有记忆功能的API版本。虽然开发者对通过API获取ChatGPT插件很感兴趣，但目前OpenAI暂未计划发布插件。另外，OpenAI承诺不会与开发者竞争，除了ChatGPT。关于监管，Sam认为现有模型并不危险，同时强调了开源的重要性，OpenAI正在考虑开源GPT-3。大模型的伸缩律目前仍然适用，这对AGI的发展时间表有重要意义，虽然伸缩律增长的速度可能不可持续。这些计划可能会有调整，但显示了OpenAI致力于推动人工智能发展并满足开发者需求的承诺。我们特将该访谈内容编译出来和各位客户、合作伙伴朋友分享。如需转载，请联系我们（ID：15937102830）】

上周，我（Raza Habib，Humanloop的首席执行官兼联合创始人）有幸与Sam Altman和其他20位开发者坐在一起，讨论了OpenAI的API和他们的产品计划。Sam非常开放地进行了讲述。讨论涉及实际的开发者问题，以及与OpenAI的使命和人工智能对社会的影响相关的更宏大的问题。以下是主要的要点：

01

OpenAI目前受到GPU的严重限制

讨论中经常提到的一个主题是，目前OpenAI的GPU资源非常有限，这导致了许多短期计划的延迟。最大的客户投诉是关于API的可靠性和速度。Sam承认了他们的担忧，并解释说问题的大部分原因是由于GPU短缺引起的。

目前还不能将更长的32k上下文范围推广给更多人使用

OpenAI还没有克服注意力机制的O(n^2)扩展问题，因此虽然他们看起来可能会很快（今年内）实现100k-1M标记的上下文窗口，但更大的范围则需要研究上的突破。

微调API目前也受到GPU可用性的瓶颈限制

他们目前还没有使用高效的微调方法，比如Adapters或LoRa，因此微调过程需要大量的计算资源。未来将提供更好的微调支持。他们甚至可能会提供一个由社区贡献的模型构成的市场。

专用容量的提供受到GPU可用性的限制

OpenAI还提供专用容量，为客户提供模型的私有副本。要使用此服务，客户必须愿意预先承诺10万美元的开支。

02

OpenAI的近期路线图

Sam分享了他认为OpenAI在API方面的初步近期路线图。

2023年:

更便宜和更快的GPT-4

这是他们的首要任务。总体而言，OpenAI的目标是将"智能的成本"降到最低，因此他们将努力不断降低API的成本。

更长的上下文窗口

在不久的将来，上下文窗口高达100万个标记是可行的。微调API，微调API将扩展到最新的模型，但具体形式将根据开发者真正需要的内容来确定。

一个有状态的API

当你今天调用聊天API时，你必须反复传递相同的对话历史，并且需要支付相同的标记费用。在未来，将会有一个记住对话历史的API版本。

2024年:

多模态

这是GPT-4发布的一部分进行演示，但在更多GPU上线之前，无法扩展到所有人。

03

插件”没有PMF“可能暂时不会出现在API中

很多开发者对通过API获得ChatGPT插件感兴趣，但Sam表示他认为这些插件不会很快发布。除了浏览之外，插件的使用表明它们尚未具备PMF（Product-Market Fit，产品与市场契合度）。他表示很多人认为他们希望他们的应用程序内置在ChatGPT中，但实际上他们真正想要的是在他们的应用程序中使用ChatGPT。

04

除了ChatGPT，OpenAI将避免与客户竞争

许多开发者表示，他们在使用OpenAI的API构建应用程序时感到紧张，因为OpenAI可能会发布与他们竞争的产品。Sam表示，除了ChatGPT之外，OpenAI不会发布更多的产品。他说伟大的平台公司往往都有杀手级应用程序，而ChatGPT将使他们能够通过成为自己产品的客户来改进API。ChatGPT的愿景是成为一款超智能的工作助手，但OpenAI不会涉及许多其他的GPT应用案例。

05

需要监管，但开源也很重要

尽管Sam呼吁对未来的模型进行监管，但他认为现有的模型并不危险，并认为监管或禁止它们将是一个巨大的错误。他再次强调了对开源的重视，并表示OpenAI正在考虑开源GPT-3。他们尚未开源的部分原因是他对有多少个人和公司具备托管和提供大型语言模型的能力持怀疑态度。

06

伸缩律仍然适用

最近有许多文章声称“巨型AI模型的时代已经过去”。这并不准确地表达了原意。

OpenAI的内部数据表明，模型与性能的伸缩律仍然适用，扩大模型的规模将继续提高性能。伸缩律的速度无法保持，因为OpenAI在短短几年内使模型变得庞大了数百万倍，继续这样做将不可持续。这并不意味着OpenAI不会继续努力使模型更大，只是意味着它们可能每年增加两倍或三倍的大小，而不是增加数个数量级。

伸缩律仍然有效的事实对于AGI（人工通用智能）发展的时间表具有重要的影响。伸缩律假设是这样一种观点：我们可能已经拥有了构建AGI所需的大部分要素，而剩下的工作大部分将是将现有方法扩展到更大的模型和更大的数据集上。如果伸缩律时代已经过去，那么我们可能预计AGI的到来会更远。而伸缩律仍然适用强烈暗示了更短的时间线。

花粉社群VIP加油站