OpenAI：人工智能突破的前沿

Sam Altman 曾多次讲述创立 OpenAI 的故事。他表示，从他在斯坦福大学上学的时候，他就一直对人工智能着迷。辍学后，他创建了一个由 YC 支持的基于位置的社交网络，但最终失败了。2012年，他成为YC合伙人。同年恰好是人工智能非常有趣的一年，在语音/图像识别和神经网络方面取得了突破。

2014 年，Paul Graham 宣布 Sam Altman 将接替他担任 YC 总裁。在领导 YC 期间，他迅速扩大了他们的项目，推出了增长基金和研究机构，并推动 YC 投资于神经网络和核能等更多硬技术。2015 年初，Altman 觉得整个人工智能没有得到足够的关注。所做的任何工作都是商业性的，但在技术的基础水平上进展甚微。

2015 年 12 月，Altman 辞去了 YC 的职务，并宣布成立 OpenAI，作为一个非营利性研究组织，他自己和埃隆·马斯克 (Elon Musk) 担任联合主席。他们这样表达了他们的愿景：

这家组织的人员名单是人工智能世界的名人录。

“OpenAI 的研究总监是 Ilya Sutskever，他是世界机器学习领域的专家之一。我们的 CTO 是 Greg Brockman，他是 Stripe 的前任 CTO。该小组的其他创始成员都是世界级的研究工程师和科学家：Trevor Blackwell、Vicki Cheung、Andrej Karpathy、Durk Kingma、John Schulman、Pamela Vagata 和 Wojciech Zaremba。Pieter Abbeel、Yoshua Bengio、Alan Kay、Sergey Levine 和 Vishal Sikka 是该小组的顾问。”

一些参与其中的领导者、Paul Graham 等 YC 的领导者以及 AWS 和 Infosys 等企业赞助商共同向该组织捐赠了 10 亿美元。尽管这项技术还处于萌芽阶段，但愿景很明确。它的成立宗旨是确保通用人工智能（AGI）造福人类。OpenAI 的早期愿景是与其他机构和研究人员公开合作，向全世界开放他们的专利和研究成果。

随着时间的推移，OpenAI 认识到其现有模型的一些局限性，并于 2019 年 3 月将其状态从非营利性改为有“上限”营利性，所有投资的利润限制为 100 倍。他们这样解释他们的理由：

为了使公司能够实现其大胆的愿景，它需要吸引处于这种新兴技术前沿的人才。他们早期的挑战是，当谷歌或亚马逊等公司拥有巨额资金来慷慨支付最优秀人才时，他们试图以非营利组织的形式吸引世界一流的人才。在其他大公司为研究人员提供市场价2-3倍的报酬时，OpenAI团队采取了完全不同的策略。他们提供的是“一个专注于未来而非产品和季度盈利的研究探索机会。”

他们能够吸引像Ilya Sutskever（谷歌顶尖的神经网络研究员）、Yoshua Bengio（深度学习的奠基人）和Wojciech Zaremba（曾就职于Nvidia、谷歌大脑和Facebook的波兰数学家，专注于神经网络）这样的杰出人才。OpenAI人才生态系统中的其他关键参与者包括Pieter Abbeel，他是加州大学伯克利分校的人工智能和机器人学教授，曾在伯克利大学领导人工智能研究，以及Andrej Karpathy，他是特斯拉的高级人工智能主管，在那里他领导负责Autopilot上所有神经网络的团队。他在斯坦福大学获得的深度学习、计算机视觉和自然语言处理方面的博士学位对OpenAI早期的研究工作至关重要。

2018 年 2 月，由于与特斯拉的人工智能目标存在利益冲突以及对该组织方向的分歧，马斯克离开了 OpenAI 非营利委员会，公司由 Sam Altman 运营，他于 2019 年成为 OpenAI 的首席执行官，自 2022 年 5 月起，Greg Brockman 担任总裁，Brad Lightcap 担任首席运营官，Mira Murati 担任首席技术官。OpenAI 的三个主要部门拥有超过 450 名员工：

• Capabilities能力：推进人工智能系统的功能

• Safety安全：确保这些系统符合人类价值观

• Policy政策：确保对系统进行适当的治理。

自 2016 年推出以来，公司不断尝试不同的项目和应用。他们的一些产品包括将神经网络应用于机器人或开发可以击败人类的游戏。其中大部分是对人工智能基础知识的早期实验和研究。然而，推出大约两年后出现了重大突破。

2018 年 6 月，OpenAI 的研究人员发表了一篇题为“通过无监督学习提高语言理解”（ Improving Language Understanding with Unsupervised Learning）的论文，揭示了语言模型的一些关键进展。这是研究人员首次证明了通过结合 Transformer 模型和无监督预训练来改进语言模型的可能性。这就催生了现在大多数人所熟知的 GPT（生成式预训练 Transformer）。

OpenAI 主要致力于推进强化学习、自然语言处理、机器人、生成语言和多模态模型方面的研究和构建基础模型。OpenAI 产品的核心是提供可扩展的 API（应用程序编程接口），可以访问其所有模型。尽管 OpenAI 有各种研究和项目计划，但其核心产品（或研究模型）可大致分为：GPT（生成式预训练变压器）和DALL-E（大型图片模型）。

1、GPT

GPT本质上是一个神经网络机器学习模型，它通过互联网上的数据训练，以生成任何类型的文本（类似于大脑突触的功能）。GPT是一种无监督的语言模型，它只需要相对较少的输入文本就能生成大量的特定机器生成文本。GPT的第一个版本是2019年发布的GPT-2。当时，它拥有超过15亿的参数，在仅仅通过网络和Reddit的800万份文档训练后，就达到了很高的准确度。

GPT-3最初于2020年9月向研究社区发布，随后在2021年3月通过一个API更广泛地向公众发布。GPT-3之所以意义重大，是因为它的语言训练涉及超过1750亿个参数，是之前模型15亿参数的10倍，而且它的表现在零样本和少样本学习方面相较于GPT-2的8项测试结果中的7项来说有显著提升。GPT-2与GPT-3之间的进步仅用了不到九个月的时间，展示了该行业内创新发展的迅猛速度。

ChatGPT是一个基于 OpenAI 的 GPT-3 模型构建的聊天机器人。值得注意的是，其主要区别在于 ChatGPT 是根据 GPT-3.5 系列中的模型进行微调的。新一代模型在 2021 年第四季度之前接受了文本和代码（文章、书籍、Reddit 评论、人类对话等）混合的训练。

Source: OpenAI

OpenAI在2022年11月推出了一个研究预览版。该模型是通过人类反馈的强化学习（RLHF）训练出来的。基本上，人工智能中的强化学习意味着训练机器学习模型以便更好地做出决策。它涉及向模型提供输入数据并促使其给出输出。如果输出错误，人类会不断调整直到模型给出正确答案。OpenAI通过监督式微调训练了这个模型。人类AI培训师提供了对话，在对话中他们扮演用户和AI助手双方的角色。培训师们得到了机器模型写的建议，帮助他们组织回答。这个过程被重复多次。

2023年9月，继7月推出GPT-4之后，推出新的语音和图像功能。它们提供了一种新的、更直观的界面，允许用户进行语音对话或向 ChatGPT 展示正在谈论的内容。

OpenAI Codex 源自 GPT-3 模型。OpenAI 的 Codex 是一种经过训练来编写和生成代码的神经网络模型。OpenAI Codex 在 5400 万个 GitHub 存储库和 159 GB 的 Python 文件上进行了训练。Codex 可以将自然语言翻译为代码，并用于呈现网页、启动 Web 服务器和发送电子邮件。使用 Codex 可以完成的实际操作示例包括使用三行指令创建 Mailchimp 界面功能，或使用 JavaScript 创建用户界面。它还可以使用 Python 的 matplotlib 库生成数据科学代码和图表。

2、DALL-E

DALL-E 是一种基于 Transformer 的模型，用于创建图像。它于 2021 年 1 月首次推出。DALL-E 使用 GPT-3 的 120 亿参数版本来解释自然语言输入。DALL-E 是一个经过 4 亿对图像和文本训练的网络。DALL-E 与 CLIP（对比语言-图像预训练）一起发布。CLIP 是一个以 CLIP 图像嵌入为条件的开源扩散模型。这些模型可以从自然语言监督中有效地学习视觉概念。

Source: OpenAI

2022 年 4 月，OpenAI 发布了 DALL-E 2，这是一种新的人工智能系统，可根据描述性提示创建逼真的图像和艺术。DALL-E 2 的用例包括组合或编辑现有图像以及创建现有图像的不同变体。

Source: OpenAI

2023年10月，OpenAI向 Plus 和 Enterprise 用户推出 DALL-E 3，与其前身相比，DALL-E 3 生成的图像不仅在视觉上更加引人注目，而且细节也更加清晰。DALL·E 3 可以可靠地渲染复杂的细节，包括文本、手和面部。

Source: OpenAI

3、OpenAI 其他项目

OpenAI 提供的其他产品、模型和应用程序也值得重点关注。其中许多目前还没有引起注意，但随着时间的推移可能会演变成有影响力的产品：

• OpenAI Whisper：OpenAI 开源 Whisper，这是一种英语语音识别模型。Whisper 可用于构建支持将多种语言转录为英语的应用程序，反之亦然。

  
  

• OpenAI's MuseNet: 这是一个在 GPT-2 上训练的深度神经网络，用于预测音乐文件中的后续音符。它可以用 10 种不同的乐器生成音乐作品。

  
  

• OpenAI Gym: 这是一个基于 Python 的编程环境，用于开发和测试学习代理。这些适合帮助人们推进强化学习技术。

  
  

• OpenAI Debate game: OpenAI 的目标是尝试开发可解释的人工智能，能够学习审核人工智能决策并检测谎言。

  
  

• OpenAI RoboSumo: 旨在模拟人类动作（例如擒抱或踢腿）并适应不断变化的条件的机器人。

  
  

• OpenAI Dactyl: 一种能够操纵物理对象的类人机械手。其最受欢迎的应用是 Dactyl 机器人能够以普通人 60% 的时间解决 Rubrik 魔方问题。

  
  

Source: OpenAI

OpenAI构建的所有产品都具有广泛的适用性和可获取性。OpenAI的产品可以跨消费者、初创公司和企业使用。

除了核心开发人员或初创公司之外，越来越明显的是，普通非技术用户将成为 OpenAI 产品的主要用户。教育工作者、研究人员、非营利组织、医疗机构和许多其他组织依赖 OpenAI 的模型来完成基本的日常任务或特定垂直行业模型。

NLP 技术的市场预计将以 25.7% 的复合年增长率增长，从 2020 年的 116 亿美元增长到 2027 年的 494 亿美元。这种增长主要是由对能够分析文本并从中生成见解的技术的需求推动的。

在使用自然语言处理 (NLP) 模型解决不同行业内应用落地的推动下，人工智能市场到 2028 年可能增长到 4,220 亿美元，复合年增长率为 39%。

OpenAI 的大型语言模型已经成为为开发人员提供创建自己的企业和消费者应用程序的构建块的平台。Nvidia 首席执行官黄仁勋也同样认为：

“未来，您将看到大型语言模型本质上成为一个 24/7 运行的平台，托管大量应用程序。”

OpenAI 已经为数以千计的商业应用程序提供支持，包括人工智能文案、语义搜索和客户支持。目前有成千上万家公司在构建生成式 AI，这些公司在全球资本市场寒冬拿到大量融资（具体见SVTR AI周报）。

随着对这些模型的需求不断增长，并且计算成本随着时间的推移而降低，OpenAI 可能会发现自己正在为整个经济提供动力，就像亚马逊的 AWS 控制当今经济中很大一部分应用程序一样。

Source: Foundational Capital

OpenAI 最直接的竞争对象是其他资金雄厚的人工智能研究实验室，例如 Alphabet 的 DeepMind 和 Meta AI Research，所有这些实验室都发布了与 GPT-3 性能类似的大规模语言模型。

DeepMind

谷歌位于伦敦的人工智能研究实验室。它于 2014 年被 Alphabet 以 5 亿美元收购。DeepMind 一直是构建神经网络最前沿的领先公司之一。DeepMind 因创建了一个神经网络而闻名，该网络可以学习如何以类似于人类的方式玩视频游戏。当谷歌的 AlphaGo 击败前围棋世界冠军时，就发生了这种情况。DeepMind 公开推出了名为 Flamingo 的单一视觉语言模型（VLM），该模型只需少量训练图像即可准确描述某物的图片。

后起之秀

此外，OpenAI 还与 Anthropic、xAI、Cohere、Inflection AI、Hugging Face 等公司竞争。其中Cohere、Adept、Character AI等多家初创公司都是由提出Transformer的经典论文“Attention is all you need”八位作者创立。

Source: 硅谷科技评论（SVTR） 

Anthropic（详见AI周报#025  Anthropic再获谷歌20亿）

2021年成立于美国旧金山，为OpenAI的主要竞争对手之一，自称为道德人工能公司。由 OpenAI 的老员工Daniela和Dario Amodei兄妹两人创立公司，之前都是OpenAI高管。哥哥2011年普林斯顿物理学博士毕业后，在百度和谷歌短暂工作后，加入OpenAI,4年半离开时做到负责研究部门VP，妹妹做到OpenAI负责安全和政策的VP。在上个月获得Amazon12.5亿美元投资后，再次获得谷歌20亿美元的投资。Google在2022年购买了该初创公司大约10%的股份，目前估值在200亿至300亿美元之间——至少是今年3月份融资时投资者给予公司的40亿美元估值的五倍。

xAI（更多AI周报010期）

2023年7月，Elon Musk宣布成立 xAI 以“理解宇宙的真实本质”。xAI团队由12人组成，由曾在OpenAI和Google Deepmind工作过的Igor Babuschkin。马斯克曾购买了约10,000个NVIDIA GPU。狂训2个月，昨天深夜，马斯克的 xAI 发布了旗下第一款大模型产品 Grok AI ，其一大亮点，就是能从推特实时获取信息。

Hugging Face（更多AI周报016期）

2016年在欧洲成立，“机器学习的 Github”，可供开发人员在预先训练的模型上轻松构建和协作（其中许多模型包括类似于 OpenAI 的 GPT-3 的 NLP 模型）。此外，它还提供托管人工智能服务以及社区驱动的人工智能工具和数据集门户。Hugging Face 已经包含了一些 GPT-3 的替代模型，具有相似的性能和准确性，并且它们的模型可以部署在 Microsoft Azure 上。2023年8月，获得2.35亿美元的新资金，由 Salesforce 领投，谷歌、亚马逊、英伟达、英特尔、AMD、高通、IBM和Sound Ventures等公司参与，估值提高至45亿美元。

Inflection AI（更多AI周报008期）

2022年2月成立于加利福尼亚州帕洛阿尔托，旨在为每个人创建"个人人工智能"Pi。2023年7月完成13亿美元的融资，表示他们正在建设世界上最大的AI集群"22K NVIDIA H100芯片，超越微软正在建设一个拥有10K个H100的集群。本轮融资由其中一位创始人Reid Hoffman、微软、比尔·盖茨、埃里克·施密特以及新投资者Nvidia领投。该公司已经筹集了15.25亿美元，并获得了40亿美元的估值。

Cohere（更多AI周报017期）

2019年成立于多伦多，构建一个与OpenAI竞争的人工智能基础模型。2023年6月完成2.7亿美元的融资，由Inovia领投，还有Nvidia、Oracle、Salesforce Ventures、DTCP、Mirae Asset、Schroders Capital、SentinelOne、Thomvest Ventures以及之前的投资者Index Ventures参与。公司总共筹集4.349亿美元的资金。今年9月，公司聘请JPM和高盛为其筹集可能超过30亿美元的估值轮次。

OpenAI 最初成立的目的是成为一个非营利性研究组织，致力于推进通用人工智能 (AGI) 研究，造福人类。在其非营利结构中，所有赚取或捐赠的资金都必须用于实现该组织的目标并支付其运营成本。

然而，随着运行GPU和所需计算成本的飙升，OpenAI需要找到继续资助其运营的方法。正如萨姆·奥特曼所解释的，接受的捐款并不足以管理必要的基础设施。公司决定创建OpenAI LP和一个新的“限利”公司，这使他们能够增加计算量和对人才的获取。奥特曼详细讲述了限利模式，以及它如何设定一个上限，限制投资者和股东从公司获得的利润。它还给予OpenAI非营利董事会相当大的权力，该董事会现在管理着OpenAI LP组织。

2019 年 7 月，微软开始与 OpenAI 合作。作为合作伙伴关系的一部分，OpenAI 同意在 Microsoft Azure 上运行其服务，微软成为 OpenAI 将其人工智能技术商业化的首选合作伙伴。

由于ChatGPT 能够回答具有高度特异性、联系上下文和个性化描述的问题，很快就获得C端消费者的认同。2022年11月，推出五天后，ChatGPT 用户数量超过 100 万，增长速度甚至超过了 Instagram 或 Spotify 等之前的热门平台。ChatGPT 的成功引发了有关 OpenAI 夺取 Google 2000 亿美元搜索业务的可能性的讨论。

Source: Collaborative Fund

OpenAI 主要通过付费访问其 API 来产生收入。业务和定价是通过其图像模型 (DALL-E) 和语言模型 (GPT) 构建的。通过这些，客户可以购买更精细的定制模型。此外，还有嵌入式模型可以构建高级搜索和主题建模。

上个月，山姆·奥尔特曼表示，公司今年年收入超过13亿美金。换句话说，OpenAI平均每月的收入超过1亿美元，比今年夏天的增长了30%，当时其曝出年收入为10亿美元。自今年2月推出付费版ChatGPT以来，OpenAI营收速度取得了显著增长，主要来自用户对其会话聊天机器人的订阅。时间线再拉长一点来看，OpenAI去年全年收入为2800万美元。如果OpenAI今年的营收为13亿美元，那就是同比增长超4500%，等于翻了超45倍。

2023年10月，OpenAI组织了一项收购要约，外部投资者Thrive Capital将能够从一些员工手中购买股票，800亿美元估值，与今年4月完成融资时的270~290亿美元估值相比，短时间内翻了近三倍。微软目前拥有OpenAI 49%的股份，直到其获得920亿美元的利润。详见AI周报#024  OpenAI800亿估值卖老股。

2019 年 3 月，OpenAI 将其公司结构从非营利性转变为“有限利润”公司，名为 OpenAI LP。如前所述，公司的结构确保投资者和员工的经济回报受到限制，上限是根据每个有限合伙人提前协商确定的。任何超额收益都将捐给 OpenAI 非营利组织。第一轮投资者的回报率上限为投资额的 100 倍，随着他们取得更多进展，他们预计未来几轮的回报率会更低。

1、用户群体货币化

数以万计的开发人员使用 OpenAI 的 API 来构建新应用程序或将新应用程序集成到他们现有的产品中。ChatGPT 吸引了数百万用户。然而，OpenAI 的货币化工作仍处于早期阶段。OpenAI有机会开发一套适合消费者、初创企业和那些淹没在大量非结构化数据集中的大型企业的产品。这些公司中的许多都有资格使用OpenAI的模型，如GPT-3、Codex和DALL-E来进行写作、编码、设计以及运行数据驱动的决策制定。

2、成为下一个搜索引擎

ChatGPT 有机会从搜索引擎市场分一杯羹。虽然谷歌是一个难以取代的搜索平台，但这两个平台可以互补使用。谷歌很可能始终在寻找高度准确的信息、权威的查询以及需要引用关键来源的信息方面发挥作用。然而，OpenAI 的 ChatGPT 更适合创意工作。它可以是详细回复、综合论文、代码片段以及需要较少事实信息的内容（例如此处概述的用例）的平台。OpenAI 可以选择通过订阅者（Netflix）或广告（Google）来货币化。无论哪种情况，随着技术的进步，成为数亿用户核心搜索引擎的市场机会都是指数级的。

3、数据增长和AI被广泛采用

IDC 预计全球数据总量将从 2018 年的 33 泽字节增长到 2025 年的 175 泽字节（或 175 万亿千兆字节）。专家估计，全球 80% 到 90% 的数据是非结构化的，无论是文本、图像、视频还是音频。基于数据集。零售、制药和金融组织越来越多地利用文本分析和 NLP 模型从大数据中提取见解，并将其应用到客户体验管理、药物发现和投资等用例中。

Source: IScope

2021 年，全球有 56% 的组织采用了人工智能，而2022年这一数据变为85%，采用率的增加主要是由于人工智能实施的便捷性和显着的财务收益。超过 65% 的公司表示，收入增长归因于人工智能的采用。OpenAI 在人工智能研究中发挥着重要作用，随着组织利用大数据来生成见解并增加人工智能预算，OpenAI 有望从这一趋势中获得巨大收益。

1、开源替代方案

GPT-3 有多种开源替代方案，例如 Meta开源的大模型Llama。此外，地缘政治的影响，全球各国和地区都希望打造属于自己的OpenAI。比如欧洲的Mistral（更多AI周报#026），中国的智谱（更多AI周报#020）和文心一言（更多AI周报#024）。这些初创公司正在奋力赶上OpenAI，与之竞争。即使是当前，开源和替代方案的存在，使得公司客户选择通过微软的Azure来访问OpenAI的API或使用开源替代品。

2、模型偏差

OpenAI 模型可能会生成被视为不真实、有毒或反映有害情绪的输出。训练数据通常包含许多偏见、虚假信息和偏见的例子。 此外，OpenAI 模型可能过于通用，需要针对特定业务用例进行微调。如果企业不对 OpenAI 的模型进行微调，而是直接使用它们，那么 ML 模型对于其用例来说可能不够准确。

3、利润激励

微软等合作伙伴将引导 OpenAI 的研究从 AGI 转向具有短期商业价值的产品。微软最终可能会考虑收购 OpenAI，类似于谷歌在 2014 年收购 DeepMind。商业收购可能会分散公司对人类福利优化或公开共享其所有技术的注意力。商业收购可能会产生与 DeepMind 类似的结果，后者迫使该公司将其资源分配给 AGI 研究和致力于创造有利可图的产品的“应用人工智能”部门。这意味着OpenAI最终可能会投入更少的资源用于人工智能研究，而是专注于创造商业产品，而无法实现创建AGI的使命。

4、商业模式风险

OpenAI 产品的查询所需的大量计算和数据成本存在商业模式风险。如果 GPU 的进步不足以降低规模成本，OpenAI 可能很难创建可行的业务。为了有效地货币化和对大型人工智能模型进行研究，OpenAI 需要进一步完善商业模式。正如 OpenAI 官网博客：

“[OpenAI]需要在未来几年投资数十亿美元进行大规模云计算、吸引和留住人才以及构建人工智能超级计算机。”

迄今为止，OpenAI 一直在推动人工智能研究的前沿，其使命是为人类以最佳方式实现数字智能。该公司最初只是一家非营利研究团体，成立后的 8 年里取得了重大进展。GPT-4、ChatGPT 和 DALL-E  已成为 OpenAI 突破 AI 可能性极限的著名案例。

随着人工智能成为每个人生活中越来越重要的一部分，OpenAI 完全有能力成为未来 10 年内最重要的公司之一。该公司将在推动通用人工智能研究、提高消费者生产力以及为企业应用提供动力方面发挥关键作用。OpenAI 的故事才刚刚开始。