AI视频的未来：Runway VS Pika

1990年出生的Cristóbal Valenzuela Barrera，在智利排名第一的私立学府阿道夫伊瓦涅斯大学（AIU）获得了经济学和工商管理学士学位，并于2012年获得了设计艺术硕士学位。毕业后，他选择留校担任教职。从2016年开始，深度学习的进展给Cristóbal Valenzuela带来了巨大的震撼。于是他辞去工作，前往纽约大学深造，成为了Tisch艺术学院ITP（Interactive Telecommunications Program）项目的研究生，开始寻找制作艺术、生成内容和讲述故事的新方法。

而Runway则是Cristóbal Valenzuela的论文项目。在项目开发过程中，他遇到了来自智利的同胞Alejandro Matamala（1986），后者拥有过两次创业经历。Alejandro随后加入了项目，成为联合创始人。在毕业后，纽约大学为他们提供了一个研究实习的机会，在那里他们遇到了经验丰富的智利开发者Anastasis Germanidis（1991），并成功说服他加入Runway担任首席技术官（CTO）。

2018年 Runway 作为模型目录推出，使其他人能够针对各种用例部署和运行机器学习模型。它用可视化界面抽象了推理和训练过程。随着模型目录和用户群的不断增长，团队开始看到视频编辑中出现的使用模式。视频编辑和电影制作人找到 Runway ，是因为他们看到了利用模型来帮助他们自动化工作流程的潜力。随着 Runway 开始利用其模型目录中的知识围绕视频编辑进行更深入的构建，团队意识到他们正在削减制作视频的时间和成本，并可以大幅降低视频编辑的门槛。于是决定致力于构建视频编辑器产品。

如今，Runway 是一款成熟的视频编辑器，可在浏览器中实现实时协作，并拥有越来越多的人工智能驱动的视频编辑和创建功能。它被数十万用户使用，从业余爱好者到专业编辑。

2023年4月成立的Pika Labs 的团队相当精简，目前仅有 4 位全职成员，但兼具学术和创意两个领域顶尖人才：两位创始人郭文景（Demi Guo）  和孟晨琳（Chenlin Meng ） 是斯坦福在读博士，2022年冬天 Runway 举办首届 AI 电影节，Guo 投入了大量时间使用 Runway 和 Adobe Photoshop 等工具来制作一部电影，不过她们最后没有获奖，尝试过各种 AI 产品后发现整个过程还是挺麻烦，于是在今年 4 月份从斯坦福博士辍学创立了 Pika，希望可以让视频创作更简单。

Demi Guo 在美国出生，从小接触编程，国内在杭二读完高中，提前拿到哈佛的录取，在获得了哈佛大学数学学士学位和计算机科学硕士学位后，2021年到斯坦福大学攻读计算机博士，进行图形学和 NLP 交叉领域的研究，预计2026年毕业，师从Ron Fedkiw 和 Chris Manning 教授。前者是得过两次奥斯卡奖，参与过加勒比海盗、星球大战等电影的特效的创意大师，后者是 Stanford 人工智能实验室的主任。Demi Guo拿过国际信息学奥林匹克竞赛银牌、美国计算机奥林匹克竞赛第一名并且入选国际数学奥林匹克代表队。在 Quora、Google Brain、微软、腾讯和字节等公司做过 AI 方面的实习。她也是投资圈的“老人”，2016年就开始接触风险投资，在国内投资机构转了个遍，包括红杉中国，创新工厂、北极光等机构都呆过，同时自己还在中美之间做天使投资。据报道，郭文景的母亲是MIT毕业的高材生，对于父亲，是浙江首家在国内主板上市的软件公司信雅达董事长郭华强。

Chenlin Meng 也是从国内高中直接去美国读本科，和 Demi Guo  认识多年。她获得斯坦福大学数学学士学位，本科阶段就发表了五篇关于生成式人工智能的论文，读计算机科学博士学位期间三年内写了 30 多篇论文。与人合作的一些论文成为 OpenAI 的 DALLE-2、Google 的Imagen，以及 Stability AI 的 Stable Diffusion 模型中内容生成的关键方法。

后来加入的第三位联合创始人兼创始工程师 Karli Chen 是Demi Guo在杭二的高中同学，在卡内基梅隆大学完成了机器学习和计算机视觉的硕士学位。在本科阶段，他曾在商汤担任机器学习工程师；而高中时，他曾进入中国信息学奥林匹克（IOI）代表队前 12 名决赛选手和中国物理奥林匹克（IPhO）代表队前 50 名决赛选手之一。

第四位创始人是Matan Cohen-Grumi， 以色列背景，在创意领域拥有丰富经验。

1、Runway 视频编辑器

Source: Runway

Runway 的主要产品允许用户在单个时间线上编辑多轨视频和音频。该编辑器具有效果过渡、修剪、剪切、音频电平调整和标题创建等标准编辑工具。便利的布局使编辑人员能够轻松上手。

该编辑器基于浏览器，可通过 Chromium 浏览器访问。每个项目都可以与协作者共享，并且可以同时实时进行编辑，类似于 GSuite、Canva 或 Figma 中的工作流程。免费套餐的已完成项目的输出分辨率限制为 720p，付费套餐的输出分辨率可达到 4k。

2、AI魔法工具

Source: Runway

Runway 还提供了一套称为 AI Magic Tools 的 AI 功能。截至 2023 年 2 月，它提供 31 种工具，包括基于文本的图像生成、颜色分级、音频清理、对象删除、图像转视频和绿屏。该公司提供的三种工具是修复、绿屏和运动跟踪。

• 修复：编辑工具，允许用户通过在静止帧中识别对象并让人工智能确保它在整个场景中遵循蒙版（遮罩）来从视频中删除对象。

  
  

• 绿屏：允许用户从视频中删除背景的工具。这样，只需在主题周围单击几下即可遮盖任何镜头，从而允许剪辑师更换背景，无论镜头是如何拍摄的。它可以与图像生成技术相结合，从文本描述生成新的背景。

  
  

• 运动跟踪：允许视频编辑器单击即可跟踪任何对象的运动的工具。运动跟踪允许用户选择场景中的移动对象或人员，并固定无缝跟踪其轨迹的徽标、图形或文本。

Pika 最开始只专注于生成动画视频。几个月后，公司投资人建议他们增加一个将文本嵌入视频的功能。他们当天就完成此项功能，在当天凌晨 3 点告知投资人这个功能已经开发完成。这种「极其高效」的工作节奏让公司投资人决定再次加注。

近日Pika 发布 1.0 版产品，和 Runway 有点类似，它不仅可以通过文本和静态图片直接生成视频，还可以延长现有视频的长度（每次可以添加 4 秒的时长，可以无限制添加下去），或将其转换为不同的风格，比方说将真人风格的视频转换为动漫风格，另外还可以对视频有更多的编辑功能，比方说改变角色的衣服、让某个角色戴上太阳镜或者直接再加一个角色等等。

3、Runway 研究

Runway Research 与主要大学合作发表人工智能论文，然后将其纳入其产品中。它发表了有关对象运动跟踪、声音到视频匹配以及最著名的文本到图像生成的论文。它的潜在扩散模型（称为Stable Diffusion）是通过与慕尼黑大学和 Stability AI 合作实现。Runway 开源了 Stable Diffusion，首席执行官 Cristóbal Valenzuela 在 SD 1.5 发布时强调了 Runway 的“使命是让任何人创造不可能”。截至 2023 年 2 月，Stable Diffusion 在 GitHub 上已被加注超过 4 万次，在 Hugging Face 上获得了超过 5,000 次点赞。

据Pika创始人介绍，Pika 也不能完全算 Diffusion Model，公司开发了很多新东西，是一种新的模型。

这两家主要目标客户是想要创作和编辑引人入胜的视频内容但没有专业机构或工作室预算的长尾创作者。公司专注于协作编辑和人工智能工具，降低了技术门槛。Runway 与学校的合作伙伴关系使 Runway 的产品成为下一代编辑视频的常用工具。

对于小型企业和数字创作者来说，视频成为发现和吸引用户的越来越重要的途径，但是有限的预算通常无法支持视频制作公司的费用。新的工具简便易用和速度相应使得人们能够以有限的技能制作专业内容。

这两家都位于视频编辑软件市场和视觉特效软件市场的交叉领域，到 2023 年，视频编辑软件市场规模达到 40 亿美元，而视觉特效软件市场规模将接近 100 亿美元。随着上传用户生成内容 (UGC) 到在线平台的创作者数量的增加，视频工具的市场也能持续增长。

LinkTree 最近的一项研究表明，全球有 2.07 亿专业创作者将数字内容制作作为主要或次要收入来源。其中超过 45% 的创作者认为自己是全职内容创作者。随着视频消费的增长，市场对能够更快速地制作视频内容的工具有着强烈的需求。

Runway 采用免费增值业务模式与付费层级相结合。

Source: Runway

• 免费的入门级限制了分辨率、云存储以及用户可以使用的项目数量。它提供了对 AI Magic Tools 的有限访问，而这些工具是 Runway 最值得关注的创新。

• Pro 级别起价为 15 美元/月，提供 4k 分辨率、更大的存储空间和无限的项目。

• Team tier 团队层以每月 35 美元的价格为 AI Magic Tools 解锁更多存储和导出选项。Pro 和 Team 级别的年度订阅可享受 20% 的折扣。

Runway还提供了一个定制的企业级套餐，更适合需要高度安全性和定制化的工作室。这可以更大程度地确保资产不会被他人链接或访问，这是大型工作室对云提供的一个可能会担忧的问题，并且可以实现与现有软件套件的定制集成。对于使用像Autodesk Maya这样具有专用工作流程的工具的工作室来说，集成成为吸引Runway的关键因素。

Pika目前在discord还是免费模式，未来很有可能采用Runway的商业模式。

截至 2022 年 12 月，Runway 的收入约为 100 万美元。公司CEO提到，该产品目前拥有数十万用户，免费用户占比很大。

Runway 还与主要客户进行合作，包括著名电视节目《史蒂芬·科尔伯特深夜秀》的剪辑团队，以及获得 2023 年奥斯卡最佳剪辑提名的电影《一切皆有可能》。许多主要品牌也使用 Runway 进行视频制作，包括 CBS、Vox 和 Google。

Source: Runway

Pika成立三个月后，推出了 Discord 服务器，方便用户使用 Pika 生成视频。要在 Discord 上使用 Pika，需要在服务器的聊天框中提供文本或者图像，然后会生成简短的视频，并与服务器上的其他人共享。该社区很快蓬勃发展，成千上万的用户创建了不同风格的剪辑，从皮克斯风格的动画到逼真的视频。

目前Pika 的 Discord 服务器人数已从零增长到超过 16 万。已有约 50 万人尝试了这款软件，并且现在每周都有数百万新视频由此生成。

Runway目前完成5轮，累计筹集2.37亿美元。

• 2018 年 12 月，Lux Capital 在 领投了 200 万美元种子轮融资

• 2020 年 12 月， Amplify Partners 领投了 850 万美元 A 轮融资

• 2021 年 12 月，公司从 Coatue 筹集了 3500 万美元的 B 轮融资

• 2022 年 12 月，以 5 亿美元的估值筹集了 5000 万美元的 C 轮融资，由 Felicis Ventures 领投，Madrona、Guillermo Rauch（首席执行官）参投。Vercel 的首席执行官）、Amjad Masad（Replit 首席执行官）、Howie Liu（Airtable 首席执行官）、Soumith Chintala（PyTorch 联合创始人兼负责人）、Lukas Biewald（Weights & Biases 首席执行官）和 Jay Simons（Atlassian 前总裁）

• 2023年7月，从Google、Nvidia、Salesforce和其他投资者那里获得1.41亿美元的系列C轮融资

Pika Labs虽然成立才半年，目前已经完成 3 轮融资、累计5500 万美元，最新估值为 2.5 亿美元。

• Nat Friedman 和 Daniel Gross 领投了种子前及种子轮共计 2000 万美金

• Lightspeed Venture Partners 领投 A 轮  3500 万美金

• 其它投资人包括：单只基金超 10 亿美金的 Solo VC Elad Gil、Quora 创始人兼 OpenAI 董事 Adam D'Angelo、Andrej Karpathy（OpenAI、Tesla AI）、Clem Delangue（Hugging Face co-founder 及 CEO）、Aravind Srinivas（Perplexity CEO）、Together、ElevenLabs 和 Tome 的 CEO，SV Angel、Homebrew  以及 Conviction 等

1、人工智能产品线

截至 2023 年 2 月，Runway 的 AI 产品线已将 AI Magic Tools 的数量增加到 30 多个。公司已经建立了一种将 AI 研究转化为产品功能的产品文化，并处于有利地位，可以利用 AI 开发进行视频创作和编辑。用户对这些新功能的反应导致该公司的产品公告视频在网上获得了数百万次观看。Pika未来的产品规划里，同样会少不了AI元素。

2、通用编辑工具

这两家公司引发的关注点是视频，但更值得关注其已经开发了更通用的模型。Runway最值得注意的是开源的Stable Diffusion文本到图像模型。虽然Stable Diffusion支持其编辑器中的图像生成功能，但它也成为了最广泛使用的开源模型，驱动着众多排行榜应用程序，并获得了苹果的CoreML发布，使其可以直接在Apple Silicon硬件上运行。

1、移动优先VS桌面优先

这两家公司对浏览器的专注使其在与苹果和 Adobe 等老牌企业的竞争中占据优势。但在移动性日益增强的原生世界中，同样的赌注可能带来的机会比预期的要小。CapCut 于 2020 年发布，2022 年全球下载量达到 3.57 亿次，其崛起突显了在移动设备上创建和编辑内容的需求不断增长。随着 TikTok、Reels 和 YouTube Shorts 在创作者中越来越受欢迎，移动优先可能成为未来主流。

2、模型的普遍化商品化

随着人工智能在软件中变得无处不在，AI可能无法给这两家公司提供长期的护城河。AI Magic Tools 简化了繁琐的工作流程，是其当前客户的主要吸引力，但随着运行模型的成本下降，它可能成为所有编辑器的标准功能。Apple 在 CoreML 上发布的 Stable Diffusion 凸显了持续硬件进步和模型优化的潜力，使这些模型能够在本地而不是在云端运行，无需太多提升即可融入传统编辑器。

Pika和Runway 正在为视频编辑市场带来云计算、基于浏览器的软件和生成式人工智能的颠覆。他们的产品使用户能够快速协作地创建和编辑视频内容，降低了以低成本创建高质量创意内容的障碍。

随着视频内容的不断发展，TikTok、Instagram Reels 和 YouTube Shorts 凸显了主要平台对短视频的关注，创作者利用专业编辑软件的需求可能会增加，这也是Pika和Runway的未来机会所在。

Demi Gu在访谈中预计明年会出现AI视频领域的ChatGPT时刻，那明年的视频OpenAI又会是谁？