查看原文
其他

特别报道|智能也有摩尔定律

何昕晔 新皮层NewNewThing 2023-08-02

「迟到的WAIC特别报道③,因内容具有信息量,所以努力更新了」


撰文:何昕晔

编辑:吴洋洋

Key Points


每隔18个月,宇宙的智能总量翻一番;


在从ANI(狭义人工智能)和AGI(通用人工智能)之间,还有个技术甜蜜点——ABI(广义人工智能);


AI2.0时代,创新路径依然有「AI+」和「+AI」两种方式;


任何一次技术浪潮都可以由两个点——

技术奇点和市场引爆点——切割为5个阶段;


规则学习有智能上限,超越上限需要在环境中自主学习;


机器人是链条很长的行业,人形机器人的电机部分仍是大挑战。


「一个全新的摩尔定律可能很快就会出现,即宇宙中的智能数量每18个月翻一番。」OpenAI首席执行官Sam Altman在2月26日的Twitter发文中称。鉴于全球人口并不会每18个月翻一番,那么可以肯定,Altman所说的「智能」增量只能来自AI。

如果这个预测准确,假设现在全球有10000个基于大模型的智能体(ChatGPT、Copilot或Call Annie都算在其中,实际可能远远大于这一数字),那么,只需要翻15番,即22.5年,全球AI智能体数量就会超过全球人口数的80亿(注:真格基金合伙人戴雨森也从「智能成本趋近于0」的角度讨论过智能的摩尔定律)。

坏消息是,有关芯片制程的摩尔定律在过去几十年中都是成立的。好消息是,「在ANI(狭义人工智能)和AGI(通用人工智能)之间,还有个ABI(广义人工智能)。」衔远科技创始人周伯文说,在这个「技术甜蜜点」,我们可以获得足够强的AI能力,但又不需要太多关于AGI的担忧。

启明创投合伙人周志峰认为,强人工智能(或者ABI)可以让人均产值后面增加一到两个「0」。对比一下移动互联网时代最赚钱的公司苹果和AI 2.0代表Midjourney 就知道了。今天,苹果人均产值差不多220万美元,而Midjourney的人均产值达到了6000万美元。

在AlexNet开启的AI 1.0时代,图像识别得到大规模应用,包括流水线在内的大量工业场景从中受益。ChatGPT开启的AI 2.0时代会将应用场景拓展到更大范畴,机器人的能力也将因此得到增强。「与一个物理实体环境交互是提升智能水平的必由之路。」梅卡曼德机器人创始人邵天兰说。

以下观点来自启明创投在上上周举办的上海人工智能大会期间主办的专场论坛。与谈人包括衔远科技创始人周伯文、壁仞科技合伙人梁刚、Hugging Face 中国区负责人王铁震、梅卡曼德机器人创始人邵天兰以及启明创投合伙人周志峰等。


周伯文(衔远科技创始人):

我们正处在AI技术的甜蜜点

每隔18个月,宇宙的智能总量翻一番

Sam Altman提出的新摩尔定律,即宇宙中的智能总量每18个月会翻一番。这种增长可以通过2种方式实现:一种是GPT4、GPT5这类中心化的智能会越来越强,其能力每18个月翻一番;另一种是生成式AI驱动的智慧触点数目每18个月会翻一番,在量上取胜。摩尔定律一定会发生,且可能会以多种路径同时发生。

在从ANI(狭义人工智能)和AGI(通用人工智能)之间,还有个技术甜蜜点——ABI(广义人工智能)

人工智能有三个节点,从ANI(Artificial Narrow Intelligence,狭义人工智能)ABI(Artificial Broad Intelligence,广义人工智能)再到AGI(Artificial General Intelligence,通用人工智能)。我们目前处于ABI到AGI的过渡阶段。AGI是AI的高阶形式,生成式AI是AGI的必由之路。

ANI的特点是高度依赖监督学习算法,需要大量人工标记的数据,这个能力2016年已经实现了。而ABI的特点是:1)依赖预监督或自监督的算法去完成自我训练AI,不依赖太多人类标注;2)能够通过端到端完成多项任务的模式,变成能与人类共创的「生成式助手」,人不需要分解任务,AI能够自己找到终极目标;3)从判别式AI转化为更强的生成式AI。

ABI阶段的「零样本学习」就是AGI的属性。零样本学习的意思是,你没有教过AI干这件事情它就自己会了。意味着到了ABI阶段,你不可能确切知道一个AI系统会完成什么,但它会surprise you。

AGI则在多个任务上逼近和超过人类智力水平,因为这种智力水平务必要寻求自主发展,毫无疑问会需要更强的治理和监管。

我们正处在ABI的技术甜蜜点

AI发展最好的阶段就是ABI阶段,它是一个「甜蜜点」。在这个阶段,AI的能力足够强,可以有很多应用,人们能更低成本的泛化它,但又不需要有太多关于AGI的担忧。我们现在正处在这个阶段。问题是这个阶段会有多长?我们能不能为AGI的到来做好准备?这是个开放性问题。



周志峰(启明创投合伙人)

强AI可以让人均产值后面增加一到两个「0」

人均产值随技术进步呈指数增长

Midjourney去年7月12日才成立,12月开始商业化,到今年的4月底,5个月时间创造了2.5亿美元的收入,而它只有11位全职员工。

越代表新技术的公司,其人均产值能力越强。苹果发展了几十年到今天差不多人均产值是220万美元,Google差不多是180万美元,阿里巴巴、腾讯也是150万美元的人均产值。但是在生成式AI时代,像Midjourney这样一家很早期的初创企业,其人均产值已经达到了6000万美元。

GitHub Copilot发布时也只有6位员工。仅一年后,全球程序员编写代码的时间通过这个工具就缩短了40%。如果技术能够保持并不断发展,未来整个人类每年创造的总产值应该在现有数字后面多加一个到两个「0」。

在AI2.0时代,创新路径依然有「AI+」和「+AI」两种方式

传统深度学习主要用「小」模型解决特定「小」任务,技术展现主要是模式识别类,比如人脸识别、语音识别。如果传统深度学习是AI1.0,今天大规模预训练学习就是AI 2.0。

在此基础上的产业可以分为两种,一种是「+AI」,一种是「AI+」。

「+AI」是已有的工作流不发生重大变化,把新一代的AI的能力放进工作流,是一种对旧场景的增强,例如微软用新技术对Office做增强,做了Copilot;「AI+」是用生成式AI的能力构建一个全新产品,被称为「AI原生应用」,是旧场景的重塑或者新场景的创造,例如Asper.AI、Typeface是美国的几家创业公司在AI原生角度做的探索。

从技术奇点到市场引爆点

任何一次技术浪潮都可以由两个点切割为5个阶段:第一个点是「技术奇点」,它是技术发展经过了漫长积累后出现的显著突破,比如产生10倍的性能提升;「市场引爆点」通常是一个公众性事件,让大众直接认识到技术的颠覆性。

AI 1.0时代的「技术奇点」是2012年的AlexNet,「市场引爆点」是AlphaGo;AI 2.0时代的「技术奇点」是Transformer架构模型的提出,「市场引爆点」是2022年11月30日OpenAI发布的ChatGPT。「技术奇点」和「市场引爆点」之间的黄金区间,是平台型企业、千亿市值以上企业诞生的时间窗口,也是投资的黄金阶段。



梁刚(壁仞科技合伙人):

大模型需要不只是算力,还有芯片稳定性

英伟达最强大的是它的CUDA生态

英伟达最强大的是它的CUDA生态(了解什么是CUDA可点击新皮层的英伟达研报)。大模型带来的实际上是一个完整的工业体系的系统的优化。国内芯片产业生态跟国际比还是有很大距离,特别是软件生态方面。

今天全世界绝大部分大模型都跑在英伟达的GPU芯片上。去年,壁仞科技也推出了自己的AI芯片BR100。生态方面,壁仞科技SUPA的软件生态已经形成,跑通了GPT2、Stable Diffusion、LLaMA、文心一言等模型,也支持DeepSpeed,Hugging Face、百度飞桨等框架。

大模型需要的不只是算力,还有芯片稳定性

大模型的最大特点是数据量非常大。仅仅有一个GPU不一定支持得了大模型,一定还要有一定的策略去做数据和模型的切分。

另外,模型训练时的一个常见问题是,当多个机器同时在训练一个模型,突然其中一个机器垮了,训练一下就会中止。要尽量避免此类事件,就要对硬件做很多压力测试,尽量找到各种潜在的corner case(边缘案例)

与国外芯片厂相比,国内芯片产业生态仍有距离

中国的GPU公司要想获得一定市场地位,还需要一定的时间。硬件设计的周期是一到两年,搭建软件生态是更漫长的过程,英伟达搭建CUDA框架花了10年时间。



王铁震(Hugging Face 中国区负责人):

开源模型的优势

AI1.0以toB应用为主,AI2.0开始toC

上一拨人工智能和这一拨生成式AI(指AI2.0)非常不一样。以前的模型没有那么聪明,通用性不好,面对每一个场景,都需要重新训练。所以它是一个toB的,面向开发者的AI工具,普通人并不能用起来。但这一拨AI浪潮非常不一样。比如Stable Diffusion,玩得最火的不是AI圈的人,而是学艺术、学设计的这些人。ChatGPT出现后,美国普通学生已经开始拿它写作业了。

从头训练一个模型十分昂贵

GPT-4毋庸置疑是效果最好的模型。很多企业在创业早期也都选择直接在GPT外做一些Prompt,从而很快地把产品做出来。但随着它的产品用户规模扩大,或者所在领域的要求,就会出现数据安全、企业部署场景和部署成本的问题,如果企业想要有一个自己可控、可修改的模型,会发现GPT并不能完全满足他们的需求。

而如果从头训练一个大模型,比如Big Science(一个由Hugging Face赞助的开源组织)做的Bloom模型,它的参数有176B,相当于千亿级参数的模型。他们把这个模型训下来用了300多块A100,花了100多天。最后算下来成本非常高。

开源模型让企业对自己的模型更可控

所以从头训练一个模型非常不经济,尤其对于中小型公司来讲。但是我们把这个模型训练和开源后,大家就可以基于这个模型做自己的场景调优,这对企业来讲要求会更低:不需要那么多的芯片,也不需要那么多时间,稍微少一点的算力和数据也可以做出产品。

站在Hugging Face的角度,我们非常希望通过开源的方式把大模型普惠化,让每个公司、每个人都能拥有自己的大模型可以解决一些事情,包括数据隐私、数据安全问题。



邵天兰(梅卡曼德机器人创始人):

机器人行业的链条非常长

具身智能不是一个新概念

过去多年,科研人员一直在尝试让机器人通过与环境交互来自主学习。图灵在1950年就提出「具身智能」,近年来的Learning by demonstration(演示学习)、Sim2Real(即Simulation to Reality,从模拟到现实)、强化学习等方向也在不断提升机器人的智能水平。

人工规则有智能上限,超越上限需要在环境中自主学习

通过标注数据、或者编写规则让机器人变智能,所获得的智能是有上限的。所以不管自动驾驶还是机器人,包括像AlphaGO,如果这个系统的智能程度想提升,那么到了一定阶段之后,这个机器就得能够自己和环境交互去学习。AlphaGO进化到AlphaZero,多出来的就是这种交互学习。

机器人也是一样,与一个物理实体环境交互是提升智能水平的必由之路。这跟人的学习一样,小学三年级之前,老师教什么就学什么,但是到了一个时间之后,大家会开始自学。这个自学能力开启得越早,学生成绩往往越好,对机器人来说也是一样的。

机器人在工业领域的应用仍然是早期阶段,有很大的增长空间

在制造、物流等行业,机器人在工业领域的应用仍然很有限。2022年,工业机器人全球出货量大约50多万台,与地球上80亿总人口相比还有巨大差距。

但过去5年,机器人的基础能力已得到迭代和规模化应用。比如视觉识别,深度学习普及之前,视觉识别很少应用到工业领域,因为当时的技术智能程度很低,调试起来非常痛苦,传统算法只能做很简单的判断。比如人民币印出来的时候有没有不一样。理论上,每张钱刚印出来的时候,除了编号以外都非常相似,如果有缺陷,传统算法可以识别出来。但如果要识别一个螺丝,就非常痛苦,因为每个螺丝不可能长得完全一样。深度学习应用后,这样的物体识别才变得简单。

大模型会极大地打开自动化的上限,包括机器人的上限。尤其有了多模态大模型,我们可以进一步让机器人更自主地组合其各种能力。

机器人是链条很长的行业,人形机器人的电机部分仍是大挑战

仅机器人的眼睛,就涉及光学、电子、成像等环节,机器人的结构又会涉及到控制、电机结构等课题,以后还要涉及到大模型,以及还涉及到数据,全靠物理世界不可能拿到那么多数据,这时候就要有仿真的虚拟环境……这是个很长的链条。梅卡曼德机器人公司的供应商数量就和整个公司员工的数量相当。上到最核心的计算芯片,下到一个铝合金配件,所有东西都需要产业链基础。

仅在人形机器人中,电机技术也仍是很大挑战。其电机自重和所产生推力的关系如果能再改进几倍,会对人形机器人带来质变。



-END-


若想了解更多头条新闻,请点击阅读往期头条

大佬说|DeepMind CEO:未来10年有可能实现AGI

大公司|争夺应用场景,大厂各自定义「大模型」

下一个10年的技术主角不止「大模型」,还有脑机接口和人形机器人|特别报道



我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。 

和每一位关心技术、关注人类命运的读者一样,我们希望在这个充满不确定性的时代,更好地理解快速变化的科技世界,也更好地理解生而为「高级智能」的我们自己。

在这个目标下,我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意,我们说的智能,不只是 AI。



与记者交流,可添加微信(请备注公司名称和姓名):

王杰夫 微信号: wjfsty

张司钰 微信号: helianthus351

吴洋洋 微信号: qitianjiuye

 

喜欢就关注我们吧,记得设为星标」


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存