查看原文
其他

彻底抛弃Transformer,八金刚之一再创业!联手前谷歌Brain大佬创建自然启发智能模型

新智元 新智元 2024-04-14



  新智元报道  

编辑:编辑部
【新智元导读】谷歌Transformer八子之一的Llion Jones,同Stability AI主管David Ha一起官宣:成立新公司,抛弃Transformer架构,建立全新自然启发智能模型。

今天,Transformer八位作者之一Llion Jones,联手前谷歌大脑科学家、Stability AI研究主管David Ha官宣成立新公司——Sakana AI。
这家总部位于东京的初创公司,将要探索一种基于自然启发智能的新型基础模型。

官网地址:https://sakana.ai/
Sakana这一名字,来源于日语さかな,即为「鱼」。
他们的理念是,「让一群鱼聚集在一起,从简单的规则中形成一个连贯的实体」。
更进一步,便是进化和集体智慧。
目前来说,Sakana AI仍处于非常早期的阶段:没有构建AI模型,没有办公室,也并未透露融资的情况。
不过,无论是公司理念,还是创业地点的选择,这家初创公司都透露出一丝另辟蹊径的意味。

抛弃Transformer,专注新模型


现在各家巨头的大语言模型都已经进化到超强了,为什么两位创始人还是要做自己的大模型?显然,他们有自己独特的想法。
在Johnes和Ha看来,当前大语言模型的局限性在于,它们被设计成了脆弱、不可改变的结构,比如桥梁或建筑物。
相比之下,在自然系统中,是集体智慧在发挥作用。这个系统对周围世界的变化非常敏感,会适应环境,并成为环境的一部分。
他们希望的正是使用这些进化计算原理构建AI模型,来解决系统的成本和安全性的问题。
David Ha称,他们在在开发一种新型的人工智能模型,可以让机器学习工程师维护和监控的工作时间大幅降低。
Sakana AI实验室并没有依赖于Jones对Transformer的突破性研究。
人尽皆知,Transformer是OpenAI等科技公司使用的一种机器学习模型,已经在生成式AI上取得了巨大的效果。
对于Sakana AI,正如名字所示,联合创始人希望创建一种基于「自然启发智能」的新型基础模型。
「自然启发的智能」可能听起来像是60年代斯托纳电影中的内容,但这一概念在人工智能研究中有着悠久的历史。
Jones表示,这个想法是创造能够学习和搜索解决方案的软件,而不是必须一步一步地设计的软件。
像ChatGPT这样的人工智能模型容易越狱。为了防止这种攻击,开发⼈员必须手动更新模型。
Llion Jones和David Ha设想让他们的模型适应环境。
比如,Ha之前研究了「permutation-invariant神经网络」,即能够在困难情况下执行任务的人工智能模型。当部分视觉输入丢失或混乱时,仍旧能在模拟中驾驶汽车。
根据个人介绍,自然启发的智能一直是Ha职业生涯中的一个主题。
除了在permutation-invariant神经网络方面的工作,他还尝试研究了世界模型,从周围环境中收集数据,建立⼀个类似于人类的环境心理模型。

踏入竞争激烈的战场

因此,Sakana AI将构建自己的生成式AI模型,用于生成文本、图像、代码及其他软件。
这个赛道上竞争激烈之程度毋庸置疑,包括谷歌、微软这类巨头,以及OpenAI、Cohere、Character.ai和Anthropic等初创企业。
不过,这个领域资金也非常充足。
微软今年在OpenAI上投资了100亿美元,Cohere和Character.ai在过去几个月中也成功获得融资,估值分别达到了20亿美元和10亿美元。

为什么选择日本

不过,Sakana AI的总部设在日本,这个创业地点的选择多少有些不同寻常。
创始人解释说,自己已在日本工作多年,之所以选择东京作为公司总部,部分原因也是因为构建生成式AI软件的市场竞争太激烈了,尤其是在北美。
而东京拥有高质量的技术基础设施和受过良好教育的劳动力,这为AI公司的发展提供了得天独厚的条件。
「最重要的是,建立一个在非西方社会文化中表现良好的模型,围绕它训练数据,这将成为下一次技术突破的催化剂。」
另外,谷歌和其他公司的人工智能研究人员,最近将注意力集中在将现有技术进行商业化,这意味着更多前沿研究的空间越来越小。
但为研究而研究是两位联合创始人在Sakana坚持的原则,也是他们决定将公司总部设在东京的原因之一。

两位创始人

David Ha
David Ha将担任Sakana AI的CEO。
2016年,David Ha加入谷歌大脑负责机器学习领域的工作。
度过漫长的6年零4个月之后,他于2022年10月加入Stability AI担任研究主管。
在此之前,他获得了东京大学的博士学位,以及多伦多大学的学士学位。
有趣的是,今年6月从Stability AI离职之后,David Ha本人还曾发推吐槽表示「终于有时间睡个好觉了」。
Llion Jones
Llion Jones将担任CTO。
他最出名的代表作,那便是2017年和谷歌团队发表的「Attention Is All You Need」。
Llion Jones是这八位作者中,最后一位离开谷歌的人。他的离去,标志着Transformer「变形金刚大解体」。
上个月,彭博最先爆料称Transformer仅剩的一位作者Llion Jones宣布7月底要离职谷歌自创业。
当时,还未透露具体创业信息。不过,恰恰David Ha也转发了这一消息。
Jones表示:
离开谷歌并不是一个容易的决定,我与他们度过了非常精彩的十年,但是现在是尝试一些不同的事情的时候了。鉴于人工智能领域的势头和进展,现在是构建新事物的好时机。
Llion Jones于2015年6月加入了谷歌,至今已经任职8年。此前他曾就职于YouTube、Delcam。
他曾在伯明翰大学取得了和计算机专业的学士和硕士学位。
到目前为止,Jones的谷歌学术主页中, 引用最高的一篇文章当属17年横空出世的「Attention Is All You Need」,引用数81266。
参考资料:
https://www.ft.com/content/1f0cee71-2a44-4080-8c79-b037243ac6f5




继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存