查看原文
其他

CMU专家团队创业,OtterTune让数据库插上AI的翅膀

shanshan 机器之能 2022-07-13

AI遇上数据库,可以碰撞出怎样的火花?


撰文 |  shanshan


近日,人工智能驱动的数据库管理初创公司OtterTune宣布完成了1200万美元A轮融资,本轮融资由Intel Capital和Race Capital领投,并得到了Accel的跟投。

OtterTune成立于2021年,主要产品是通过使用机器学习来分析和优化数据库系统中的数百个配置设置,从而使其管理更加高效和经济。这个产品本身是基于几位创始人在卡内基梅隆计算机科学学院(CMU)的同名研究项目而来。

“现在是创业非常好的一个时间点。数据库上云,颠覆了很多玩法,它虽然解决了数据库管理方面的问题,但是还没有解决优化方面的问题。如果能够开发出真正好用的产品来自动优化数据库,市场体量非常大。”OtterTune联合创始人张伯翰向机器之心表示。

01 让数据库自己解决繁琐调参

数据库是一个非常复杂的系统,它包含大量的配置参数,而且对于不同的硬件配置,不同的工作负载,对应的最优参数文件都是不同的。

通常情况下,DBA(Database Administrator,即数据库管理员)不能简单地重复使用之前调好的参数文件,主要基于自身经验和对当前环境的理解去调整参数,往往需要花费大量时间,而且调整过程中存在大量不确定性。

“在跟客户沟通的过程中,我们发现很多创业公司内部并没有DBA这个职位,也没有太多有数据库经验的工程师,需要花大价钱来雇佣资深DBA。OtterTune可以帮助成千上万这样的公司,帮助他们优化数据库。”OtterTune联合创始人张伯翰向机器之心表示。

OtterTune是利用机器学习寻找最优的数据库配置,这一研究成果最早发表在了2017年的SIGMOD。

当时,卡内基梅隆大学数据库小组的教授、学生和研究人员开发了一个数据库自动调参工具OtterTune,它能利用机器学习对数据库的参数文件自动化的调优,能利用已有的数据训练机器学习模型,进而自动化的推荐最优参数。

OtterTune希望解决数据库长期存在的一些痛点,包括对管理人员专业性要求高;管理成本高;无法实现配置资源最优化等问题。

“数据库上云是大趋势,像亚马逊这样大型云厂商的出现以后,越来越多的公司更容易建立自己的数据库,但是,大部分数据库上云之后,并不是在最优状况下运行,比如很多人不知道如何配置数据库,通常会选用默认配置规格或者较高配置规格。这种分配方式造成了严重的资源浪费,存在很大的优化空间。”张伯翰说。

OtterTune能够让数据库部署和调优更加容易,让技术人员甚至不需要专业知识也能顺利完成。当用户配置好OtterTune时,它能自动持续推荐参数文件并把所得结果上传到服务端可视化出来,大大简化DBA的工作。由于OtterTune和数据库的交互只是一个参数文件,这使得该工具更加通用,甚至可以用于其他系统的调参。

张伯翰坦言,“创业不只是技术那么简单,发论文的成功不代表创业的成功,科研和产品落地之间有很大区别,这是学术圈创业的普遍挑战。产品的落地需要根据客户需求不断改变、调整,这是一个艰难的过程。”

虽然创业面临各种挑战,但整个过程同样充满了乐趣。“在创业公司,你要做各种不同的工作,个人的成长是飞速的。看到自己的产品能够解决别人解决不了的问题,真正帮助到客户,成就感非常大。”张伯翰说。

02 从0到1,数据库的生存法则

对于数据库来说,有很多部分都能尝试与机器学习结合。比如预测数据库一段时间的工作负载,如通过挖掘数据库的日志来做自动预警,再到更核心的部分,如学习数据库索引,甚至帮助优化器做查询优化。

参数文件调优只是其中的一部分。新一轮融资完成之后,OtterTune希望能够实现从参数调优扩展到更多的领域。

“数据库是一个慢行业,建立一个可靠的数据库不是容易的事情,一定要看准需求。”张伯翰说。

回顾传统数据库走过的路,主要分为闭源数据库与开源/云数据库两个阶段,其中闭源数据库主要包括集中式集群、单机数据库,主要面临的挑战为价格昂贵、人员稀少等问题。

张伯翰认为,数据库上云是大趋势。OtterTune会将所有用户尝试的参数文件和对应的性能数据存下来进行利用。这意味着用OtterTune的人越多,用的时间越长,它收集的训练数据越多,推荐效果越好。

“数据库是用出来的,需要很多用户,开源之后可以让更多用户使用,发现问题更快迭代;同时,也让更多客户证明数据库的可靠性,有助于拿到更好的企业订单。”

从行业整体发展趋势看,相对闭源商业软件,开源软件的生命周期也显得更有生命力。1996年,Postgres因SQL标准的引入及功能的完善,获得了新生。

PostgreSQL的兼容性是很多系统的一个显著特征。这种兼容性是通过支持PostgreSQL的SQL方言、通信协议或整个前端来实现的。时至今日,国内外很多优秀的数据库产品都与PG有着直接或间接的关系。

OtterTune首先支持调优的数据库就是开源的MySQL和PostgreSQL。目前,OtterTune的产品能够自动优化Amazon Aurora和Amazon RDS上运行的MySQL和PostgreSQL。

数据库自动化和优化不仅需要机器学习的知识,还需要数据库的知识,团队的重要性不言而喻。

Andy Pavlo、Dana Van Aken、Bohang Zhang是OtterTune的三位联合创始人。其中,Andy Pavlo是卡内基梅隆计算机科学学院(CMU)的副教授,他的研究重点是数据库管理系统,特别是内存系统、自动调优(autonomous)架构(OtterTune和NoisePage项目)、事务处理系统和大规模数据分析。多年来,Andy通过在线和面对面的系列讲座以及为数据库技术研究会议提供服务为数据库研究和教育做出了贡献。

OtterTune计划在今年年底前将工程师团队从目前的15人扩大到30人。“学习的能力,是我们非常看重的一点,能在团队中快速成长。其次是团队之间的合作,能够进行良好的沟通合作,快速推进项目。另外,能够对新的知识充满热情,对新的技术充满兴趣,遇到新的挑战能迎难而上。”张伯翰说。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存