查看原文
其他

【数据蒋堂】第20期:从SQL语法看离散性

2017-08-22 蒋步星 数据蒋堂

所谓离散性,是指集合的成员可以游离在集合之外存在并参与运算,游离成员还可以再组成新的集合。从离散性的解释上可以知道,离散性是针对集合而言的一种能力,离开集合概念单独谈离散性就没有意义了。

离散性是个很简单的特性,几乎所有支持结构(对象)的高级语言都天然支持,比如我们用Java时都可以把数组成员取出来单独计算,也可以再次组成新的数组进行集合运算(不过Java几乎没有提供集合运算类库)。

但是SQL的离散性却很差。

SQL体系中有记录的概念,但并没有显式的记录数据类型。单条记录被SQL作为只有一条记录的临时表处理,也就是个单成员的集合。而且,SQL从表(集合)中取出记录时总是复制出一条新记录,和原表中的记录已经没有关系了,这个特性被称为immutable。immutable特性有助于保证代码的正确性和简单性,但也会丧失离散性。

缺失离散性会带来代码的繁琐和效率的低下。

比如要计算张三和李四的年龄差和工资差,SQL要写成两句:

SELECT (SELECT age FROM employee WHERE name='张三') - ( SELECT age FROM employee WHERE name='李四') FROM dual

SELECT (SELECT salary FROM employee WHERE name='张三') - ( SELECT salary FROM employee WHERE name='李四') FROM dual

这不仅书写麻烦,而且要重复查询。

如果支持较好的离散性,我们可以写成这样:

a = employee.select@1(name="张三")

b = employee.select@1(name="李四")

agediff=a.age-b.age

salarydiff=a.salary-b.salary

查询结果可以游离在集合外独立存在,并可以反复使用。

immutable特性会要求每次运算都复制数据,这在只读的运算中还只是浪费时间和空间影响效率,但如果要改写数据时,造成的麻烦就严重得多。

比如我们想对业绩在前10%销售员再给予5%的奖励。一个正常思路是先把业绩在前10%的销售员找出来,形成一个中间集合,然后再针对这个集合的成员执行奖励5%的动作。但由于SQL缺乏离散性,immutable特性导致满足条件的记录再形成的集合和原记录是无关的,在中间结果集上做修改没有意义。这样就迫使我们要把整个动作写成一个语句,直接在原表中找到满足条件的记录再加以修改,而前10%这种条件并不容易简单地在WHERE子句中写出来,这又会导致复杂的子查询。这还只是个简单例子,现实应用中比这复杂的条件比比皆是,用子查询也很难写出,经常采用的办法则是先把满足条件的记录的主键计算出来,再用这些主键到原表中遍历找到原记录去修改,代码繁琐且效率极为低下。

如果语言支持离散性,我们就可以执行上述思路了:

a=sales.sort@z(amount).to(sales.len()*0.1)   //取出前业绩在10%的记录构成一个新集合

a.run(amount=amount*1.05)       //针对集合成员执行奖励5%动作

从上面两个简单例子可以看出,缺失离散性会加剧分步计算的困难,immutable特性会降低性能并占用空间。当然,离散性的问题还不止于此。

不能用原集合的成员构成新集合再进行计算,SQL在做分组时无法保持分组子集,必须强迫聚合,作为集合化语言,SQL的集合化并不彻底。没有游离记录及其集合的表示方法,只能用传统的外键方案表示数据之间的关联关系,写出的代码即繁琐又难懂,而且运算性能还差,缺乏离散性的SQL无法采用直观的引用机制描述关联。特别地,没有离散性的支持,SQL很难描述有序计算,有序计算是离散性和集合化的典型结合产物,成员的次序在集合中才有意义,这要求集合化,有序计算时又要将每个成员与相邻成员区分开,会强调离散性。

这些具体内容我们会在后续文档中逐步详细说明。我们要从理论上改进SQL(或者更合适的说法是关系代数),主要工作就是在保持集合化的基础上引入离散性,从而解决上述问题,让新的语言能够同时拥有SQL和Java的优点。

  正文结束  


 近期文章

【数据蒋堂】第19期:从SQL语法看集合化

【数据蒋堂】第18期:SQL用作大数据计算语法好吗?

【数据蒋堂】第17期:SQL的困难源于关系代数

【数据蒋堂】第16期:SQL像英语是个善意的错误

【数据蒋堂】第15期:开放的计算能力为数据库瘦身

【数据蒋堂】第14期:计算封闭性导致臃肿的数据库

【数据蒋堂】第13期:怎样看待存储过程的移植困难

【数据蒋堂】第12期:存储过程的利之弊

【数据蒋堂】第11期:不要对自助BI期望过高

【数据蒋堂】第10期:报表的数据计算层

    关于数据蒋堂    

《数据蒋堂》的作者蒋步星,从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞,虚拟与现实的相互交织,产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点,站在研发人员的角度从浅入深,进行全方位、360度无死角深度剖析;对于一些业内观点,站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展,站在业内专家角度给予预测和推断。静下心来认真研读你会发现,《数据蒋堂》的文章,有的会让用户避免重复前人走过的弯路,有的会让攻城狮面对扎心的难题茅塞顿开,有的会为初入行业的读者提供一把开启数据世界的钥匙,有的甚至会让业内专家大跌眼镜,产生思想交锋。



蒋步星,清华大学计算机硕士,著有《非线性报表模型原理》等

1989年中国国际奥林匹克数学竞赛团体冠军成员,个人金牌

2000年创立润乾公司,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准。

2008年开始研发不依赖关系型数据的计算引擎,历经多个版本后,于2014年集算器正式发布。有效地提高了复杂结构化大数据计算的开发速度和运算效率。

2016年荣获中国电子信息产业发展研究院评选的“2016年中国软件和信息服务业 • 十大领军人物”。

2017年创办数据领域技术讲堂《数据蒋堂》,专注数据、每周一期。

2017年获得中国大数据产业生态大会评选的“2017年度中国数据大工匠”


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存