将排序(一般按时间排)后的数据按某字段变化分组统计,也就是分组字段值与上一行的值比较,如果相同则分到与上一行同组,不同时则创建一个新组。
这个问题用SQL来做很难!
SQL的集合是无序的,早期SQL没有相邻行引用的方法。SQL2003标准中加入了窗口函数,能引用相邻行,但分组仍然非常困难,需要用子查询人为造出分组序号。
举个例子:查询人员某段时间所处城市,并列出起始和结束时间。现有数据库表footmark数据如下:
NAMEFOOTDATECITY
Tom 2020-01-02 08:30:00Beijing
Tom 2020-01-03 08:30:00Beijing
Tom 2020-01-04 13:30:05Beijing
Tom 2020-01-04 16:36:00Chengdu
Tom 2020-01-05 08:30:00Chengdu
Tom 2020-01-06 12:30:00Chengdu
Tom 2020-01-06 17:30:25Beijing
Tom 2020-01-07 09:30:05Beijing
Tom 2020-01-09 16:30:00Beijing
………
要求最终分组统计的结果如下:
NAMECITYSTARTDATEENDDATE
TomBeijing2020-01-02 08:30:002020-01-04 13:30:05
Tom Chengdu2020-01-04 16:36:002020-01-06 12:30:00
Tom Beijing2020-01-06 17:30:252020-01-09 16:30:00
以Oracle为例,用SQL写出来是这样:
WITH A AS
( SELECT NAME, FOOTDATE, CITY,
CASE WHEN CITY=LAG(CITY) OVER (PARTITION BY NAME ORDER BY FOOTDATE) THEN 0 ELSE ROWNUM END FLAG
FROM FOOTMARK ORDER BY NAME, FOOTDATE),
B AS
( SELECT NAME, FOOTDATE, CITY,
MAX(FLAG) OVER (PARTITION BY NAME ORDER BY FOOTDATE) FLAG
FROM A),
C AS
( SELECT NAME, CITY, FLAG,
MIN(FOOTDATE) STARTDATE,
MAX(FOOTDATE) ENDDATE
FROM B
GROUP BY NAME, CITY, FLAG
ORDER BY NAME, FLAG )
SELECT NAME, CITY, STARTDATE, ENDDATE FROM C;
这里的FLAG就是人为造出的分组序号,这种SQL既难写又难懂。
对于这种按顺序分组,如果使用集算器的SPL语言就会简单很多,只需1行代码:
connect("mydb").query("SELECT * FROM FOOTMARK ORDER BY NAME,FOOTDATE").groups@o(NAME,CITY;min(FOOTDATE):STARTDATE,max(FOOTDATE):ENDDATE)
SPL基于有序集合实现,提供了按有序分组的选项@o,解决这个问题非常容易。
SPL提供了等值分组、有序分组、有序条件分组、序号分组、嵌套分组、大数据有序分组、大数据有序条件分组等多种分组方式,详情参考《分组子集》。
集算器 SPL 是解决 SQL 难题的专业脚本语言,它语法简单,符合自然思维,是天然分步、层次清晰的面向过程计算语言。它采用与数据库无关的统一语法,编写的算法可在数据库间无缝迁移。它是桌面级计算工具,即装即用,配置简单,调试功能完善,可设置断点、单步执行,每步执行结果都可查看。请参阅SQL 解题手
SPL也能很方便地嵌入到JAVA应用,可参考《Java 如何调用 SPL 脚本》。
具体使用方法可参考 《如何使用集算器》。