资讯专栏INFORMATION COLUMN

groupBy和orderBy的替代方案

GeekGhc / 661人阅读

摘要:一背景在开发的时候遇到一个需求,需要根据将数据分组,同时获得每组数据中最新的一条数据。这种方法通过左关联查询,对笛卡尔积进行了筛选,就可以达到我们的目的。缺点对于数据量特别大的情况,如果没有限制条件,得到的笛卡尔积会很大,所以查询速度较慢。

一、背景

在开发的时候遇到一个需求,需要根据device_code将数据分组,同时获得每组数据中最新的一条数据。

二、遇到的问题
2.1 最初的思路:先对数据进行orderBy 再进行groupBy
 sql语句:
 sql: SELECT * from y_device_events ORDER BY created_at DESC GROUP BY device_code

结果: 这种写法会报错,当groupBy和orderBy组合使用的时候,必须要先进性groupBy在进行orderBy。

2.2 进阶思路:对数据进行orderBy的结果作为临时表,再对临时表分组
 sql语:
 sql:SELECT * from (SELECT * from y_device_events ORDER BY created_at DESC) as new_table GROUP BY new_table.device_code 

结果:这条语句执行了,但是结果并没有按照预期的将最新的一条筛选出来

三、最终的解决方案
3.1 初级方案

通过之前两种方案发现直接使用orderBy和groupBy并不能达到目的,最后觉得可以和自身作关联查询,通过关联查询进行筛选。

SELECT
`y_device_events`.*
FROM
`y_device_events`
LEFT JOIN `y_device_events` AS `new_table` ON `y_device_events`.`device_code` = 
`new_table`.`device_code`
AND `y_device_events`.`created_at` < `new_table`.`created_at`
WHERE
`new_table`.`created_at` IS NULL

这种方法通过左关联查询,对笛卡尔积进行了筛选,就可以达到我们的目的。

3.2 缺点:对于数据量特别大的情况,如果没有限制条件,得到的笛卡尔积会很大,所以查询速度较慢。
3.3 最终的写法

我的需求中可以加上对type及sub_type的限制,因此稍微可以加快一下数据的筛选,而且如果有数据筛选条件,可以将条件放入JOIN语句里面,而不是join完成的where里

 SELECT
  `y_device_events`.*
FROM
  `y_device_events`
LEFT JOIN `y_device_events` AS `new_table` ON `y_device_events`.`device_code` = 
`new_table`.`device_code`
AND `y_device_events`.`created_at` < `new_table`.`created_at`
AND `y_device_events`.`type` = `new_table`.`type`
AND `y_device_events`.`sub_type` = `new_table`.`sub_type`
AND `y_device_events`.`type` = `2`
AND `y_device_events`.`sub_type` = `1`
WHERE
 `new_table`.`created_at` IS NULL
AND `y_device_events`.`created_at` > "2018 - 07 - 05 10 : 07 : 27"
AND `y_device_events`.`created_at` < "2018 - 07 - 05 11 : 04 : 27"
AND `y_device_events`.`result_code` = "-1"

加入筛选条件后,可以大大加快查询的效率。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/28977.html

相关文章

  • 写一个“特殊”查询构造器 - (五、聚合函数、分组、排序、分页)

    摘要:聚合函数在中,有一些用来统计汇总的函数,被称作聚合函数,如等。方法其它方法如之类的编写就不一一展示了,代码请看聚合函数。如何获取总数当然是使用上面讲到的聚合函数来处理。 where 相关的子句构造完成后,我们继续构造其它子句。这一篇我们进行聚合函数、分组、排序等子句的构造。 聚合函数 在 SQL 中,有一些用来统计、汇总的函数,被称作聚合函数,如 SUM、COUNT、AVG 等。 使用...

    iamyoung001 评论0 收藏0
  • Qone 正式开源,使 javascript 支持 .NET LINQ

    摘要:下一代查询语言,使支持缘由最近刚好修改了腾讯文档表格公式的一些,主要是修改公式的。总的来说,因为腾讯文档公式相关工作早年的开发和开发,所以有了。让前端工程师通过字符串的形式实现了的调用下面统一叫做,即组成的。多数据源多数据源会产生笛卡儿积。 Qone 下一代 Web 查询语言,使 javascript 支持 LINQ Github: https://github.com/dntzha...

    JinB 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<