资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/groupBy和orderBy的替代方案

groupBy和orderBy的替代方案

GeekGhc / 633人阅读

摘要：一背景在开发的时候遇到一个需求，需要根据将数据分组，同时获得每组数据中最新的一条数据。这种方法通过左关联查询，对笛卡尔积进行了筛选，就可以达到我们的目的。缺点对于数据量特别大的情况，如果没有限制条件，得到的笛卡尔积会很大，所以查询速度较慢。

一、背景

在开发的时候遇到一个需求，需要根据device_code将数据分组，同时获得每组数据中最新的一条数据。

二、遇到的问题
2.1 最初的思路：先对数据进行orderBy 再进行groupBy
 sql语句：
 sql: SELECT * from y_device_events ORDER BY created_at DESC GROUP BY device_code

结果： 这种写法会报错，当groupBy和orderBy组合使用的时候，必须要先进性groupBy在进行orderBy。

2.2 进阶思路：对数据进行orderBy的结果作为临时表，再对临时表分组
 sql语：
 sql：SELECT * from (SELECT * from y_device_events ORDER BY created_at DESC) as new_table GROUP BY new_table.device_code

结果：这条语句执行了，但是结果并没有按照预期的将最新的一条筛选出来

三、最终的解决方案
3.1 初级方案

通过之前两种方案发现直接使用orderBy和groupBy并不能达到目的，最后觉得可以和自身作关联查询，通过关联查询进行筛选。

SELECT
`y_device_events`.*
FROM
`y_device_events`
LEFT JOIN `y_device_events` AS `new_table` ON `y_device_events`.`device_code` = 
`new_table`.`device_code`
AND `y_device_events`.`created_at` < `new_table`.`created_at`
WHERE
`new_table`.`created_at` IS NULL

这种方法通过左关联查询，对笛卡尔积进行了筛选，就可以达到我们的目的。

3.2 缺点：对于数据量特别大的情况，如果没有限制条件，得到的笛卡尔积会很大，所以查询速度较慢。
3.3 最终的写法

我的需求中可以加上对type及sub_type的限制，因此稍微可以加快一下数据的筛选，而且如果有数据筛选条件，可以将条件放入JOIN语句里面，而不是join完成的where里

 SELECT
  `y_device_events`.*
FROM
  `y_device_events`
LEFT JOIN `y_device_events` AS `new_table` ON `y_device_events`.`device_code` = 
`new_table`.`device_code`
AND `y_device_events`.`created_at` < `new_table`.`created_at`
AND `y_device_events`.`type` = `new_table`.`type`
AND `y_device_events`.`sub_type` = `new_table`.`sub_type`
AND `y_device_events`.`type` = `2`
AND `y_device_events`.`sub_type` = `1`
WHERE
 `new_table`.`created_at` IS NULL
AND `y_device_events`.`created_at` > "2018 - 07 - 05 10 : 07 : 27"
AND `y_device_events`.`created_at` < "2018 - 07 - 05 11 : 04 : 27"
AND `y_device_events`.`result_code` = "-1"

加入筛选条件后，可以大大加快查询的效率。

云服务器 GPU云服务器 webrtc的替代方案 堡垒机 替代解决方案 orderBy webrtc的替代者

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/28977.html

相关文章

  • 写一个“特殊”的查询构造器 - (五、聚合函数、分组、排序、分页)

    摘要：聚合函数在中，有一些用来统计汇总的函数，被称作聚合函数，如等。方法其它方法如之类的编写就不一一展示了，代码请看聚合函数。如何获取总数当然是使用上面讲到的聚合函数来处理。 where 相关的子句构造完成后，我们继续构造其它子句。这一篇我们进行聚合函数、分组、排序等子句的构造。 聚合函数 在 SQL 中，有一些用来统计、汇总的函数，被称作聚合函数，如 SUM、COUNT、AVG 等。 使用...

    iamyoung001 评论0 收藏0

  • Qone 正式开源，使 javascript 支持 .NET LINQ

    摘要：下一代查询语言，使支持缘由最近刚好修改了腾讯文档表格公式的一些，主要是修改公式的。总的来说，因为腾讯文档公式相关工作早年的开发和开发，所以有了。让前端工程师通过字符串的形式实现了的调用下面统一叫做，即组成的。多数据源多数据源会产生笛卡儿积。 Qone 下一代 Web 查询语言，使 javascript 支持 LINQ Github： https://github.com/dntzha...

    JinB 评论0 收藏0

发表评论

登陆后可评论

0条评论

GeekGhc

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<