事务与多线程的坑及调优Tips

wums 发布于2019-08-16 10:55 / 3390人阅读

摘要：起因及介绍在处理原始对账文件的时候，我将数据归类后批量存入相应的表中。结论事务只能管着开启事务的线程，其他子线程出了问题都感知不到，所以在多线程环境操作要慎重。高频容易搞死服务器，低频会阻塞自身程序。重试次数和超时时间根据业务情况设置。

起因及介绍

在处理原始对账文件的时候，我将数据归类后批量存入相应的表中。在持久化的时候，用了parallelStream()，想着同时存入很多表这样可以提高效率。

@Override
@Transactional
public boolean handleTask(AccEbankAlEveBill[] task, String ownSign) throws Exception {
    Arrays.stream(task).parallel().map(AccEbankBill::convert).collect(Collectors.groupingBy(AccEbankBill::getTradeType)).entrySet()
    // 这里出了问题
    .parallelStream().forEach(item -> {
        switch (EbankAleveTradeTypeEnum.valueOf(item.getKey())) {
        // 提现...
        // 充值
        case RECHARGE:
            accEbankRechargeBillDao.batchSave(item.getValue());
            break;

        // 利息
        case INTEREST:
            accEbankInterestBillDao.batchSave(item.getValue());
            break;
        case OTHERS:
            accEBankAleveOthersBillDao.batchSave(item.getValue());
            break;
        }
    });

    // DB update
    return true;
}

问题分析

上面代码中将对账数据按类型归类后，得到一个Map>，key为类型，value为数据。考虑到数据类型有很多种，然后使用了parallelStream()。在最近的一次自测中，由于开发数据库网络问题，造成事务处理超时，但发现数据没有回滚！

开始沿着数据库超时中断机制的思路找问题，花了比较多的时间在分析是数据库端触发了中断，还是应用层主动中断，以及两者对是否回滚有啥区别。。最后发现这些都不是原因

第二天一早突然想到这里的parallelStream()可能是罪魁祸首，因为它开启了多线程（多线程往往有问题），本机环境一共有4个worker在处理（包含主线程），但是超时导致的org.springframework.transaction.TransactionTimedOutException错误是发生在主线程内的，那肯定只有主线程回滚了。后经测试证实。

总结

解决方法就是去除parallelStream()，简简单单的使用Map的forEach就好了。

结论：事务只能管着开启事务的线程，其他子线程出了问题都感知不到，所以在多线程环境操作DB要慎重。普通的多线程很容易发觉，但parallelStream是也是，切记

调优Tips

1. 线程池的大小

线程池的大小 = 处理器的核的数目 期望的CPU利用率 (1 + W／C)

其中：

CPU利用率介于0和1之间

W/C是等待时间与计算时间的比率

源自《Java并发编程实战》Brian Goetz的建议

2. 文件下载

HTTP(S)用apache httpclient可实现链接池和断点续传， FTP可使用Apache Commons Net API。
重试间隔设置为5～10分钟较合适。高频容易搞死服务器，低频会阻塞自身程序。
重试次数和超时时间根据业务情况设置。

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/70709.html

学Java编程需要注意的地方

摘要：学编程真的不是一件容易的事不管你多喜欢或是多会编程，在学习和解决问题上总会碰到障碍。熟练掌握核心内容，特别是和多线程初步具备面向对象设计和编程的能力掌握基本的优化策略。　　学Java编程真的不是一件容易的事,不管你多喜欢或是多会Java编程，在学习和解决问题上总会碰到障碍。工作的时间越久就越能明白这个道理。不过这倒是一个让人进步的机会，因为你要一直不断的学习才能很好的解决你面前的难题...

leanxi 2019-08-14 17:48 评论0 收藏0
你和阿里资深架构师之间，差的不仅仅是年龄（进阶必看）

摘要：导读阅读本文需要有足够的时间，笔者会由浅到深带你一步一步了解一个资深架构师所要掌握的各类知识点，你也可以按照文章中所列的知识体系对比自身，对自己进行查漏补缺，觉得本文对你有帮助的话，可以点赞关注一下。目录一基础篇二进阶篇三高级篇四架构篇五扩导读：阅读本文需要有足够的时间，笔者会由浅到深带你一步一步了解一个资深架构师所要掌握的各类知识点，你也可以按照文章中所列的知识体系对比自身，对自己...

huaixiaoz 2019-08-15 15:24 评论0 收藏0
ios局部滚动的坑及解决方案

摘要：起因最近几天在写一个滚动加载更多数据的插件，为局部滚动写时，遇到了很多局部滚动的坑，在这里分享一下这些坑的解决方案。约定把产生滚动条的元素称之为视窗全局滚动滚动条在或者父级元素上。坑一浏览器局部滚动默认没有弹性滚动的效果。起因最近几天在写一个滚动加载更多数据的插件(Scrollload)，为局部滚动写demo时，遇到了很多局部滚动的坑，在这里分享一下这些坑的解决方案。以下的坑只针对...

yhaolpz 2019-08-20 13:41 评论0 收藏0