资讯专栏INFORMATION COLUMN

Go语言高并发工作池模式实践

IT那活儿 / 2369人阅读
Go语言高并发工作池模式实践
点击上方“IT那活儿”公众号,关注后了解更多内容,不管IT什么活儿,干就完了!!!

  

现场运维场景需要特定周期内收集统计各数据库表空间使用率超85%信息。

目前存在上百套数据库,人工收集工作量较大。

Go语言天生支持高并发的属性完美匹配当前场景



 项目结构


1. 配置文件
配置文件使用yaml格式,配置数据库用户信息及主机信息,根据需求可灵活修改。
如下图所示:
2. 解析配置文件
创建配置文件对应结构体:
创建解析函数,用来解析yaml配置文件信息:
3. 工作池
这是worker,我们将在其中运行几个并发实例。这些worker将在作业通道上接收工作,并在结果上发送相应的结果。
为了使用工作池,我们需要向他们发送工作并收集他们的结果。
我们为此制作了 2 个通道,用来接收数据源和查询结果。
我们先启动5个worker:
将解析yaml文件的数据源,传入通道中。
在5个goroutine执行完成后,循环输出结果。
采用并发模式查询,可将收集时间压缩至2-4分钟左右,大大提高工作效率。

本文作者:桂锦巍(上海新炬王翦团队)

本文来源:“IT那活儿”公众号

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/129384.html

相关文章

  • Java将增加虚拟线程,挑战Go协程

    摘要:本周提交的一份增强建议草案要求将虚拟线程作为标准版的一部分进行预览。虚拟线程目的是更好地支持编写和维护高吞吐量并发应用程序。该提案指出,使用虚拟线程不需要学习新的编程模型。我们知道 Go 语言最大亮点之一就是原生支持并发,这得益于 Go 语言的协程机制。一个 go 语句就可以发起一个协程 (goroutin)。 协程本质上是一种用户态线程,它不需要操作系统来进行调度,而是由用户程序自行管理...

    why_rookie 评论0 收藏0
  • 三年Java后端面试经历

    摘要:前言三年后端开发经验,面的目标岗位是的高级后端开发。面试结束,应该没有后续。 前言 三年Java后端开发经验,面的目标岗位是20k-35k的高级后端Java开发。 第一场,基本裸面,关于曾经的项目部门答的不好,所以还是得好好准备。 某C轮在线旅游公司 笔试 先做半个小时的笔试题,一共六个题目,两道go语言的基础题,一道斐波那契相关,一道数据库行列转置,一道实现一个栈,还有一道是百万计...

    darry 评论0 收藏0
  • 入门架构——单机性能

    摘要:协作方式在高并发场景中,必须要让服务器同时维护大量请求连接,可能是一个服务进程创建另一个进程,也可能是一个服务线程去创建另一个线程,但连接结束后进程或线程就销毁了,这是一个巨大的浪费一个自然的想法就是通过创建一个进程线程池从而达到资源复用, showImg(https://segmentfault.com/img/bVbtgn1?w=313&h=208); 协作方式 在高并发场景中,必...

    UCloud 评论0 收藏0
  • 并发

    摘要:表示的是两个,当其中任意一个计算完并发编程之是线程安全并且高效的,在并发编程中经常可见它的使用,在开始分析它的高并发实现机制前,先讲讲废话,看看它是如何被引入的。电商秒杀和抢购,是两个比较典型的互联网高并发场景。 干货:深度剖析分布式搜索引擎设计 分布式,高可用,和机器学习一样,最近几年被提及得最多的名词,听名字多牛逼,来,我们一步一步来击破前两个名词,今天我们首先来说说分布式。 探究...

    supernavy 评论0 收藏0
  • 并发

    摘要:表示的是两个,当其中任意一个计算完并发编程之是线程安全并且高效的,在并发编程中经常可见它的使用,在开始分析它的高并发实现机制前,先讲讲废话,看看它是如何被引入的。电商秒杀和抢购,是两个比较典型的互联网高并发场景。 干货:深度剖析分布式搜索引擎设计 分布式,高可用,和机器学习一样,最近几年被提及得最多的名词,听名字多牛逼,来,我们一步一步来击破前两个名词,今天我们首先来说说分布式。 探究...

    ddongjian0000 评论0 收藏0
  • 并发

    摘要:表示的是两个,当其中任意一个计算完并发编程之是线程安全并且高效的,在并发编程中经常可见它的使用,在开始分析它的高并发实现机制前,先讲讲废话,看看它是如何被引入的。电商秒杀和抢购,是两个比较典型的互联网高并发场景。 干货:深度剖析分布式搜索引擎设计 分布式,高可用,和机器学习一样,最近几年被提及得最多的名词,听名字多牛逼,来,我们一步一步来击破前两个名词,今天我们首先来说说分布式。 探究...

    wangdai 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<