资讯专栏INFORMATION COLUMN

Cube如何助力科盾业务容器化“一步到位”?

happyhuangjinjin / 2318人阅读

前言
以Docker为代表的容器技术缩短了企业应用从开发、构建到发布、运行的整个生命周期。Gartner推测到2022年将会有75%的全球化企业将在生产中使用容器化的应用(当前约为30%)。由于Docker往往难以独立支撑起大规模容器化部署,因此诞生了Kubernetes等容器编排工具,解决了大规模容器的组织和管理难题。

但事实上,Kubernetes的使用体系还是非常复杂的,对于企业的开发运维人员而言,需要具备一定的网络、存储、系统等方面的技术能力。同时在Kubernetes 集群的部署过程中,也需要面临多节点集群搭建维护、网络和存储的选择配置等难题。上述问题是企业在大规模应用的容器化部署和容器编排中不可避免的,科盾亦面临同样的困境。

科盾为什么选择容器化?

深圳市科盾科技有限公司(下文简称科盾)是全国领先的互联网大数据服务商,是一家专注于网络空间治理领域科研及应用开发的国家高新技术企业,致力于为网安、网信、政府及大中型企业提供大数据互联网舆情监测、网络情报挖掘和企业商情监测等服务,以便及时、精准、全面掌握互联网舆情信息,快速化解舆情危机。同时全面获取网络情报线索和市场竞争情报,为政府机构打击网络违法犯罪、企业提高市场竞争力提供高科技利器。舆情分析的数据来源几乎覆盖所有互联网平台的公开信息,包括常见的资讯网站和社交媒体、自媒体、短视频等平台。因此构建一套完整精准的舆情监测系统,不仅需要强大的数据采集能力,还需要具备强大的数据分析、价值挖掘能力,给底层的IT架构带来巨大的技术挑战。

在实现微服务及容器化部署之前,科盾是直接将应用部署在服务器上的,开发运维人员花费大量时间在开发、测试和生产环境的配置上,还要解决日常出现的网络、日志、监控等问题。随着公司业务的扩展,整个系统越来越庞杂,且依赖复杂、数据没有隔离、逻辑重复,于是科盾将其业务进行了微服务架构的改造。
科盾采用了 SpringCloud 微服务体系及 Eureka 服务注册中心,将整体业务架构分为任务调度、数据采集、数据存储、数据处理等多个环节,其整体业务架构图如下:

 

任务调度系统根据注册的数据采集节点信息,调度有效的采集目标给数据采集节点,数据采集节点根据算法对目标处理后,将数据结果传输根据其内容类型,传输给基于 MySQL、MongoDB、HBase、Elasticsearch、对象存储等服务的存储队列,再由处理链进行数据清洗、资源文件拆分下载、模型预测、各个子系统业务标签、数据推送服务等。


在微服务阶段,随着应用数量的增加,一次发布往往涉及了多个应用,这对团队的自动化运维水平提出了更高的要求。于是,团队开始对应用进行容器化改造。各个模块打包封装成镜像,就可以在任意平台上运行,轻松实现业务的迁移和扩展;无需重复配置环境,配合Gitlab就可以非常方便的进行持续交付和部署,还可以对应用之间进行隔离。

Cube比容器更快更轻
使用容器后确实解决了科盾先前面临的交付效率、运维成本和环境一致性等问题,但自建Docker服务仍存在一些问题,例如:

• 需购买固定资源规格的主机,成本投入比较高;

• 只能通过主机进行挂载,操作繁琐;

• 只支持单一IP,绑定额外的IP十分繁琐;

• 遇到故障时需要额外安装控制调度系统进行重启;

• 只能通过namespace和cgroup进行弱隔离;

• 需要使用docker命令进行创建,学习成本较高。
通过UCloud容器实例Cube,用户只需要提供打包好的容器镜像,即可实现在数秒之内,实现批量部署容器化应用,而不需要预先购买主机或K8S集群,并且只需为容器实际运行消耗的资源付费。
此外Cube还具备以下优势:

• 网络上使用 UCloud VPC网络进行内网服务,与 UCloud 其他云产品打通;

• 存储直接使用云盘进行挂载使用,读写性能高,操作便捷;

• Cube控制调度系统为容器自动重启,自愈能力强;

• UCloud海量资源支撑,超大集群避免单一节点故障;

• 使用Firecracker虚拟化技术实现虚拟机级别的强隔离。
基于Cube的优势,科盾已将其数据采集节点迁移到了Cube,日志收集方案由原来的宿主机本地映射存取,改为发送到Kafka队列。由于容器化应用的特质,科盾无需对业务进行改造,直接采用原有镜像即可在 Cube 上部署应用,实现平滑迁移。而 Kafka 的应用,也提升了日志收集、管理的效率。
Cube 帮助科盾实现了业务的快速回滚和横向扩展。后续,科盾计划引入K8S集群,并将更多数据处理链等上的服务迁移至Cube。

总结
科盾的业务架构从传统的服务器部署模式到微服务架构、容器化改造,再到选择UCloud容器实例服务Cube的迁移,是企业降低资源成本、提升开发运维效率的探索之路,也贴合云原生技术崛起的脉络。无论是容器Docker、Kubernetes还是Serverless架构的Cube,最终都会回归到为企业降本增效的核心价值。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/117619.html

相关文章

  • UCloud Cube助力科盾业务容器一步到位

    摘要:帮助科盾实现了业务的快速回滚和横向扩展。后续,科盾计划引入集群,并将更多数据处理链等上的服务迁移至。前言 以Docker为代表的容器技术缩短了企业应用从开发、构建到发布、运行的整个生命周期。Gartner推测到2022年将会有75%的全球化企业将在生产中使用容器化的应用(当前约为30%)。由于Docker往往难以独立支撑起大规模容器化部署,因此诞生了Kubernetes等容器编排工具,解决...

    songjz 评论0 收藏0
  • UCloud优刻得容器Cube入选2020年度十大云原生创新技术方案

    摘要:近日,由极客邦科技主办的首个年度榜单中国技术力量年度榜单评选结果揭晓,优刻得容器实例成功入选年度十大云原生创新技术方案。近日,由极客邦科技、InfoQ主办的首个年度榜单2020中国技术力量年度榜单评选结果揭晓,UCloud优刻得 Serverless容器实例Cube成功入选2020年度十大云原生创新技术方案。顶尖专家阵容 优质项目交锋 UCloud云原生实力获得认可此次极客邦科技、InfoQ...

    Tecode 评论0 收藏0
  • 2020 UCloud用户大会:升级新动能 创见新增长

    摘要:年月日,在上海举行了以构建,创见为主题的用户大会暨大会。这是在科创板上市后举办的首次用户大会。在本次大会上,宣布旗下核心云产品全线升级,助力全行业加速上云。2020年10月23日,UCloud在上海举行了以构建,创见为主题的UCloud用户大会暨Think in Cloud大会。这是UCloud在科创板上市后举办的首次用户大会。在本次大会上,UCloud 宣布旗下核心云产品全线升级,助力全行...

    Tecode 评论0 收藏0
  • CloudBest:年度复盘丨盘点2020无处不在的「云原生」

    摘要:华为云华为云在云原生这场游戏中,最具竞争力的玩家之一。年,金山云在云原生领域推出了三款重磅产品星曜裸金属服务器云服务器和云盘。在线上智博会上,浪潮云发布了经过全新迭代升级的浪潮云,进一步提升平台云原生服务能力。面对数字时代复杂系统的不确定性,传统的 IT 应用架构研发交付周期长、维护成本高、创新升级难,烟囱式架构,开放性差、组件复用度低,这些都成为了企业业务快速增长的瓶颈。而云原生以其敏捷、...

    Tecode 评论0 收藏0
  • UCan技术开放日(上海站)——云原生在多行业场景的落地实践

    摘要:技术开放日云原生在多行业场景的落地实践当前,云计算已成为万千企业数字化转型的基石,随之而来的是对云计算应用效能的更高要求。UCloud UCan技术开放日——云原生在多行业场景的落地实践当前,云计算已成为万千企业数字化转型的基石,随之而来的是对云计算应用效能的更高要求。敏捷开发、弹性架构、多集群运维等,让企业现有IT架构面临新的挑战。云原生以其独特的技术特点,很好地契合了云计算发展的本质需求...

    Tecode 评论0 收藏0

发表评论

0条评论

happyhuangjinjin

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<