资讯专栏INFORMATION COLUMN

【Flink实时计算 UFlink】性能数据

Tecode / 1935人阅读

摘要:性能数据吞吐量测试为单以及非共享的单操作。表示两个是否在同一台机器上运行。吞吐量测试逻辑为单,后接共享的操作且该为有状态操作,其状态为给定大小的数组。

性能数据

吞吐量

测试为单Source以及非共享TaskSlot的单Map操作。Same Host表示两个TaskManager是否在同一台机器上运行。
Message SizeParallelThroughputSame Host
10241400 MB/sTrue
10241360 MB/sFalse
1024 * 10241345 MB/sFalse
1024 * 10241278 MB/sFalse

延迟

测试为单Source以及非共享TaskSlot的单Map操作。Same Host表示两个TaskManager是否在同一台机器上运行。
Message SizeParallel延迟中位数
4 byte129 ms

Kafka Consumer

测试逻辑为单Kafka Source,后接共享TaskSlot的Map操作。
Message SizeBroker SizePartition SizeReplica SizeConsumer ParallelCheckpoint EnabledThroughput
10243331False230 MB/s
10243333False370 MB/s
10243331True230 MB/s
10243333True370 MB/s

Kafka Consumer

测试逻辑为单字符串生成Source,后接共享TaskSlot的Kafka Sink。
Message SizeBroker SizePartition SizeReplica SizeAckParallelThroughput
1024333-1175 MB/s
10243331180 MB/s
100333-1155 MB/s
1003331157 MB/s

HDFS/Rocksdb checkpoint吞吐量

测试逻辑为单Source,后接共享TaskSlot的Map操作;且该Source为有状态操作,其状态为给定大小的byte数组。
Stated Source ParallelCheckpoint IntervalCheckpoint state Sizehdfsrocksdb
110000 ms200 MB133 MB/s100 MB/s
310000 ms200 MB (each)200 MB/s128 MB/s
110000 ms100 MB133 MB/s100 MB/s
310000 ms100 MB (each)150 MB/s150 MB/s

Flink hdfs checkpoint 延迟

测试逻辑为单Source,后接共享TaskSlot的Map操作;且该Source为有状态操作,其状态为给定大小的byte数组。
Stated Source ParallelCheckpoint IntervalCheckpoint state SizeAVG Checkpoint Time
15000 ms5kb48 ms
35000 ms5kb (each state)100 ms

实时文档欢迎https://docs.ucloud.cn/uflink/performance

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/126206.html

相关文章

  • Flink实时计算 UFlink】什么是实时计算、产品优势、版本支持

    摘要:什么是实时计算实时计算基于构建,为分布式高性能随时可用以及准确的流处理应用程序提供流处理框架,可用于流式数据处理等应用场景。版本支持当前支持的版本为,,,可以在提交任务时选择所使用的版本。什么是实时计算实时计算(UFlink)基于ApacheFlink构建,为分布式、高性能、随时可用以及准确的流处理应用程序提供流处理框架,可用于流式数据处理等应用场景。产品优势100%开源兼容基于开源社区版本...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】UFlink开发注意事项

    摘要:开发注意事项基于托管集群的应用开发,和自建集群类似,但是仍然有几个地方需要注意。和默认配置托管集群默认指定以及的堆大小为,目前不支持进行更改单个中的数量设置为高可用配置应用的高可用由集群以及共同保证。配置集群的运行时状态保存在的指定目录中。UFlink开发注意事项基于UFlink托管集群的Flink应用开发,和自建集群类似,但是仍然有几个地方需要注意。JobManager和TaskManag...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】UFlink SQL 开发指南

    摘要:开发指南是为简化计算模型,降低用户使用实时计算的门槛而设计的一套符合标准语义的开发套件。随后,将为该表生成字段,用于记录并表示事件时间。UFlink SQL 开发指南UFlink SQL 是 UCloud 为简化计算模型,降低用户使用实时计算的门槛而设计的一套符合标准 SQL 语义的开发套件。接下来,开发者可以根据如下内容,逐渐熟悉并使用 UFlink SQL 组件所提供的便捷功能。1 ...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】基于Maven开发指南

    摘要:基于开发指南本节主要介绍如何创建项目,并开发简单的应用,从而使该应用可以被提交到平台运行。如果不设置为,可能会导致的类冲突,产生不可预见的问题。在自动生成的文件中,使用了来更方便的控制依赖的可见性。基于Maven开发指南本节主要介绍如何创建项目,并开发简单的Flink应用,从而使该Flink应用可以被提交到UFlink平台运行。==== 自动生成代码框架 ==== 对于Java开发者,可以使...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】集群管理

    摘要:集群管理进入集群管理页面通过集群列表页面进入集群管理页面获取集群详情通过集群列表的详情按钮进入详情页面调整集群大小点击调整容量调整集群大小查看点击详情页的按钮查看查看任务历史点击详情页的按钮查看历史任务节点密码重置点击集群列表页的集群管理1. 进入集群管理页面通过UFlink集群列表页面进入集群管理页面:2. 获取集群详情通过集群列表的详情按钮进入详情页面:3. 调整集群大小点击调整容量调整...

    Tecode 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<