摘要:性能数据吞吐量测试为单以及非共享的单操作。表示两个是否在同一台机器上运行。吞吐量测试逻辑为单,后接共享的操作且该为有状态操作,其状态为给定大小的数组。
测试为单Source以及非共享TaskSlot的单Map操作。Same Host表示两个TaskManager是否在同一台机器上运行。
Message Size | Parallel | Throughput | Same Host |
1024 | 1 | 400 MB/s | True |
1024 | 1 | 360 MB/s | False |
1024 * 1024 | 1 | 345 MB/s | False |
1024 * 1024 | 1 | 278 MB/s | False |
测试为单Source以及非共享TaskSlot的单Map操作。Same Host表示两个TaskManager是否在同一台机器上运行。
Message Size | Parallel | 延迟中位数 |
4 byte | 1 | 29 ms |
测试逻辑为单Kafka Source,后接共享TaskSlot的Map操作。
Message Size | Broker Size | Partition Size | Replica Size | Consumer Parallel | Checkpoint Enabled | Throughput |
1024 | 3 | 3 | 3 | 1 | False | 230 MB/s |
1024 | 3 | 3 | 3 | 3 | False | 370 MB/s |
1024 | 3 | 3 | 3 | 1 | True | 230 MB/s |
1024 | 3 | 3 | 3 | 3 | True | 370 MB/s |
测试逻辑为单字符串生成Source,后接共享TaskSlot的Kafka Sink。
Message Size | Broker Size | Partition Size | Replica Size | Ack | Parallel | Throughput |
1024 | 3 | 3 | 3 | -1 | 1 | 75 MB/s |
1024 | 3 | 3 | 3 | 1 | 1 | 80 MB/s |
100 | 3 | 3 | 3 | -1 | 1 | 55 MB/s |
100 | 3 | 3 | 3 | 1 | 1 | 57 MB/s |
测试逻辑为单Source,后接共享TaskSlot的Map操作;且该Source为有状态操作,其状态为给定大小的byte数组。
Stated Source Parallel | Checkpoint Interval | Checkpoint state Size | hdfs | rocksdb |
1 | 10000 ms | 200 MB | 133 MB/s | 100 MB/s |
3 | 10000 ms | 200 MB (each) | 200 MB/s | 128 MB/s |
1 | 10000 ms | 100 MB | 133 MB/s | 100 MB/s |
3 | 10000 ms | 100 MB (each) | 150 MB/s | 150 MB/s |
测试逻辑为单Source,后接共享TaskSlot的Map操作;且该Source为有状态操作,其状态为给定大小的byte数组。
Stated Source Parallel | Checkpoint Interval | Checkpoint state Size | AVG Checkpoint Time |
1 | 5000 ms | 5kb | 48 ms |
3 | 5000 ms | 5kb (each state) | 100 ms |
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/126206.html
摘要:什么是实时计算实时计算基于构建,为分布式高性能随时可用以及准确的流处理应用程序提供流处理框架,可用于流式数据处理等应用场景。版本支持当前支持的版本为,,,可以在提交任务时选择所使用的版本。什么是实时计算实时计算(UFlink)基于ApacheFlink构建,为分布式、高性能、随时可用以及准确的流处理应用程序提供流处理框架,可用于流式数据处理等应用场景。产品优势100%开源兼容基于开源社区版本...
摘要:开发注意事项基于托管集群的应用开发,和自建集群类似,但是仍然有几个地方需要注意。和默认配置托管集群默认指定以及的堆大小为,目前不支持进行更改单个中的数量设置为高可用配置应用的高可用由集群以及共同保证。配置集群的运行时状态保存在的指定目录中。UFlink开发注意事项基于UFlink托管集群的Flink应用开发,和自建集群类似,但是仍然有几个地方需要注意。JobManager和TaskManag...
摘要:开发指南是为简化计算模型,降低用户使用实时计算的门槛而设计的一套符合标准语义的开发套件。随后,将为该表生成字段,用于记录并表示事件时间。UFlink SQL 开发指南UFlink SQL 是 UCloud 为简化计算模型,降低用户使用实时计算的门槛而设计的一套符合标准 SQL 语义的开发套件。接下来,开发者可以根据如下内容,逐渐熟悉并使用 UFlink SQL 组件所提供的便捷功能。1 ...
摘要:基于开发指南本节主要介绍如何创建项目,并开发简单的应用,从而使该应用可以被提交到平台运行。如果不设置为,可能会导致的类冲突,产生不可预见的问题。在自动生成的文件中,使用了来更方便的控制依赖的可见性。基于Maven开发指南本节主要介绍如何创建项目,并开发简单的Flink应用,从而使该Flink应用可以被提交到UFlink平台运行。==== 自动生成代码框架 ==== 对于Java开发者,可以使...
摘要:集群管理进入集群管理页面通过集群列表页面进入集群管理页面获取集群详情通过集群列表的详情按钮进入详情页面调整集群大小点击调整容量调整集群大小查看点击详情页的按钮查看查看任务历史点击详情页的按钮查看历史任务节点密码重置点击集群列表页的集群管理1. 进入集群管理页面通过UFlink集群列表页面进入集群管理页面:2. 获取集群详情通过集群列表的详情按钮进入详情页面:3. 调整集群大小点击调整容量调整...
阅读 3473·2023-04-25 20:09
阅读 3685·2022-06-28 19:00
阅读 2994·2022-06-28 19:00
阅读 2995·2022-06-28 19:00
阅读 3048·2022-06-28 19:00
阅读 2834·2022-06-28 19:00
阅读 2969·2022-06-28 19:00
阅读 2578·2022-06-28 19:00