摘要：创建集群时磁盘管理方式默认为清理日志。集群运行中选磁盘管理，然后可以修改磁盘管理方式和磁盘使用率阈值，调整后立即生效。
磁盘管理方式包括自动清理日志和无操作，清理日志即为当磁盘到达设定的阈值时开始清理日志文件，避免由于磁盘写满导致Kafka服务不可用。
清理日志当集群中某个节点的磁盘使用率达到您设定的阈值时，UKafka会开始自动清理日志。
清理策略为：根据当前节点上各 topic 实际占用比例与磁盘总容量，按比例计算要清理到磁盘阈值之下时各 topic 的占用，以这个值设置 topic 保留大小。当磁盘使用率降低到阈值之下后，会恢复 topic 的保留大小设置。
每个 topic partition 在磁盘上会对应多个 segment 数据文件，segment 文件是可操作的最小单位，因此清理的最小粒度也是 1G。
当集群磁盘使用达到阈值时，如果 topic partition 的实际占用小于节点磁盘的 2%，为了防止 topic 限制过小导致不可用，清理服务会跳过这类 topic。
当 topic 占用增长过快时，磁盘清理可能会被频繁触发，磁盘清理策略可以预防磁盘写满导致 Kafka 服务不可用，但制定的清理策略只能被动的根据 topic 实际占比来决定，并不是最符合实际业务需求的方案，因此当出现这种情况时，建议您根据自身业务对 topic 保留策略进行调整。
开启清理日志如果集群中所有 topic partition 都没有达到清理限制的大小，但是因为 topic partition 总数太多导致磁盘占用率达到阈值，这时日志清理服务将不会进行工作，这种情况必须由用户自己调整 topic 或者扩容集群
集群创建时和集群运行中都可以开启该功能。
创建集群时磁盘管理方式默认为“清理日志”。不建议您选择“无操作”，这样会导致磁盘写满之后kafka服务不可用。
磁盘使用率阈值默认为80%，可选范围为70%~90%。
选“磁盘管理”，然后可以修改磁盘管理方式和磁盘使用率阈值，调整后立即生效。
若选择不由UKafka管理磁盘，十分建议您在监控中开启磁盘使用率告警，在磁盘使用率达到80%时，可在控制台清理各topic的旧日志。
清理方法为，选择“topic管理”中的“更新配置”，在弹出窗口中调小“日志保存时间”。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/126904.html
摘要：大量的和分区会严重影响集群性能。介绍可参考收到离线分区总数异常告警一般是某个节点宕机或者服务异常导致。若服务卡住，可在评估后在控制台重启该节点服务。若想了解当前请求延时情况，建议关注平均请求延时监控项。 FAQs本篇目录一个UKafka集群可以创建多少个Topic？如何增加Topic的副本数量(ReplicationFactor)？收到离线分区总数>=10.0个告警，离线分区总数是什么，怎么...
摘要：集群管理集群管理集群管理本篇目录创建集群创建集群调整集群参数调整集群参数创建集群创建集群创建集群点击控制台左上角全部产品选择消息队列也可锁定到左侧菜单栏。选择完毕后，进入集群设置页面，可对集群参数进行配置。 集群管理本篇目录创建集群调整集群参数创建集群1. 点击控制台左上角全部产品选择Kafka消息队列 UKafka,也可锁定到左侧菜单栏。2. 进入UKafka操作界面，点击创建集群进行UK...
摘要：概览概览产品简介操作指南集群管理节点管理磁盘管理管理管理监控视图监控项说明开发指南快速开始认证配置与外网访问客户端性能测试连接器产品介绍快速开始产品功能性能测试产品价格产品价格 概览产品简介操作指南集群管理节点管理磁盘管理Topic管理ConsumerGroup管理监控视图监控项说明开发指南快速开始认证配置与外网访问客户端SDK性能测试FAQsKafka连接器产品介绍快速开始产品功能性能测试...
摘要：监控视图监控视图监控视图集群监控集群监控提供小时至天多个维度的集群流入流出数据量和消息个数监控，生产者消费者监控数据，以及相关监控数据。节点监控节点监控提供每个上的磁盘网卡，服务，以及监控数据 监控视图集群监控提供1小时至15天多个维度的集群流入、流出数据量和消息个数监控，Kafka生产者、消费者监控数据，以及Zookeeper相关监控数据。节点监控提供每个Broker上的CPU、MEM、磁...
摘要：快速开始本例以数据同步到来做说明。创建连接器点击创建连接器按钮，打开配置页面。若下游为，则需配置路径，若为，则需填写信息。连接器列表详情页数据验证参考，为集群创建，并写入消息到其中。快速开始本例以UKafka数据同步到UHadoop来做说明。创建连接器点击【创建连接器】按钮，打开配置页面。配置连接器基本信息配置按需填写。【上游】意为Kafka连接器上游的Kafka集群，【下游】意为Kafka...
摘要：性能测试性能测试性能测试上游，下游是的连接器节点数分区数数消息大小机型速度消息数核核核核核核核上游，下游是连接器节点数分区数数消息大小机型版本机型节点数分片数副本数速度消息数核核核核核核核核核 性能测试上游UKafka，下游是UHadoop的HDFS 连接器节点数分区数broker数消息大小/byteskafka机型hadoopmasterhadoopcore速度(消息数/s)1331024...
阅读 291·2024-11-07 18:25
阅读 130379·2024-02-01 10:43
阅读 870·2024-01-31 14:58
阅读 828·2024-01-31 14:54
阅读 82773·2024-01-29 17:11
阅读 3061·2024-01-25 14:55
阅读 1986·2023-06-02 13:36
阅读 3036·2023-05-23 10:26
