摘要：大量的和分区会严重影响集群性能。介绍可参考收到离线分区总数异常告警一般是某个节点宕机或者服务异常导致。若服务卡住，可在评估后在控制台重启该节点服务。若想了解当前请求延时情况，建议关注平均请求延时监控项。
副本数量一般建议为 3。Partitions 数量可根据集群所有节点磁盘块总数(如普通实例每个节点只挂载一块磁盘，而均衡I/O型根据配置不同挂载2-8块磁盘不等)和客户端需要的并发量设置，一般建议不要设置过大，影响集群性能。
集群可以支持任意数量的Topic，建议使用较大规模Topic代替大量较小规模的Topic，例如：需要将消息按天区分，应该在每条消息上加上时间戳，而不是每天自动创建一个新的Topic。大量的Topic和分区会严重影响集群性能。
参考官方文档
节点kafka-logs目录下consumer_offset相关目录占用大量磁盘空间不释放，怎么处理 ？在增加topic的副本时，由于会复制数据，建议节点数据盘保留有足够的空间。
__consumer_offset 是 Kafka 用来存放客户端消费的 offset 信息的 Topic，默认采用压缩策略。
修改 log.cleaner.enable 参数为 ture，然后按顺序重启每个节点kafka服务。
分区是Kafka中Topic的一个物理概念上的消息分块，以实现服务的分布式与高可用。（Kafka介绍可参考intro）
收到离线分区总数异常告警一般是某个节点宕机或者服务异常导致。可通过UKafka console“节点管理”页面，依次查看每个节点“关联的Topic”信息，若为空，说明此节点异常，进而
可在“节点管理”中查看server.log，观察是否有异常日志。若kafka服务卡住，可在评估后在控制台重启该节点kafka服务。
排查过程中，每个Topic的复制因子replication-factor尽量大于等于3，以避免单机故障带来的业务不可用
集群默认配置 message.max.bytes 为 1MB，若需支持更大的消息，可通过集群参数配置管理修改 message.max.bytes，replica.fetch.max.bytes，consumer 端则需修改 fetch.message.max.bytes。
暂不提供外网访问集群功能。
默认不支持单个节点纵向升级，如果需要扩充资源，可以横向添加节点;如果遇到内存或其它单个节点的资源瓶颈，可以联系我们提供后台升级。
集群监控视图页面提供集群流入、流出数据量、消息个数监控，Kafka生产者、消费者监控数据，以及Zookeeper相关监控数据，并提供每个Broker上的CPU、MEM、磁盘、网卡，Kafka服务，以及Zookeeper监控数据； 可通过Kafka Manager页面查看每个Topic、Broker的实时流量。
zookeeper最大延时（zk_max_latency）是表示集群创建以来出现过的请求延时最大值，无法代表当前状态。若想了解当前zookeeper请求延时情况，建议关注平均请求延时监控项。
目前控制台消费者信息是根据消费者类型分别通过访问 zookeeper 或者调用 kafka api 得到的，但是 kafka 客户端 sdk 可以灵活的决定对消费者信息的存储方式，所以在使用没有以标准方式存储信息的 sdk 时，消费者信息可能会获取错误。对于这些消费者，我们目前没有去多带带适配，已知会出现问题的 sdk 有：
pykafkahttps://github.com/Parsely/pykafka/issues/888https://github.com/Parsely/pykafka/issues/567jstorm：不会按标准的方式存储消费者组信息，是由自己管理消费实例与 topic partition 的对应关系以及对应的 offset，部分信息存储在 zookeeper 的/jstorm 路径下flink 0.9 版本的 kafka 消费信息由自己管理，不会在 kafka 这边注册生成 group 信息在遇到获取信息错误时，可以先使用 kafka-consumer-groups.sh --bootstrap-server $(hostname):9092 --describe --group $group 命令确认消费者是否有信息缺失或者错误。
扩容节点后，在原来机器上的 topic partition 不会自动均衡到新的机器，需要使用分区重新分配工具来均衡
控制台提供的功能是Automatically migrating data to new machines的部分
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/127092.html
摘要：集群管理集群管理集群管理本篇目录创建集群创建集群调整集群参数调整集群参数创建集群创建集群创建集群点击控制台左上角全部产品选择消息队列也可锁定到左侧菜单栏。选择完毕后，进入集群设置页面，可对集群参数进行配置。 集群管理本篇目录创建集群调整集群参数创建集群1. 点击控制台左上角全部产品选择Kafka消息队列 UKafka,也可锁定到左侧菜单栏。2. 进入UKafka操作界面，点击创建集群进行UK...
摘要：快速开始本例以数据同步到来做说明。创建连接器点击创建连接器按钮，打开配置页面。若下游为，则需配置路径，若为，则需填写信息。连接器列表详情页数据验证参考，为集群创建，并写入消息到其中。快速开始本例以UKafka数据同步到UHadoop来做说明。创建连接器点击【创建连接器】按钮，打开配置页面。配置连接器基本信息配置按需填写。【上游】意为Kafka连接器上游的Kafka集群，【下游】意为Kafka...
摘要：性能测试性能测试性能测试上游，下游是的连接器节点数分区数数消息大小机型速度消息数核核核核核核核上游，下游是连接器节点数分区数数消息大小机型版本机型节点数分片数副本数速度消息数核核核核核核核核核 性能测试上游UKafka，下游是UHadoop的HDFS 连接器节点数分区数broker数消息大小/byteskafka机型hadoopmasterhadoopcore速度(消息数/s)1331024...
摘要：性能测试性能测试性能测试在不同机型集群默认配置下，利用脚本进行性能基准测试测试结果下载 性能测试在不同机型 ukafka 集群默认配置下，利用 kafka-producer-perf-test.sh 脚本进行性能基准测试测试结果下载
摘要：监控视图监控视图监控视图集群监控集群监控提供小时至天多个维度的集群流入流出数据量和消息个数监控，生产者消费者监控数据，以及相关监控数据。节点监控节点监控提供每个上的磁盘网卡，服务，以及监控数据 监控视图集群监控提供1小时至15天多个维度的集群流入、流出数据量和消息个数监控，Kafka生产者、消费者监控数据，以及Zookeeper相关监控数据。节点监控提供每个Broker上的CPU、MEM、磁...
阅读 125·2024-11-07 18:25
阅读 130176·2024-02-01 10:43
阅读 798·2024-01-31 14:58
阅读 790·2024-01-31 14:54
阅读 82600·2024-01-29 17:11
阅读 2921·2024-01-25 14:55
阅读 1935·2023-06-02 13:36
阅读 2882·2023-05-23 10:26
