摘要：快速开始本例以数据同步到来做说明。创建连接器点击创建连接器按钮，打开配置页面。若下游为，则需配置路径，若为，则需填写信息。连接器列表详情页数据验证参考，为集群创建，并写入消息到其中。
本例以UKafka数据同步到UHadoop来做说明。
点击【创建连接器】按钮，打开配置页面。
配置连接器
基本信息配置按需填写。
【上游】意为Kafka连接器上游的Kafka集群，【下游】意为Kafka连接器将数据传输到哪个目的地。
若【下游】为HDFS，则需配置路径，若为Elasticsearch，则需填写Index信息。
本例中上游为UKafka集群，下游为UHadoop集群，目标HDFS路径为/test/kafkaSinker。
连接器创建完成后，可在列表中查看属性概览，也可在详情页中做更多管理。
数据验证参考 https://doc.ucloud.cn/analysis/ukafka/develop/basic ，为 UKafka 集群创建Topic "for-sinker-test"，并写入消息到其中。
登陆uhadoop的master1节点，查看 HDFS 的文件：hadoop fs -ls /test/kafkaSinker/2019-07-21/
查看文本内容是否与UKafka中输入的相同：hadoop fs -text /test/kafkaSinker/2019-07-21/for-sinker-test-1.1563728241834.gz.tmp
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/127238.html
摘要：大量的和分区会严重影响集群性能。介绍可参考收到离线分区总数异常告警一般是某个节点宕机或者服务异常导致。若服务卡住，可在评估后在控制台重启该节点服务。若想了解当前请求延时情况，建议关注平均请求延时监控项。 FAQs本篇目录一个UKafka集群可以创建多少个Topic？如何增加Topic的副本数量(ReplicationFactor)？收到离线分区总数>=10.0个告警，离线分区总数是什么，怎么...
摘要：集群管理集群管理集群管理本篇目录创建集群创建集群调整集群参数调整集群参数创建集群创建集群创建集群点击控制台左上角全部产品选择消息队列也可锁定到左侧菜单栏。选择完毕后，进入集群设置页面，可对集群参数进行配置。 集群管理本篇目录创建集群调整集群参数创建集群1. 点击控制台左上角全部产品选择Kafka消息队列 UKafka,也可锁定到左侧菜单栏。2. 进入UKafka操作界面，点击创建集群进行UK...
摘要：性能测试性能测试性能测试上游，下游是的连接器节点数分区数数消息大小机型速度消息数核核核核核核核上游，下游是连接器节点数分区数数消息大小机型版本机型节点数分片数副本数速度消息数核核核核核核核核核 性能测试上游UKafka，下游是UHadoop的HDFS 连接器节点数分区数broker数消息大小/byteskafka机型hadoopmasterhadoopcore速度(消息数/s)1331024...
摘要：性能测试性能测试性能测试在不同机型集群默认配置下，利用脚本进行性能基准测试测试结果下载 性能测试在不同机型 ukafka 集群默认配置下，利用 kafka-producer-perf-test.sh 脚本进行性能基准测试测试结果下载
摘要：监控视图监控视图监控视图集群监控集群监控提供小时至天多个维度的集群流入流出数据量和消息个数监控，生产者消费者监控数据，以及相关监控数据。节点监控节点监控提供每个上的磁盘网卡，服务，以及监控数据 监控视图集群监控提供1小时至15天多个维度的集群流入、流出数据量和消息个数监控，Kafka生产者、消费者监控数据，以及Zookeeper相关监控数据。节点监控提供每个Broker上的CPU、MEM、磁...
阅读 114·2024-11-07 18:25
阅读 130163·2024-02-01 10:43
阅读 789·2024-01-31 14:58
阅读 764·2024-01-31 14:54
阅读 82582·2024-01-29 17:11
阅读 2890·2024-01-25 14:55
阅读 1928·2023-06-02 13:36
阅读 2870·2023-05-23 10:26
