HDFS架构一图简记

姘搁『发布于2019-08-16 16:19 / 3501人阅读

摘要：会实时从上读取信息，进行重演，保持与的数据同步。如果挂掉了，会监控到，向集群发送心跳报告时会将这一消息报告上去，集群会进行选举，被选举到的所在节点的进程收到通知，这个会切换的状态为。

读写：客户端通过命名空间发请求，可以无感知的找到active NN，active NN所做操作会保存在editlog文件中，并向JournalNode节点写入editlog。DN向NN发送心跳报告的时候，NN将editlog上的数据操作发送给DN实现。

HA：standby NN会实时从JN上读取editlog信息，进行重演，保持与active NN的数据同步。如果active NN挂掉了，ZKFC会监控到，向zk集群发送心跳报告时会将这一消息报告上去，zk集群会进行选举，被选举到的standby NN所在节点的ZKFC进程收到通知，这个ZKFC会切换NN的状态为active。

配置：与zk同理，JN需要配置2n+1个。
HDFS节点在20个，JN配置5个；
HDFS节点20~100个，JN配置7/9/11个；
HDFS节点100以上，JN配置11个即可。
JN配置数量应根据写请求的频繁程度而定，但并非越多越好，太多会因为半数通过机制而导致性能下降。

GPU云服务器云服务器简记一图胜一图秒懂一图看懂云服务器ecs

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/74044.html

YARN架构一图简记

摘要：启动时会向的路径下写入文件，写入成功的则为，否则为。根据上下文以及从收集到的状态信息分配资源并调度，启动一个用来运行。负责启动，监控所在节点的资源使用情况，并通过心跳机制报告给。 showImg(https://segmentfault.com/img/bVbqOVb?w=1280&h=720); HA：RM启动时会向zk的/mrstore路径下写入lock文件，写入成功的则为acti...

rubyshen 2019-08-16 16:19 评论0 收藏0
追根溯源！一图看尽深度学习架构谱系

摘要：近几年，深度学习高速发展，出现了大量的新模型与架构，以至于我们无法理清网络类型之间的关系。是由深度学习先驱等人提出的新一代神经网络形式，旨在修正反向传播机制。当多个预测一致时本论文使用动态路由使预测一致，更高级别的将变得活跃。近几年，深度学习高速发展，出现了大量的新模型与架构，以至于我们无法理清网络类型之间的关系。在这篇文章中，香港科技大学（HKUST）助理教授金成勳总结了深度网络类型之间...

tinylcy 2019-04-25 18:20 评论0 收藏0