YARN架构一图简记

rubyshen 发布于2019-08-16 16:19 / 924人阅读

摘要：启动时会向的路径下写入文件，写入成功的则为，否则为。根据上下文以及从收集到的状态信息分配资源并调度，启动一个用来运行。负责启动，监控所在节点的资源使用情况，并通过心跳机制报告给。

HA：RM启动时会向zk的/mrstore路径下写入lock文件，写入成功的则为active RM，否则为standby RM。启动后，RM会将job信息写入/mrstore,RM进程中的ZKFC线程会监控/mrstore中的lock文件，若不存在则RM为active，存在则为standby,切换后可从/mrstore读取job信息。

运行：Client提交job，会访问RM，若访问到standby RM则重新访问active RM。RM根据job上下文以及从NM收集到的状态信息分配资源并调度，启动一个container用来运行AM。NM负责启动container，监控所在节点的资源使用情况，并通过心跳机制报告给RM。job的task会在container中运行。

RM,NM相当于写字楼的管理者，RM总管，NM区域管理，它们提供container（办公室）；
AM相当于项目经理，向写字楼管理者申请办公室，在它们提供的container上执行task，完成客户提交的job。

GPU云服务器云服务器简记一图胜 Yarn 一图秒懂

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/74042.html

HDFS架构一图简记

摘要：会实时从上读取信息，进行重演，保持与的数据同步。如果挂掉了，会监控到，向集群发送心跳报告时会将这一消息报告上去，集群会进行选举，被选举到的所在节点的进程收到通知，这个会切换的状态为。 showImg(https://segmentfault.com/img/bVbqOJn?w=1280&h=720); 读写：客户端通过命名空间发请求，可以无感知的找到active NN，active N...

姘搁『 2019-08-16 16:19 评论0 收藏0
追根溯源！一图看尽深度学习架构谱系

摘要：近几年，深度学习高速发展，出现了大量的新模型与架构，以至于我们无法理清网络类型之间的关系。是由深度学习先驱等人提出的新一代神经网络形式，旨在修正反向传播机制。当多个预测一致时本论文使用动态路由使预测一致，更高级别的将变得活跃。近几年，深度学习高速发展，出现了大量的新模型与架构，以至于我们无法理清网络类型之间的关系。在这篇文章中，香港科技大学（HKUST）助理教授金成勳总结了深度网络类型之间...

tinylcy 2019-04-25 18:20 评论0 收藏0
Java多线程001——一图读懂线程与进程

摘要：一图读懂线程与进程一个进程可以包含一个或多个线程。栈帧中保存了该函数的返回地址和局部变量。公众号猫说现架构设计码农兼创业技术顾问，不羁平庸，热爱开源，杂谈程序人生与不定期干货。本博客猫叔的博客，转载请申明出处前言本系列将由浅入深，学习Java并发多线程。一图读懂线程与进程 showImg(https://segmentfault.com/img/remote/14600000...

ivyzhang 2019-08-16 15:10 评论0 收藏0