资讯专栏INFORMATION COLUMN

HDFS架构

Tecode / 1862人阅读

摘要:个带结构个文件会被拆分成多个负责客户端请求的响应负责元数据文件的名称副本系数存放的的管理元数据描述数据的数据监控健康状况分钟没有收到报告认为死掉了存储用户的文件对应的数据块要定期向发送心跳信息,汇报本身及其所有的信息,健康状况分布式集群和

1个NameNode/NN(Master) 带 DataNode/DN(Slaves) (Master-Slave结构)
1个文件会被拆分成多个Block
NameNode(NN)

  • 负责客户端请求的响应
  • 负责元数据(文件的名称、副本系数、Block存放的DN)的管理
  • 元数据 MetaData 描述数据的数据
  • 监控DataNode健康状况 10分钟没有收到DataNode报告认为Datanode死掉了

DataNode(DN)

  • 存储用户的文件对应的数据块(Block)
  • 要定期向NN发送心跳信息,汇报本身及其所有的block信息,健康状况
  • 分布式集群NameNode和DataNode部署在不同机器上

image.png

HDFS优缺点
优点

  • 数据冗余 硬件容错
  • 适合存储大文件
  • 处理流式数据
  • 可构建在廉价机器上

缺点

  • 低延迟的数据访问
  • 小文件存储

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/125943.html

相关文章

  • 数据仓库架构的变迁

    摘要:前面我们简单阐述了分布式数据库的架构,并通过一条简单的查询语句解释了分布式的执行计划。 引言 第八届中国架构师大会(SACC2016)10月27号到29号在北京万达索菲特大饭店成功举办。大会以架构创新之路为主题,云集了国内外顶尖专家,共同探讨云计算和大数据等技术背景下,如何通过架构创新及各种IT新技术来带动企业转型增效。作为一家专注于云端数据仓库的初创公司,酷克数据受邀在SACC201...

    Raaabbit 评论0 收藏0
  • HDFS架构一图简记

    摘要:会实时从上读取信息,进行重演,保持与的数据同步。如果挂掉了,会监控到,向集群发送心跳报告时会将这一消息报告上去,集群会进行选举,被选举到的所在节点的进程收到通知,这个会切换的状态为。 showImg(https://segmentfault.com/img/bVbqOJn?w=1280&h=720); 读写:客户端通过命名空间发请求,可以无感知的找到active NN,active N...

    姘搁『 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<