资讯专栏INFORMATION COLUMN

java客户端无法上传文件到hdfs

CoffeX / 3135人阅读

摘要:遇到这个问题,查找网上好多资料,一般都是说和不同步导致的,或者防火墙没开端口,或者和无法通信导致的。本地需要配置好,然后加上下面这句代码意思大概就是伪分布式注册到的是本机的,当远程客户端连接到得到的的时候,得到的是,这自然是连接不上的。

019-07-01 16:45:24,933 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 58.211.111.42:63048 Call#3 Retry#0
java.io.IOException: File /a1.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1620)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3350)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:678)
    at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock(AuthorizationProviderProxyClientProtocol.java:213)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:491)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2141)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2137)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1835)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2135)

学些hadoop。遇到这个问题,查找网上好多资料,一般都是说namenode和datanode不同步导致的,或者防火墙没开50010端口,或者nameNode和datanode无法通信导致的。

其实通过命令行都是可以正常操作的,远程调用的时候可以创建目录和文件,但是像文件写内容的时候,就写不进去,报如上错误。

本地host需要配置好,然后加上下面这句代码

configuration = new Configuration();
configuration.set("dfs.client.use.datanode.hostname", "true");

意思大概就是伪分布式hdfs,datanode注册到namenode的ip是本机的127.0.0.1,当远程客户端连接到namenode得到datanode的ip的时候,得到的是127.0.0.1,这自然是连接不上的。这里的意思大概就是强制本地java客户端使用hostname去连接datanode,可以连接成功

防火墙端口50010也是必须打开的,因为数据节点需要使用这个端口

参考自链接描述

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/75102.html

相关文章

  • java 文件存储

    摘要:优点开发成本低,可以配置加速网络三分布式文件系统方案常见的分布式文件系统有,等。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 一、小应用存储方案 在开发中上传文件存储是个问题,而一般小应用开发会选择服务器本地目录做为存储地址,通过保存文件的相对路径来获取文件,在应用不要求高可用的情况下这是一种普遍的方案。 问题: 在每次更新Java版本时,都需要将文件目录做一次备...

    Alfred 评论0 收藏0
  • java 文件存储

    摘要:优点开发成本低,可以配置加速网络三分布式文件系统方案常见的分布式文件系统有,等。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 一、小应用存储方案 在开发中上传文件存储是个问题,而一般小应用开发会选择服务器本地目录做为存储地址,通过保存文件的相对路径来获取文件,在应用不要求高可用的情况下这是一种普遍的方案。 问题: 在每次更新Java版本时,都需要将文件目录做一次备...

    shery 评论0 收藏0
  • HADOOP集群文件上传下载

    摘要:对上的文件进行上传和下载是对集群的基本操作,在权威指南一书中,对文件的上传和下载都有代码的实例,但是对如何配置客户端却是没有讲得很清楚,经过长时间的搜索和调试,总结了一下,如何配置使用集群的方法,以及自己测试可用的对集群上的文件进行操作的程 对HDFS上的文件进行上传和下载是对集群的基本操作,在《HADOOP权威指南》一书中,对文件的上传和下载都有代码的实例,但是对如何配置HADOOP...

    nevermind 评论0 收藏0
  • Hadoop学习热身——HDFS概念

    摘要:助辅助做元数据的备份。元数据存储在内存和磁盘中,这是因为磁盘的读写效率较低,而保存到内存又有断电消失的隐患。但磁盘中的元数据并不是最新的,内存中的元数据才是实时的。将中的和复制到自身节点上并加载进内存,根据的记录操作更改元数据信息。 HDFS(Hadoop Distributed File System ) 前言:最近正式进入了大数据框架的学习阶段,文章来自个人OneNote笔记全部...

    AnthonyHan 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<