java客户端无法上传文件到hdfs

CoffeX 发布于2019-08-16 18:26 / 3025人阅读

摘要：遇到这个问题，查找网上好多资料，一般都是说和不同步导致的，或者防火墙没开端口，或者和无法通信导致的。本地需要配置好，然后加上下面这句代码意思大概就是伪分布式注册到的是本机的，当远程客户端连接到得到的的时候，得到的是，这自然是连接不上的。

019-07-01 16:45:24,933 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 58.211.111.42:63048 Call#3 Retry#0
java.io.IOException: File /a1.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1620)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3350)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:678)
    at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock(AuthorizationProviderProxyClientProtocol.java:213)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:491)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2141)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2137)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1835)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2135)

学些hadoop。遇到这个问题，查找网上好多资料，一般都是说namenode和datanode不同步导致的，或者防火墙没开50010端口，或者nameNode和datanode无法通信导致的。

其实通过命令行都是可以正常操作的，远程调用的时候可以创建目录和文件，但是像文件写内容的时候，就写不进去，报如上错误。

本地host需要配置好，然后加上下面这句代码

configuration = new Configuration();
configuration.set("dfs.client.use.datanode.hostname", "true");

意思大概就是伪分布式hdfs,datanode注册到namenode的ip是本机的127.0.0.1，当远程客户端连接到namenode得到datanode的ip的时候，得到的是127.0.0.1，这自然是连接不上的。这里的意思大概就是强制本地java客户端使用hostname去连接datanode,可以连接成功

防火墙端口50010也是必须打开的，因为数据节点需要使用这个端口

参考自链接描述

GPU云服务器云服务器 hdfs上传文件 java上传文件到oss java 文件上传到服务器 java文件上传到服务器

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/75102.html

java 文件存储

摘要：优点开发成本低，可以配置加速网络三分布式文件系统方案常见的分布式文件系统有，等。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。一、小应用存储方案在开发中上传文件存储是个问题，而一般小应用开发会选择服务器本地目录做为存储地址，通过保存文件的相对路径来获取文件，在应用不要求高可用的情况下这是一种普遍的方案。问题: 在每次更新Java版本时，都需要将文件目录做一次备...

Alfred 2019-08-16 12:43 评论0 收藏0
java 文件存储

摘要：优点开发成本低，可以配置加速网络三分布式文件系统方案常见的分布式文件系统有，等。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。一、小应用存储方案在开发中上传文件存储是个问题，而一般小应用开发会选择服务器本地目录做为存储地址，通过保存文件的相对路径来获取文件，在应用不要求高可用的情况下这是一种普遍的方案。问题: 在每次更新Java版本时，都需要将文件目录做一次备...

shery 2019-06-24 18:05 评论0 收藏0
HADOOP集群文件上传下载

摘要：对上的文件进行上传和下载是对集群的基本操作，在权威指南一书中，对文件的上传和下载都有代码的实例，但是对如何配置客户端却是没有讲得很清楚，经过长时间的搜索和调试，总结了一下，如何配置使用集群的方法，以及自己测试可用的对集群上的文件进行操作的程对HDFS上的文件进行上传和下载是对集群的基本操作，在《HADOOP权威指南》一书中，对文件的上传和下载都有代码的实例，但是对如何配置HADOOP...

nevermind 2019-08-14 12:05 评论0 收藏0
Hadoop学习热身——HDFS概念

摘要：助辅助做元数据的备份。元数据存储在内存和磁盘中，这是因为磁盘的读写效率较低，而保存到内存又有断电消失的隐患。但磁盘中的元数据并不是最新的，内存中的元数据才是实时的。将中的和复制到自身节点上并加载进内存，根据的记录操作更改元数据信息。 HDFS(Hadoop Distributed File System ) 前言：最近正式进入了大数据框架的学习阶段，文章来自个人OneNote笔记全部...

AnthonyHan 2019-08-19 10:18 评论0 收藏0