NodeManager OOM挂掉问题解决

TigerChain 发布于2019-08-14 12:24 / 1871人阅读

摘要：博客原文在更换到后，集群出现频繁死掉，出现结果为如下和类似的在搜索关键字，找到关于的一些，在负载高的情况下，出现问题。详情请看和一些相关解释后来更换则没出现的问题

博客原文
hackershell

在更换JDK1.625到JDK1.745后，集群出现频繁死掉NM，出现结果为如下：

2015-08-12 16:35:06,662 FATAL org.apache.hadoop.yarn.YarnUncaughtExceptionHandler: Thread Thread[process reaper,10,system] threw an Error. Shutting down now...
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
at java.lang.UNIXProcess$ProcessPipeInputStream.drainInputStream(UNIXProcess.java:267)
at java.lang.UNIXProcess$ProcessPipeInputStream.processExited(UNIXProcess.java:280)
at java.lang.UNIXProcess.processExited(UNIXProcess.java:187)
at java.lang.UNIXProcess$3.run(UNIXProcess.java:175)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:744)

和类似的

2015-08-12 16:37:56,893 FATAL org.apache.hadoop.yarn.YarnUncaughtExceptionHandler: Thread Thread[process reaper,10,system] threw an Error. Shutting down now...
java.lang.OutOfMemoryError: Java heap space
at java.lang.UNIXProcess$ProcessPipeInputStream.drainInputStream(UNIXProcess.java:267)
at java.lang.UNIXProcess$ProcessPipeInputStream.processExited(UNIXProcess.java:280)
at java.lang.UNIXProcess.processExited(UNIXProcess.java:187)
at java.lang.UNIXProcess$3.run(UNIXProcess.java:175)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:744)

在google搜索关键字hadoop UNIXProcess drainInputStream，找到关于JDK7的一些bug，在NM负载高的情况下，出现OOM问题。详情请看HADOOP-10146

和一些相关解释：

JDK-8027348

JDK-8024521

后来更换JDK1.7_67则没出现OOM的问题

GPU云服务器云服务器 NodeManager 问题解决解决问题解决2038问题

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/64452.html

Hadoop 入门笔记—核心组件 YARN

摘要：主要由两个组件构成调度器和应用程序管理器，。主要负责该节点内所有容器的生命周期的管理，监视资源和跟踪节点健康。主要用来处理来自的命令。一个节点启动时，它会向进行注册并推送可用资源信息。应用运行结束后，向注销自己，并允许属于它的被收回。作者：幻好来源：恒生LIGHT云社区基本概述Apache YARN (Yet...

wanghui 2021-11-22 14:56 评论0 收藏0
Flink 灵魂两百问，这谁顶得住？

摘要：由于配置流是从关系型数据库中读取，速度较慢，导致实时数据流流入数据的时候，配置信息还未发送，这样会导致有些实时数据读取不到配置信息。从数据库中解析出来，再去统计近两周占比。 Flink 学习 https://github.com/zhisheng17/flink-learning 麻烦路过的各位亲给这个项目点个 star，太不易了，写了这么多，算是对我坚持下来的一种鼓励吧！ showI...

Guakin_Huang 2019-08-19 10:11 评论0 收藏0