如何在Java中分配超过-Xmx限制的内存

qiangdada 发布于2019-08-14 11:41 / 2361人阅读

摘要：不幸的是，在里，由于数组元素的类型的限制，你操作起内存来会比较麻烦。这和的工作方式类似，不过它拷贝的是字节而不是数组元素。这个头的长度可以通过方法来获取到，这里是数组元素的类型。注意分配出来的内存是无法进行垃圾回收的。

本文主要介绍Java中几种分配内存的方法。我们会看到如何使用sun.misc.Unsafe来统一操作任意类型的内存。以前用C语言开发的同学通常都希望能在Java中通过较底层的接口来操作内存，他们一定会对本文中要讲的内容感兴趣。

如果你对Java内存优化比较感兴趣，可以看下这篇文章，以及它的姊妹篇：一，二。

数组分配的上限

Java里数组的大小是受限制的，因为它使用的是int类型作为数组下标。这意味着你无法申请超过Integer.MAX_VALUE（2^31-1）大小的数组。这并不是说你申请内存的上限就是2G。你可以申请一个大一点的类型的数组。比如：

final long[] ar = new long[ Integer.MAX_VALUE ];

这个会分配16G -8字节，如果你设置的-Xmx参数足够大的话（通常你的堆至少得保留50%以上的空间，也就是说分配16G的内存，你得设置成-Xmx24G。这只是一般的规则，具体分配多大要看实际情况）。

不幸的是，在Java里，由于数组元素的类型的限制，你操作起内存来会比较麻烦。在操作数组方面，ByteBuffer应该是最有用的一个类了，它提供了读写不同的Java类型的方法。它的缺点是，目标数组类型必须是byte[]，也就是说你分配的内存缓存最大只能是2G。

把所有数组都当作byte数组来进行操作

假设现在2G内存对我们来说远远不够，如果是16G的话还算可以。我们已经分配了一个long[]，不过我们希望把它当作byte数组来进行操作。在Java里我们得求助下C程序员的好帮手了——sun.misc.Unsafe。这个类有两组方法：getN(object, offset),这个方法是要从object偏移量为offset的位置获取一个指定类型的值并返回它，N在这里就是代表着那个要返回值的类型，而putN(Object,offset,value）方法就是要把一个值写到Object的offset的那个位置。

不幸的是，这些方法只能获取或者设置某个类型的值。如果你从数组里拷贝数据，你还需要unsafe的另一个方法，copyMemory(srcObject, srcOffset, destObject,destOffet,count)。这和System.arraycopy的工作方式类似，不过它拷贝的是字节而不是数组元素。

想通过sun.misc.Unsafe来访问数组的数据，你需要两个东西：

数组对象里数据的偏移量

拷贝的元素在数组数据里的偏移量

Arrays和Java别的对象一样，都有一个对象头，它是存储在实际的数据前面的。这个头的长度可以通过unsafe.arrayBaseOffset(T[].class)方法来获取到，这里T是数组元素的类型。数组元素的大小可以通过unsafe.arrayIndexScale(T[].class) 方法获取到。这也就是说要访问类型为T的第N个元素的话，你的偏移量offset应该是arrayOffset+N*arrayScale。

你可以看下这篇文章里，UnsafeMemory类使用Unsafe访问内存的那个例子。

我们来写个简单的例子吧。我们分配一个long数组，然后更新它里面的几个字节。我们把最后一个元素更新成-1（16进制的话是0xFFFF FFFF FFFF FFFF)，然再逐个清除这个元素的所有字节。

final long[] ar = new long[ 1000 ];
final int index = ar.length - 1;
ar[ index ] = -1; //FFFF FFFF FFFF FFFF

System.out.println( "Before change = " + Long.toHexString( ar[ index ] ));

for ( long i = 0; i < 8; ++i )
{
    unsafe.putByte( ar, longArrayOffset + 8L * index + i, (byte) 0);
    System.out.println( "After change: i = " + i + ", val = "  +  Long.toHexString( ar[ index ] ));
}

想运行上面这个例子的话，得在你的测试类里加上下面的静态代码块：

private static final Unsafe unsafe;
static
{
    try
    {
        Field field = Unsafe.class.getDeclaredField("theUnsafe");
        field.setAccessible(true);
        unsafe = (Unsafe)field.get(null);
    }
    catch (Exception e)
    {
        throw new RuntimeException(e);
    }
}

private static final long longArrayOffset = unsafe.arrayBaseOffset(long[].class);

输出的结果是：

Before change = ffffffffffffffff
After change: i = 0, val = ffffffffffffff00
After change: i = 1, val = ffffffffffff0000
After change: i = 2, val = ffffffffff000000
After change: i = 3, val = ffffffff00000000
After change: i = 4, val = ffffff0000000000
After change: i = 5, val = ffff000000000000
After change: i = 6, val = ff00000000000000
After change: i = 7, val = 0

sun.misc.Unsafe的内存分配

上面也说过了，在纯Java里我们的能分配的内存大小是有限的。这个限制在Java的最初版本里就已经定下来了，那个时候人们都不敢相像分配好几个G的内存是什么情况。不过现在已经是大数据的时代了，我们需要更多的内存。在Java里，想获取更多的内存有两个方法：

分配许多小块的内存，然后逻辑上把它们当作一块连续的大内存来使用。

使用sun.misc.Unsafe.allcateMemory(long)来进行内存分配。

第一个方法只是从算法的角度来看比较有意思一点，所以我们还是来看下第二个方法。

sun.misc.Unsafe提供了一组方法来进行内存的分配，重新分配，以及释放。它们和C的malloc/free方法很像：

long Unsafe.allocateMemory(long size)——分配一块内存空间。这块内存可能会包含垃圾数据（没有自动清零）。如果分配失败的话会抛一个java.lang.OutOfMemoryError的异常。它会返回一个非零的内存地址（看下面的描述）。

Unsafe.reallocateMemory(long address, long size)——重新分配一块内存，把数据从旧的内存缓冲区（address指向的地方）中拷贝到的新分配的内存块中。如果地址等于0，这个方法和allocateMemory的效果是一样的。它返回的是新的内存缓冲区的地址。

Unsafe.freeMemory(long address)——释放一个由前面那两方法生成的内存缓冲区。如果address为0什么也不干。

这些方法分配的内存应该在一个被称为单寄存器地址的模式下使用：Unsafe提供了一组只接受一个地址参数的方法（不像双寄存器模式，它们需要一个Object还有一个偏移量offset）。通过这种方式分配的内存可以比你在-Xmx的Java参数里配置的还要大。

注意：Unsafe分配出来的内存是无法进行垃圾回收的。你得把它当成一种正常的资源，自己去进行管理。

下面是使用Unsafe.allocateMemory分配内存的一个例子，同时它还检查了整个内存缓冲区是不是可读写的：

final int size = Integer.MAX_VALUE / 2;
final long addr = unsafe.allocateMemory( size );
try
{
    System.out.println( "Unsafe address = " + addr );
    for ( int i = 0; i < size; ++i )
    {
        unsafe.putByte( addr + i, (byte) 123);
        if ( unsafe.getByte( addr + i ) != 123 )
            System.out.println( "Failed at offset = " + i );
    }
}
finally
{
    unsafe.freeMemory( addr );
}

正如你所看见的，使用sun.misc.Unsafe你可以写出非常通用的内存访问的代码：不管是Java里分配的何种内存，你都可以随意读写任意类型的数据。

原文 Various types of memory allocation in Java
转自 Java译站

云服务器 GPU云服务器快照额度超过限制超过vps空间内存服务器连接数超过限制 xmx java8

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/64063.html

（转）JVM调优

摘要：是指设定程序运行期间最大可占用的内存大小。持久代一般固定大小为，所以增大年轻代后，将会减小年老代大小。更具应用的线程所需内存大小进行调整。但是操作系统对一个进程内的线程数还是有限制的，不能无限生成，经验值在左右。此配置仅对年轻代有效。 1、freeMemory(), totalMemory(), maxMemory()比较最近在网上看到一些人讨论到java.lang.Runtime类...

youkede 2019-08-15 14:20 评论0 收藏0
JVM详解1.Java内存模型

摘要：编译参见深入理解虚拟机节走进之一自己编译源码内存模型运行时数据区域根据虚拟机规范的规定，的内存包括以下几个运运行时数据区域程序计数器程序计数器是一块较小的内存空间，他可以看作是当前线程所执行的字节码的行号指示器。点击进入我的博客 1.1 基础知识 1.1.1 一些基本概念 JDK（Java Development Kit）：Java语言、Java虚拟机、Java API类库JRE（...

TANKING 2019-08-16 14:02 评论0 收藏0
浅析JVM之内存管理

摘要：概要要理解的内存管理策略，首先就要熟悉的运行时数据区，如上图所示，在执行程序的时候，虚拟机会把它所管理的内存划分为多个不同的数据区，称为运行时数据区。这是一篇有关JVM内存管理的文章。这里将会简单的分析一下Java如何使用从物理内存上申请下来的内存，以及如何来划分它们，后面还会介绍JVM的核心技术：如何分配和回收内存。 JMM ( Java Memory Model )概要 show...

Eric 2019-08-14 15:26 评论0 收藏0
十种JVM内存溢出的情况，你碰到过几种？

摘要：内存溢出的情况就是从类加载器加载的时候开始出现的，内存溢出分为两大类和。以下举出个内存溢出的情况，并通过实例代码的方式讲解了是如何出现内存溢出的。内存溢出问题描述元空间的溢出，系统会抛出。这样就会造成栈的内存溢出。导言：对于java程序员来说，在虚拟机自动内存管理机制的帮助下，不需要自己实现释放内存，不容易出现内存泄漏和内存溢出的问题，由虚拟机管理内存这一切看起来非常美好，但是一旦...

ShevaKuilin 2019-08-16 13:54 评论0 收藏0
JAVA中堆和栈的区别

摘要：堆内存主要作用是存放运行时创建的对象。堆内存用来存放由创建的对象和数组，在堆中分配的内存，由虚拟机的自动垃圾回收器来管理。这也是比较占内存的原因，实际上，栈中的变量指向堆内存中的变量，这就是中的指针堆：（对象）引用类型的变量，其内存分配在堆上或者常量池（字符串常量、基本数据类型常量），需要通过new等方式来创建。堆内存主要作用是存放运行时创建(new)的对象。（主要用于存放对象，...

RyanQ 2019-08-15 11:10 评论0 收藏0