这可能会是AI技术形态的一个转折点,大模型的下一个形态，不再是人和模型一轮一轮的即时问答了。
当地时间 7 月 29 日，在美国丹佛举行的第 51 届 SIGGRAPH 计算机图形学会议上，英伟达创始人、CEO 黄仁勋与 Meta 创始人、CEO 马克・扎克伯格进行了一场全球瞩目的炉边谈话。
这场对话主要围绕生成式 AI 技术，及其在各种领域上的应用展开。会议中，面向全球领先的机器人制造商、AI 模型开发者和软件制造商，英伟达提供了一套全新服务、模型以及计算平台，以帮助开发、训练和构建下一代人形机器人。
这套产品包括用于机器人仿真和学习的全新 NVIDIA NIM 微服务和框架、用于运行多阶段机器人工作负载的 NVIDIA OSMO 编排服务，以及支持 AI 和仿真的远程操作工作流，该工作流允许开发者使用少量人类演示数据来训练机器人。
英伟达创始人兼首席执行官黄仁勋表示：“AI 的下一波浪潮是机器人，其中最令人兴奋的发展之一是人形机器人。我们正在推进整个 NVIDIA 机器人堆栈的发展，面向全球人形机器人开发者和公司开放访问，让他们能够使用最符合其需求的平台、加速库和 AI 模型。”
借助 NVIDIA NIM 和 OSMO 加速开发
NIM 微服务提供了由英伟达推理软件提供支持的预构建容器，使开发者能够将部署时间从数周缩短到几分钟。机器人专家将能够通过两项新的 AI 微服务，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse™ 平台构建的机器人仿真参考应用）中增强生成式物理 AI 仿真工作流。
MimicGen NIM 微服务可根据 Apple Vision Pro 等空间计算设备记录的远程操作数据，生成合成运动数据。Robocasa NIM 微服务可在 OpenUSD（一个用于在 3D 世界中进行开发和协作的通用框架）中生成机器人任务和仿真就绪环境。
本次推出的 NVIDIA OSMO 是一项云原生托管服务，允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流，无论是在本地还是在云端。OSMO 大大简化了机器人训练和仿真工作流，将部署和开发周期从数月缩短到一周内。
用户可以对各种任务进行可视化管理，包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。
为人形机器人开发者提供先进的数据捕获工作流
训练人形机器人的基础模型需要大量的数据。远程操作是获取人类演示数据的方法之一，但这个过程正变得越来越昂贵和漫长。通过在 SIGGRAPH 计算机图形大会上展示的 NVIDIA AI 和 Omniverse 远程操作参考工作流，研究者和 AI 开发者能够从极少量远程捕捉的人类演示中生成大量合成运动和感知数据。
首先，开发者使用 Apple Vision Pro 捕获少量远程操作演示，随后在 NVIDIA Isaac Sim 中仿真这些录像，并使用 MimicGen NIM 微服务基于录像生成合成数据集。开发者可以使用真实数据和合成数据对 Project GR00T 人形机器人基础模型进行训练，以节省时间和降低成本。
然后，他们可以使用 Isaac Lab 中的 Robocasa NIM 微服务（一个机器人学习框架）来生成经验并重新训练机器人模型。在整个工作流中，NVIDIA OSMO 将计算任务无缝地分配给不同的资源，为开发者减少了数周的管理工作量。与此同时，英伟达也发布了一系列通用场景描述（OpenUSD）的重大成果。
这将扩大这一通用 3D 数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为 AI 新一轮发展构建高精度虚拟世界的能力。通过基于 OpenUSD 的全新生成式 AI，以及在 Omniverse 平台构建的英伟达加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理 AI 和机器人的环境仿真的应用。
新推出的内容包括适用于 AI 模型的 NVIDIA NIM 微服务，这些微服务可生成回答用户查询的 OpenUSD 语言、生成 OpenUSDPython 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新 USD 连接器，以及各种开发者工具，用户可通过它们将海量 NVIDIARTX 全光线追踪数据集传输到 AppleVision Pro。
英伟达 NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 表示：“重工业的生成式 AI 潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助 NVIDIA NIM 微服务为 OpenUSD 带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮 AI 技术热潮做好准备。”
通过 NVIDIA NIM 将生成式 AI 应用于 USD
英伟达开发的全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务的形式提供。借助这些模型，开发者能够将生成式 AI copilot 和智能体整合到 USD 工作流中，拓宽 3D 世界的可能性，帮助加快 USD 在制造业、汽车行业和机器人等新工业领域的应用。
USD 连接器为更多行业带来生成式 AI
多款适用于机器人数据格式和 Apple Vision Pro 流式传输的全新 USD 连接器将为更多行业带来 OpenUSD 互操作性与高级创作能力。为帮助更多使用 OpenUSD 的工业工作负载，英伟达与全球工业自动化和软件领先者西门子正在扩大合作。
西门子将把 OpenUSD 流水线与其 Simcenter 仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作。该集成可实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把 Omniverse 纳入到其 Teamcenter 产品生命周期管理软件组合中，为这项工作打好基础。
英伟达还发布了一个从统一机器人描述格式（Unified Robotics DescriptionFormat）到 OpenUSD 的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
为了进一步推动 OpenUSD 生态系统的扩张，英伟达发布了 OpenUSD Exchange 软件开发套件，帮助开发者创建出自己的强大 OpenUSD 数据连接器。新的开发者工具和 API 可通过 NVIDIA Graphics Delivery Network（GDN），将大规模 OpenUSD 场景从基于 Omniverse 平台构建的应用流式传输到 Apple Vision Pro。目前，这些新工具和 API 提供抢先体验版本。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/131143.html
摘要：近日，英伟达在苏州举行了技术大会。会上，英伟达宣布，将面向中国推出云。英伟达称，针对推理工作负载，配备个的单个服务器最多可取代台服务器。近日，英伟达在苏州举行了GPU技术大会。会上，英伟达宣布，将面向中国推出NVIDIA Turing T4云GPU。T4基于全新 NVIDIA TuringTM 架构，T4 GPU外形非常小巧，功耗只有70W，采用多精度 Turing Tensor Core和...
摘要：所以我必须基于自己现在的情况走出一条适合自己情况的成长路线。下位机上位机的思想下位机上位机这就是我自己探索出来的技术成长路线。对和嵌入式的朋友感兴趣的朋友可以试一下我这条学习路线 ...
摘要：本文内容节选自由主办的第七届，北京一流科技有限公司首席科学家袁进辉老师木分享的让简单且强大深度学习引擎背后的技术实践实录。年创立北京一流科技有限公司，致力于打造分布式深度学习平台的事实工业标准。 本文内容节选自由msup主办的第七届TOP100summit，北京一流科技有限公司首席科学家袁进辉（老师木）分享的《让AI简单且强大：深度学习引擎OneFlow背后的技术实践》实录。 北京一流...
摘要：阿里云推出国内首个基于英伟达的优化容器月日，在云栖大会深圳峰会上，阿里云宣布与英伟达云合作，开发者可以在云市场下载云镜像和运行容器，来使用阿里云上的计算平台。阿里云成为中国首家与加速的容器合作的云厂商。 摘要： 3月28日，在2018云栖大会·深圳峰会上，阿里云宣布与英伟达GPU 云 合作 （NGC），开发者可以在云市场下载NVIDIA GPU 云镜像和运行NGC 容器，来使用阿里云上...
摘要：在经历五年多的落后之后，如今美国终于在超级计算机领域再度超越中国，重夺头名桂冠。这一消息在本周于德国法兰克福举行的年度国际超级计算机大会上正式公布。在经历五年多的落后之后，如今美国终于在超级计算机领域再度超越中国，重夺头名桂冠。这台由IBM公司为田纳西州橡树岭国家实验室建造的Summit超级计算机（如上图所示）在本周一发布的全球超算五百强中位列第一（这份榜单每年发布两轮，列举世界上五百台最为...
阅读 12·2024-09-23 10:37
阅读 65·2024-09-14 16:58
阅读 55·2024-09-14 16:58
阅读 158·2024-08-29 18:47
阅读 350·2024-08-16 14:40
阅读 134·2024-08-14 17:54
阅读 139·2024-08-13 16:33
阅读 223·2024-08-08 16:39
