Omniverse概念再扩展

2022-01-14 15:20:19 来源：中国消费商网作者：Admin 分享：

GTC秋季大会，黄仁勋进一步扩展了Omniverse概念，并正式推出Omniverse Avatar和Ominiverse Replicator。前者旨在帮助开发者通过英伟达的Omniverse平台创建可以理解真人自然说话意图的交互式虚拟角色，而后者则是一种用于训练深度神经网络的合成数据生成引擎，从而提供创建训练AI所需的大量数据。Ominiverse Replicator主要面向通用机器人和自动驾驶汽车。

值得一提的是，Omniverse同时新增了英伟达早前发布的一系列AR/VR功能。

Omniverse Avata语音识别基于NVIDIA Riva、自然语言理解基于Megatron 530B大型语言模型、其推荐引擎由NVIDIA Merlin提供、感知功能来自用于视频分析的计算机视觉框架NVIDIA Metropolis、虚拟形象动画由AI赋能的2D和3D面部动画和渲染技术NVIDIA Video2Face和Audio2Face驱动。

所述技术都集成在一个应用，并使用英伟达统一计算框架进行实时处理。在打包成可扩展、自定义微服务后，它们将能够通过NVIDIA Fleet Command在多个地点安全地部署、管理和协调。

其中：

NVIDIA Riva这是一个完全加速的对话式AI 应用框架，用于构建使用端到端深度学习流程的多模态对话式AI服务。

NVIDIA Riva 是由原先的 Jarvis 更名而来的，Riva 框架包括针对语音、视觉和自然语言理解（NLU）任务的优化服务。

Riva 能够帮助客户，即使在没有 AI专家的支持下，也能够快速地搭建和部署对话式AI 应用，并且支持定制化的对话式AI 服务，同时也能够降低部署对话式AI 的基础设施开销，从而降低了各个行业使用对话式AI 的门槛，提供更好的用户体验。

NVIDIA Riva 定制语音是 NVIDIA Riva 语音 AI 软件的一项功能，它提供强大的功能，使数百万公司使用少量数据即可在几小时而不再是几周内开发富有表现力的定制语音。企业可以使用 Riva 定制语音打造具有专属语音的虚拟助理。呼叫中心可以借其快速开发具有辨识度的品牌语音，为客户提供服务。开发者可以借其创建各种各样的应用程序，为有语言障碍的人提供支持。

NVIDIA NeMo Megatron是在Megatron的基础上发展起来的开源项目，由NVIDIA研究人员主导，研究大型转换语言模型的高效训练。Megatron 530B是世界上最大的可定制语言模型。

NeMo Megatron框架使企业能够克服训练复杂自然语言处理模型的挑战。经过优化，可以在NVIDIA DGX SuperPOD的大规模加速计算基础设施上进行扩展。 NeMo Megatron通过数据处理库自动处理LLM训练的复杂性，这些数据处理库可以摄入、策划、组织和清理数据。利用先进的数据、张量和管道并行化技术，它能使大型语言模型的训练有效地分布在成千上万的GPU上。企业可以通过NeMo Megatron框架进一步训练它以服务新的领域和语言。

NVIDIA Isaac Sim replicator则是随着对数据质量的日益关注，NVIDIA发布了新的用于Isaac Sim的NVIDIA Omniverse Replicator，该应用程序基于Omniverse Replicator 合成数据生成引擎。

Isaac Sim 中的这些新功能使 ML 工程师能够构建生产级的合成数据集，以训练强大的深度学习感知模型。“复制”模型目标域的固有分布是最大化模型性能的关键。用于机器人技术的NVIDIA Isaac Sim™ on Omniverse，最新的 Isaac 版本包括对机器人操作系统 (ROS) 开发人员社区的重要支持，使ROS开发者更容易在Jetson平台上构建高性能AI机器人。

Isaac Sim Replicator可以生成数据集，将它们用于实现开发者设定的随机、受控和有界分布目标，确保数据集包含有针对性的象限检验和测试案例，包含物体、照明和场景的相机相对视野放置，在基于边缘和云的系统上开展大规模工作；追踪每个数据集所使用的工具和参数，以推动迭代流程并支持生产级数据集的质量审核。