- Novos modelos permitem previsão, geração de mundo controlável e julgamento para IA física;
- dois novos projetos oferecem geração massiva de dados sintéticos de IA física para robôs e veículos autônomos após o treinamento;
- 1X, Agility Robotics, Figure AI, Skild AI estão entre os primeiros a adotar o lançamento.
GTC — A NVIDIA anuncia um grande lançamento de novos modelos de base de mundo (WFMs) do NVIDIA Cosmos™ , apresentando um modelo de raciocínio claro e totalmente personalizável para desenvolvimento de IA física e dando aos desenvolvedores controle sem precedentes sobre a geração de mundos.
A NVIDIA também está lançando dois novos projetos — alimentados pelas plataformas NVIDIA Omniverse™ e Cosmos — que fornecem aos desenvolvedores mecanismos de geração de dados sintéticos massivos e controláveis para robôs pós-treinamento e veículos independentes.
Líderes do setor, incluindo 1X, Agility Robotics , Figure AI, Foretellix, Skild AI e Uber estão entre os primeiros a adotar o Cosmos para gerar dados de treinamento mais ricos para IA física de forma mais rápida e em escala.
“Assim como os grandes modelos de linguagem (LLM) revolucionaram a IA generativa e os agentes de IA, os modelos de fundação do mundo Cosmos são um avanço para a IA física”, diz Jensen Huang, fundador e CEO da NVIDIA. “O Cosmos apresenta um modelo de raciocínio aberto e totalmente personalizável para IA física e desbloqueia oportunidades para avanços de função de passo na robótica e nas indústrias físicas.”
“A IA física já está sendo, e ainda será mais transformadora para todo o mercado. Estamos falando de coisas que até pouco tempo só existiam na idealização e na expectativa. Vivemos um momento em que essas ideias, enfim saem do campo dos planejamentos e protótipos para alcançarem todos os mercados. Isso é realmente incrível”, comenta Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para a América Latina.
Cosmos Transfer para geração de dados sintéticos
Os WFMs do Cosmos Transfer contêm entradas de vídeo estruturadas, como mapas de segmentação, mapas de profundidade, varreduras, mapas de estimativa de pose e mapas de trajetória para gerar saídas de vídeo fotorrealistas controláveis.
O Cosmos Transfer simplifica o treinamento de IA de percepção, transformando simulações 3D ou informações básicas criadas no Omniverse em vídeos fotorrealistas para geração de dados sintéticos controláveis em larga escala.
A Agility Robotics será uma das primeiras a adotar o Cosmos Transfer e o Omniverse para geração de dados sintéticos em larga escala para treinar seus modelos de robôs .
“O Cosmos nos oferece uma oportunidade de escalar nossos dados de treinamento fotorrealistas além do que podemos coletar de forma viável no mundo real”, afirma Pras Velagapudi, diretor de tecnologia da Agility Robotics. “Estamos animados para ver que novo desempenho podemos desbloquear com a plataforma, enquanto aproveitamos ao máximo os dados de simulação baseados em física que já temos.”
O NVIDIA Omniverse Blueprint para simulação de veículos autônomos usa o Cosmos Transfer para amplificar variações de dados de sensores baseados em física. Com o blueprint, o Foretellix pode aprimorar cenários comportamentais variando condições como clima e iluminação para diversos conjuntos de dados de direção. A Parallel Domain também está usando o blueprint para aplicar variações semelhantes à sua simulação de sensor.
O NVIDIA GR00T Blueprint para geração de movimento de manipulação sintética combina Omniverse e Cosmos Transfer para gerar diversos conjuntos de dados em escala, beneficiando-se de simulações baseadas em OpenUSD e diminuindo o tempo de coleta e aumento de dados de dias para horas.
Cosmos Predict para geração de mundo inteligente
Anunciados na feira CES de janeiro, os WFMs Cosmos Predict geram estados do mundo virtual a partir de entradas multimodais como texto, imagens e vídeo. Os novos modelos Cosmos Predict permitirão a geração de vários quadros, prevendo ações transmitidas ou trajetórias de movimento quando forem fornecidas imagens de entrada de início e fim. Construídos especificamente para pós-treinamento, esses modelos podem ser personalizados usando o conjunto de dados de IA física disponível abertamente pela NVIDIA.
Com o poder de computação de inferência dos sistemas NVIDIA Grace Blackwell NVL72 e seu grande domínio NVIDIA NVLink™ , os desenvolvedores podem obter geração de mundo em tempo real.
A 1X está usando o Cosmos Predict e o Cosmos Transfer para treinar seu novo robô humanoide NEO Gamma. A desenvolvedora de cérebros de robôs Skild AI está usando o Cosmos Transfer para aumentar conjuntos de dados sintéticos para seus robôs. Além disso, a Nexar e a Oxa estão usando o Cosmos Predict para avançar seus sistemas de direção automotiva.
Raciocínio multimodal para IA física
O Cosmos Reason é um WFM aberto e totalmente personalizável com consciência espaço-temporal que usa raciocínio de cadeia de pensamento para entender dados de vídeo e prever os resultados de interações — como uma pessoa pisando na faixa de pedestres ou uma caixa caindo de uma barreira — em linguagem natural.
Os desenvolvedores usam o Cosmos Reason para melhorar a anotação e podem curar dados de IA física, aprimorar modelos de fundação do mundo existente ou criar novos modelos de ação de linguagem de visão. Eles também pós-treinamento para construir planejadores de alto nível podem dizer à IA física o que ela precisa fazer para concluir uma tarefa.
Acelerando a curaria de dados e o pós-treinamento para IA física
Com base em suas tarefas posteriores, os desenvolvedores podem pós-treinar os Cosmos WFMs usando scripts PyTorch nativos ou a estrutura NVIDIA NeMo ™ no NVIDIA DGX™ Cloud .
Os desenvolvedores do Cosmos também podem usar o NVIDIA NeMo Curator no DGX Cloud para processamento e curação de dados acelerados. A Linker Vision e a Milestone Systems estão usando o para curar grandes quantidades de dados de vídeo para treinar grandes modelos de linguagem (LLM) de visão para agentes visuais construídos no NVIDIA AI Blueprint para pesquisa e sumarização de vídeo . O Virtual Incision está explorando para ser implantado em futuros robôs cirúrgicos, enquanto o Uber e o Waabi estão avançando no desenvolvimento de veículos autônomos.
Impulsionando IA responsável e transparência de conteúdo
Em linha com os princípios de IA confiáveis da NVIDIA, a NVIDIA impõe guardrails abertos em todos os Cosmos WFMs. Além disso, a NVIDIA está colaborando com o Google DeepMind para integrar o SynthID para marcar d’água e ajudar a identificar saídas geradas por IA do microsserviço Cosmos WFM NVIDIA NIM™ apresentado em build.nvidia.com .
Disponibilidade
Os Cosmos WFMs estão disponíveis para visualização no catálogo da API da NVIDIA e agora listados no Vertex AI Model Garden no Google Cloud. O Cosmos Predict e o Cosmos Transfer estão disponíveis gratuitamente no Hugging Face e no GitHub . O Cosmos Reason está disponível em acesso antecipado.
Saiba mais assistindo à palestra principal do NVIDIA GTC e registrando-se para as sessões e treinamentos do Cosmos da NVIDIA e líderes do setor na feira, incluindo “ Uma introdução aos modelos da Cosmos World Foundation ” com Ming-Yu Liu, vice-presidente de pesquisa de IA generativa da NVIDIA.
Sobre a NVIDIA
Desde sua fundação em 1993, a NVIDIA (NASDAQ: NVDA) tem sido pioneira em computação acelerada. A invenção da GPU pela empresa em 1999 estimulou o crescimento do mercado de jogos para PC, redefiniu a computação gráfica, iniciou a era da IA moderna e tem ajudado a digitalização industrial em todos os mercados. A NVIDIA agora é uma empresa de infraestrutura de computação full-stack com soluções em escala de data center que está revolucionando o setor. Mais informações em: https://www.nvidia.com/pt-br/ .
Acesse também:
Facebook: @NVIDIABrasil
Twitter: @NVIDIABrasil
YouTube: NVIDIA Latinoamérica
Instagram: @NVIDIABrasil
LinkedIn: @ NVIDIA Brasil
