A transição de chatbots para robôs que seguem comandos em linguagem natural passa por uma única classe de modelos. Os modelos VLA — modelos de visão-linguagem-ação — combinam percepção visual, compreensão da linguagem e geração de ações em uma única rede neural. Seu poder é real, mas depende quase que inteiramente dos dados de treinamento que utilizam. Este guia explica o que os dados de treinamento VLA realmente contêm, o que as equipes subestimam e como planejar um conjunto de dados que produza um modelo que valha a pena implantar.
Principais lições
- Os modelos VLA mapeiam entradas visuais e linguísticas diretamente para ações do robô em uma única rede.
- Os dados de treinamento devem incluir observações visuais sincronizadas, instruções de linguagem e ações.
- Os tokens de ação discretos exigem dados de demonstração em larga escala para um bom aprendizado.
- Vídeos egocêntricos de indivíduos são cada vez mais explorados como uma fonte de pré-treinamento de baixa complexidade para aprendizado de vídeo.
- Episódios de avaliação robustos são tão importantes quanto os dados de treinamento para uma implementação confiável.
- O sucesso ou fracasso do ajuste fino do VLA depende do rigor das anotações, e não apenas do volume bruto.
O que é um modelo VLA?
Um modelo VLA é um modelo fundamental para robôs que recebe imagens e instruções em linguagem natural como entrada e gera ações robóticas como saída. Ao contrário dos sistemas tradicionais que separam percepção, planejamento e controle em módulos distintos, os modelos de visão-linguagem-ação aprendem um mapeamento de ponta a ponta em uma única rede.
Modelo VLA: Uma rede neural que recebe observações visuais sincronizadas e instruções em linguagem natural e produz sequências de ações robóticas ou tokens de ação.
Esse design unificado permite que os modelos VLA herdem capacidades de raciocínio de um pré-treinamento visual-linguístico abrangente e as estendam com controle motor. Para implantação, isso significa que um modelo pode, em princípio, executar muitas tarefas — mas somente se seus dados de treinamento as cobrirem com a estrutura adequada.
O que os dados de treinamento do VLA realmente contêm?
Os dados de treinamento do VLA contêm quatro elementos principais por episódio: observações visuais, uma instrução em linguagem natural, uma trajetória de ação e um rótulo de sucesso ou fracasso. Em torno desses elementos, as equipes adicionam registros de data e hora, estado proprioceptivo e marcadores de avaliação.
As quatro camadas obrigatórias:
- Observações visuais — Quadros RGB, frequentemente combinados com visualizações de profundidade ou de câmeras de pulso.
- Instruções de idioma — comandos concisos em linguagem natural, como "despeje água na xícara".
- trajetórias de ação — sequências de ações discretizadas ou contínuas mapeadas para os graus de liberdade do robô.
- Rótulos de resultado — marcadores explícitos de sucesso, fracasso ou conclusão parcial por episódio.
Um modelo VLA aberto com 7 bilhões de parâmetros foi treinado em mais de um milhão de episódios extraídos de 22 modelos de robôs (Stanford et al., 2024), ilustrando a diversidade esperada para a generalização entre tarefas. Sem essa amplitude, os modelos VLA tendem a memorizar objetos específicos em vez de generalizar.
Por que a anotação de ações é mais difícil do que a anotação de imagens?
A anotação de ações é mais difícil porque as ações existem em espaços contínuos de alta dimensionalidade e dependem da representação do robô, não apenas do conteúdo do quadro. Rotular uma caixa delimitadora em uma xícara é simples; rotular uma trajetória que agarra com sucesso essa xícara com uma garra específica em um ponto de contato específico não é.
Token de ação: Uma representação discretizada do movimento de um robô ou do deslocamento do seu efetor final que um modelo VLA pode prever como um token de linguagem.
As equipes de anotação precisam alinhar cada token de ação com sua observação sincronizada, marcar os instantes de contato, capturar a recuperação de falhas e etiquetar os limites atômicos da instrução de linguagem. (Shaip's) anotação de dados Os fluxos de trabalho lidam com isso em grande escala, com taxonomias estruturadas ajustadas aos espaços de ação robótica e aos limites de aceitação por tarefa.
Onde se encaixa o vídeo egocêntrico humano no treinamento VLA?
Vídeos egocêntricos de humanos se encaixam como uma fonte de pré-treinamento escalável que preenche lacunas que dados reais de robôs não conseguem suprir. Imagens em primeira pessoa de humanos cozinhando, selecionando e montando objetos capturam comportamentos em uma escala que a teleoperação de robôs jamais alcançará.
Um artigo recente transformou vídeos humanos egocêntricos não estruturados em episódios formatados para VLA — 1 milhão de segmentos e 26 milhões de frames — tratando a mão humana como um efetor final hábil (Wu et al., arXiv, 2025). Esse tipo de dado que envolve diferentes corpos agora é rotina em receitas de pré-treinamento de VLA.
A questão é: vídeo bruto não é dado de treinamento. Ele precisa de segmentação, descrição de idioma, redefinição da pose da mão e validação de qualidade antes de chegar a um pipeline de VLA. (Shaip's) IA física As operações de dados incluem captura egocêntrica, conversão real2sim e anotação alinhada ao VLA em uma única entrega.
Como construir conjuntos de avaliação que detectem modos de falha do VLA?
Os conjuntos de avaliação detectam os modos de falha da VLA quando são projetados antes do treinamento, e não depois. Três estruturas são cruciais: benchmarks de sucesso dentro da distribuição, testes de generalização fora da distribuição e cenários de segurança com níveis de risco.
Imagine um modelo de VLA doméstico extensivamente treinado em tarefas de cozinha. Um conjunto de avaliação razoável testaria: tarefas conhecidas em cozinhas conhecidas (distribuição interna), tarefas conhecidas em iluminação desconhecida (OO leve), objetos desconhecidos com instruções conhecidas (generalização de conceito) e eventos raros, como derramamentos acidentais (nível de segurança). Sem cada um desses elementos, o risco de implantação permanece sem mensuração.
Um recurso neutro útil para organizar a cobertura por níveis de risco é o Estrutura de gerenciamento de risco NIST AI, que separa os níveis de impacto de uma forma que se alinha perfeitamente ao projeto do conjunto de avaliação.
Dados de treinamento da VLA: o que incluir no orçamento?
| Camada | O que inclui | Armadilha comum |
|---|---|---|
| Observações visuais | RGB multiview, profundidade, câmera de pulso | Carimbos de data/hora ausentes ou dessincronizados |
| Língua | Instruções, descrições atômicas | Frases vagas que não correspondem a ações. |
| trajetórias de ação | Tokens discretos ou controles contínuos | Não há alinhamento com a representação do robô. |
| Avaliação | Episódios, sondagens OOD, níveis de segurança | Projetado tarde demais, após o congelamento do modelo. |
Conclusão: Os modelos VLA são vencedores ou perdedores no conjunto de dados.
O potencial máximo de um modelo VLA é definido pelos seus dados de treinamento — sua abrangência, a profundidade das anotações e o rigor da avaliação. Equipes que planejam o conjunto de dados como um produto, e não como uma reflexão tardia, chegam à implementação primeiro. Equipes que coletam dados de vídeo e esperam por funcionalidades emergentes geralmente não conseguem.
Qual a diferença entre um modelo VLA e uma política robótica?
A diferença reside no escopo. Uma política robótica tradicional mapeia observações em ações para uma tarefa ou uma pequena família de tarefas. Um modelo VLA é uma política de estilo fundamental que visa lidar com muitas tarefas em diversos objetos, condicionada a instruções em linguagem natural. Ambas são políticas; os modelos VLA são simplesmente a versão generalista treinada em dados mais amplos e alinhados à linguagem.
De quantos dados de treinamento do VLA são normalmente necessários para uma execução de ajuste fino?
Uma rodada de ajuste fino normalmente utiliza de alguns milhares a algumas centenas de milhares de demonstrações de alta qualidade, dependendo da complexidade da tarefa e da robustez do modelo base. Modelos VLA pré-treinados reduzem substancialmente a necessidade de volume de dados. O fator decisivo é a qualidade da anotação e a precisão das instruções linguísticas, e não apenas a quantidade bruta de episódios.
É possível treinar um modelo VLA inteiramente com dados simulados?
Treinar um modelo VLA inteiramente com dados simulados é possível, mas raramente suficiente para implementação. A simulação lida bem com a diversidade e eventos raros; a captura no mundo real fundamenta a dinâmica de contato e a transferência da simulação para a realidade. A maioria dos fluxos de trabalho de produção combina ambos, com benchmarks pareados que medem explicitamente a diferença de desempenho entre a simulação e a realidade.
Quais modalidades de sensores são necessárias para os dados de treinamento do VLA?
Os dados de treinamento do VLA requerem, no mínimo, vídeo RGB sincronizado e uma trajetória de ação. Pipelines de alto desempenho adicionam profundidade, visualizações da câmera de pulso, áudio, IMU e leituras de força ou torque, dependendo da classe da tarefa. O detalhe indispensável é a sincronização temporal entre as modalidades — sem ela, os sinais de linguagem e ação se dessincronizam durante o treinamento.
Como avaliar a qualidade de um conjunto de dados VLA antes do treinamento?
A avaliação de um conjunto de dados VLA envolve quatro verificações: precisão do alinhamento linguagem-ação, consistência da segmentação de episódios, abrangência da cobertura do espaço de ações e representação de casos extremos. A revisão humana baseada em amostras com calibração por conjunto de referência é o ponto de partida mais confiável. Um nível de concordância entre anotadores acima de 95% nos rótulos de ação é um limiar comum para produção.
Os dados de treinamento do VLA são os mesmos que os dados de aprendizado por imitação?
Os dados de treinamento do VLA são um superconjunto dos dados de aprendizado por imitação. Os dados de aprendizado por imitação se concentram em pares de observação-ação provenientes de demonstrações. Os dados do VLA adicionam instruções de linguagem, estrutura multitarefa e ampla cobertura de diferentes contextos corporais, permitindo que o modelo generalize além de trajetórias memorizadas.
