Escalando IA física e robótica humanoide com 10 mil horas de dados de movimento de simulação para realidade.
Como a Shaip forneceu 10,000 horas de dados de captura de movimento em realidade virtual egocêntrica para 4,000 participantes, 100 tarefas e mais de 5 ambientes do mundo real — tudo isso construído como um pipeline de dados de treinamento de IA física de nível de produção para robótica humanoide da simulação à realidade.
Visão geral do projeto
À medida que a IA física e a robótica humanoide avançam para aplicações no mundo real, o cliente precisava de uma estrutura escalável para coletar 10,000 horas de dados de movimento em realidade virtual baseados em tarefas, em diversos ambientes, com calibração, execução e controle de qualidade consistentes.
Shaip construiu o pipeline de operações de dados de ponta a ponta, abrangendo configuração de cena, mapeamento por QR Code, rastreamento com cinco sensores, ensaio de participantes, captura moderada e fluxos de trabalho de revisão para dar suporte a 100 tarefas definidas pelo cliente e fornecer conjuntos de dados de IA incorporada prontos para modelagem em escala.
Estatísticas Chave
Participantes
~ 4,000
Volume de dados
10,000 horas válidas
Cobertura ambiental
Escritório, casa, fábrica, café, armazém, etc.
Timeline
Meses 1
Desafios
- Ampliar a coleta de dados de movimento de fluxos de trabalho controlados em estilo piloto para um 10,000 horas, multiambiente .
- Manter precisão de rastreamento consistente em diversos cenários do mundo real e configurações de participantes.
- Garantir que cada sessão atendesse aos requisitos rigorosos de Controle de APK/versão, configuração de rede compartilhada, gravação de tela e emparelhamento de sensores.
- Gerenciando 100 tarefas definidas pelo cliente abrangendo categorias como locomoção, manipulação de objetos, interação doméstica, interação no escritório e fluxos de trabalho físicos com várias etapas — cada uma exigindo configuração correta da cena, posicionamento de objetos, prontidão do participante e validação conduzida por um moderador.
- Convertendo sessões brutas em saídas prontas para o modelo por meio de fluxos de trabalho repetíveis de controle de qualidade, reprocessamento e revisão de uploads.
Solução
Estratégia de cobrança
Shaip projetou uma estrutura de coleta escalável para 10,000 horas válidas de dados de movimento de RV, entregues em lotes baseados em marcos. Com base na proporção de planejamento da fonte de 3 a 5 participantes por cada 10 horas válidas, o programa completo se dimensiona para um estimado 3,000–5,000 participantes, com Aproximadamente 4,000 participantes Utilizado como figura intermediária de planejamento.
Gestão de Ambiente e Cenário
Cada local de captura foi tratado como uma cena estruturada. Shaip documentou o ambiente usando fotografias de grande angular, configurou as cenas no sistema administrativo, coordenou a revisão com o cliente e exportou PDFs das cenas para posicionamento físico. O mapeamento de cenas com links QR garantiu que cada ambiente do mundo real pudesse ser vinculado de forma confiável ao contexto de gravação correto.
Prontidão do dispositivo e do aplicativo
Shaip padronizou a prontidão técnica, garantindo que o headset de realidade virtual e o dispositivo de monitoramento estivessem conectados à mesma rede, controlando o fluxo de instalação/atualização de APKs e habilitando a gravação de tela baseada em navegador para visibilidade do moderador durante toda a sessão.
Rastreamento e Calibração de Movimento
Antes de cada sessão, os cinco rastreadores de movimento foram emparelhados e validados. A calibração foi obrigatória para todos os participantes, incluindo verificações de alinhamento do avatar, ajuste do piso e configuração personalizada dos limites para garantir a captura precisa dos movimentos de todo o corpo dentro do espaço de atividade gravável.
Execução e Moderação de Tarefas
Antes da gravação, os participantes foram orientados na preparação e ensaio de tarefas específicas para cada cena. Os moderadores observaram por meio de screencast, verificaram a precisão das tarefas e a clareza dos movimentos, e só prosseguiram para a gravação ao vivo quando o comportamento dos sensores e os movimentos dos participantes atenderam aos padrões de qualidade esperados. O início e a parada da gravação foram executados por meio do fluxo de trabalho de gestos definido.
Garantia de Qualidade e Resultados Prontos para Uso
Após a gravação, as sessões foram carregadas no histórico para revisão. Shaip validou a clareza do movimento, a correção da tarefa, o alinhamento da cena e a precisão do sensor, cancelando ou refazendo gravações inutilizáveis quando necessário. Isso criou um caminho mais confiável para conjuntos de dados prontos para anotação, verificados por controle de qualidade e prontos para modelagem para treinamento de IA incorporada e robótica.
Escopo do Projeto
| Tipo de conjunto de dados | Participantes | Volume de gravação | Ambientes | Volume de tarefas | Configuração de captura | Timeline |
|---|---|---|---|---|---|---|
| Captura de movimento em realidade virtual egocêntrica | ~ 4,000 | 10,000 horas válidas | Escritório, casa, café, fábrica, armazém e outros ambientes do mundo real. | 100 tarefas definidas pelo cliente | Óculos de realidade virtual + 5 rastreadores de movimento | Meses 1 |
O Resultado
- Estabeleceu uma estrutura de operações de dados escalável para 10,000 horas de dados de treinamento de IA física
- padronizado Gestão de cenas, mapeamento baseado em QR Code e calibração de cinco sensores. em ambientes distribuídos
- Melhoria na consistência da cobrança por meio de Ensaio moderado, revisão de screencast em tempo real e controle de qualidade em nível de sessão.
- Os utilizadores da app Smart Spaces com Google Wallet podem usufruir de acesso móvel sem contacto com qualquer leitor HID® Signo™ habilitado com NFC. Resultados validados pela tarefa e prontos para anotação para IA incorporada subsequente, simulação e desenvolvimento de modelos de robótica
- Fortaleceu o cliente pipeline de dados de simulação para dados reais com captura de movimento egocêntrica de alta qualidade
de diversos ambientes do mundo real
Em resumo, Shaip ajudou a transformar um requisito complexo de captura de realidade virtual em um pipeline de dados estruturado e pronto para produção — capaz de suportar Inteligência artificial física, inteligência incorporada e robótica humanoide Iniciativas com maior consistência, rastreabilidade e escala.
A Shaip nos ajudou a construir a espinha dorsal das operações de dados para o nosso roteiro de IA Física. Sua equipe estruturou a captura de movimento em múltiplos ambientes, o gerenciamento de participantes, a configuração de cenas, a calibração e o controle de qualidade, permitindo-nos gerar conjuntos de dados prontos para modelos que suportam o aprendizado de simulação para realidade em IA incorporada e robótica humanoide.
