Avançando a IA Incorporada com Dados de Vídeo Egocêntricos do Mundo Real
Possibilitando o reconhecimento de atividades humanas, robótica e modelos de interação mão-objeto com vídeo escalável capturado em ambientes domésticos e industriais.
Visão geral do projeto
O cliente fez uma parceria com a Shaip para estabelecer um programa de coleta escalável de dados de vídeo egocêntricos de alta qualidade. Os colaboradores gravariam atividades domésticas e industriais reais usando dispositivos móveis fixados com segurança e posicionados na altura da testa.
O objetivo era construir um conjunto de dados de vídeo diversificado e naturalista, adequado para o treinamento de modelos para:
- Reconhecer atividades humanas complexas e sequências de tarefas.
- Interpretar interações mão-objeto
- Compreender ambientes domésticos e de trabalho do mundo real
- Apoiar aplicações de robótica e IA incorporada
- Aprimorar a generalização do modelo em diferentes locais, dispositivos, objetos e condições de operação.
O projeto enfatizou a execução natural das tarefas, o posicionamento estável da câmera, a execução contínua, o consentimento dos participantes e a validação rigorosa da qualidade.
Conjunto de dados de vídeo egocêntrico: especificações principais
Volume de dados
30,000 horas coletadas, mais de 24,000 horas anotadas.
Capacidade do Contribuinte
Até 100 horas de vídeo aprovadas por participante.
Dispositivos aprovados
iPhone 11+, Google Pixel 6+ e Samsung Galaxy S21+
Cobertura Geográfica
Estados Unidos e América Latina
Ambientes de atividade
Ambientes domésticos, industriais e comerciais
Desafios na coleta de dados de vídeo egocêntricos
- Capturando o comportamento humano natural: Os participantes precisavam realizar atividades genuínas, sem movimentos encenados, exagerados ou robóticos.
- Mantendo o enquadramento em primeira pessoa: Ambas as mãos, a área de trabalho e os objetos relevantes precisavam permanecer visíveis durante toda a execução da tarefa.
- Controlando a estabilidade da câmera: Os dispositivos móveis montados na cabeça precisam permanecer seguros, com o mínimo de oscilação, inclinação excessiva ou obstrução.
- Coletando em diversos ambientes: O conjunto de dados exigia imagens autênticas de ambientes residenciais, industriais, comerciais, de hotelaria, agrícolas, de construção e de serviços.
- Minimizar gravações ociosas ou sem uso da câmera: As gravações tinham que demonstrar um trabalho contínuo e intencional, com pausas limitadas e movimentos desnecessários.
- Garantir a autorização e o consentimento: Cada colaborador e local de gravação exigiu permissão, consentimento e validação de conformidade adequados.
- Escalabilidade sem comprometer a qualidade: Grandes volumes de filmagens precisavam ser revisados rapidamente, com razões claras para rejeição e fluxos de trabalho de recaptura eficientes.
Como Shaip coletou os dados de vídeo egocêntricos
Estratégia de cobrança
Shaip criou uma estrutura flexível que abrangia atividades domésticas, comerciais e industriais autênticas. Os participantes selecionaram tarefas alinhadas com suas rotinas naturais, em vez de seguirem roteiros predefinidos.
Integração de Colaboradores
Participantes dos Estados Unidos e da América Latina receberam treinamento sobre seleção de tarefas, requisitos de dispositivos, posicionamento de câmeras, consentimento e condições de captura proibidas.
Coleção de vídeos para dispositivos móveis
As gravações foram capturadas por meio de um aplicativo móvel específico, com envio automatizado e verificação de localização para confirmar a captura dentro das regiões aprovadas.
Configuração de câmera montada na cabeça
Os smartphones aprovados foram fixados com segurança na altura da testa e inclinados aproximadamente 45° para baixo, de forma a manter as mãos, os objetos, a área de trabalho e, quando o colaborador estava parado, os dedos dos pés visíveis.
Execução Natural de Tarefas
Os participantes realizaram atividades contínuas e intencionais enquanto permaneciam em pé ou caminhando e interagiam naturalmente com ferramentas, equipamentos e objetos do cotidiano.
Validação de Qualidade
Cada gravação foi verificada quanto à estabilidade da câmera, iluminação, foco, visibilidade da mão em relação ao objeto, continuidade da tarefa, postura, ambiente e autorização.
Revisão e recaptura rápidas
As submissões foram analisadas em um dia. Motivos claros para a rejeição permitiram que os colaboradores corrigissem e regravassem as imagens rapidamente.
Controles de Governança
O consentimento, a autorização de localização, o envio seguro, a validação de localização e a cessão de propriedade intelectual foram integrados ao fluxo de trabalho.
Escopo e atividades do projeto
| Segmento de dados | Atividades representativas | Requisitos de captura |
|---|---|---|
| Atividades Domésticas | Lavar roupa, organizar o quarto, arrumar a cozinha, cuidar dos animais de estimação, cuidar das plantas, jardinagem e manutenção da casa. | Em pé ou caminhando; execução natural; mãos e área de trabalho visíveis. |
| Armazém e Logística | Embalagem, triagem, gestão de estoque, inspeção e movimentação de materiais. | Captura estável com câmera montada na cabeça durante a atividade contínua da tarefa. |
| Comercial e Hotelaria | Serviços de limpeza, arrumação, reposição de mercadorias no varejo e atividades de apoio na cozinha do restaurante. | Local de gravação autorizado e interação clara com o objeto. |
| Atividades Industriais | Manufatura leve, montagem, manutenção de equipamentos e processos de produção. | Execução genuína no local de trabalho com as devidas autorizações. |
| Agricultura e Paisagismo | Manutenção de terrenos, jardinagem, trabalho agrícola e movimentação de materiais ao ar livre. | Iluminação adequada, enquadramento estável e execução segura da tarefa. |
| Ofícios especializados e serviços de campo | Construção, serviços automotivos, reparos, instalação e manutenção em campo. | Visibilidade clara das ferramentas, das mãos, dos componentes e da área de trabalho. |
Estrutura de Qualidade
As gravações foram rejeitadas pelos seguintes motivos:
- Visão da câmera obstruída, excessivamente inclinada ou instável
- Pouca luz, foco fraco, visibilidade turva.
- Períodos longos de inatividade ou filmagens sem tarefas em andamento
- Execução artificial, simulada ou robótica
- Movimentos excessivos da cabeça, das mãos ou do corpo
- Mãos fora do enquadramento em mais de 10% da atividade ativa de agarrar e soltar.
- Locais de gravação não autorizados
- Ausência de consentimento do colaborador
Era necessário realizar uma gravação bem-sucedida para:
- Capture trabalhos domésticos ou industriais autênticos.
- Mantenha uma perspectiva estável em primeira pessoa.
- Mantenha as mãos, os objetos e a área de trabalho visíveis.
- Demonstrar atividade contínua e intencional
- Atender aos requisitos aprovados de posicionamento do dispositivo e da câmera
- Adequado para treinamento de IA envolvendo reconhecimento de atividades e percepção robótica.
Resultados: Dados de vídeo egocêntricos prontos para robótica
- Dados de atividade autênticos: A execução natural de tarefas capturou ações humanas, interações mão-objeto e sequências operacionais.
- Expansão escalável de conjuntos de dados: Cada participante podia contribuir com até 100 horas aprovadas, enquanto as variações em objetos, ferramentas, locais, iluminação e sequências de tarefas expandiram a diversidade do conjunto de dados, dimensionando o programa para uma estimativa de 30,000 horas de vídeo egocêntrico coletadas, com mais de 24,000 horas anotadas e aprovadas para o treinamento do modelo.
- Contexto pronto para robótica: Imagens estáveis em primeira pessoa proporcionaram visibilidade clara das mãos, objetos, equipamentos, espaços de trabalho e do andamento das tarefas.
- Intervenção Rápida de Qualidade: Ciclos de revisão de um dia possibilitaram feedback, correção e recuperação rápidos.
- Diversidade geográfica e de dispositivos: A coleta de dados nos EUA e na América Latina, utilizando dispositivos aprovados da Apple, Google e Samsung, introduziu variações práticas em termos de ambiente e hardware.
- Governança Integrada: Consentimento, autorização, validação de localização, envio seguro e controles de qualidade foram incorporados em todo o programa.
A abordagem de coleta resultante fornece uma base sólida para a construção de sistemas de IA que compreendem a ação humana a partir da perspectiva de um operador e funcionam de forma mais confiável.
A abordagem estruturada da Shaip para a coleta de vídeos egocêntricos nos proporcionou a escala, os controles de qualidade e a diversidade do mundo real necessários para o nosso programa de treinamento de IA. Seu fluxo de trabalho de revisão ágil e padrões de captura detalhados criaram uma base sólida para o avanço de modelos de reconhecimento de atividades e robótica.
