LiDAR multimodal ferroviário e anotação 2D
Como a Shaip entregou um dos projetos com maior diversidade de tipos de anotação no domínio da IA ferroviária — combinando imagens de câmeras 2D e nuvens de pontos LiDAR 3D em mais de 39 classes de objetos e 8 tipos distintos de rótulos para alimentar sistemas autônomos de percepção de trens e segurança ferroviária.
Visão geral do projeto
À medida que a percepção autônoma de trens avança para a implantação em produção, o cliente precisava de um pipeline de anotação multimodal em larga escala, capaz de rotular todo o ambiente ferroviário, tanto em imagens de câmeras 2D quanto em dados de nuvem de pontos LiDAR 3D, com precisão espacial consistente.
Shaip construiu o pipeline de anotação multimodal de ponta a ponta, abrangendo 8 tipos distintos de rótulos, mais de 39 classes de objetos e mais de 25 classificações de estado de sinal nos sistemas de sinalização H/V e Ks — fornecendo conjuntos de dados validados cruzadamente e prontos para modelagem para IA de segurança e autonomia ferroviária.
Status da chave
Classes de objetos
39+
Tipos de anotação
8
Estados de Sinalização
25+
Modalidades
2D + 3D
Desafios
- Manuseamento Anotação multimodal 2D + 3D com consistência espacial validada por validação cruzada
- Anotando Mais de 39 classes de objetos abrangendo pessoas, veículos, infraestrutura, animais e objetos de segurança.
- Operando em 8 tipos de anotação — Caixas delimitadoras 2D/3D, cuboides, polilinhas, polígonos
- Classificando Mais de 25 estados de sinal distintos nos sistemas de sinalização alemães H/V e Ks
- Aplicando lógica de limite de multidão e anotação de trilha contínua sob objetos de vagão
Solução
Pipeline de Anotação Multimodal
Shaip configurou um pipeline de anotação paralelo para câmeras 2D e LiDAR 3D com validação cruzada entre as modalidades. Os anotadores trabalharam simultaneamente com ambas as fontes de dados para garantir a consistência espacial, com os estados de oclusão avaliados puramente a partir de dados de nuvem de pontos, em vez de imagens 2D.
39+ Ontologia de Classe
A ontologia de anotações abrangia pessoas (com faixa etária, auxílio de mobilidade, função, postura corporal, itens transportados e atributos de distração), veículos (bicicletas, motocicletas, veículos rodoviários por subcategoria), 18 espécies de animais e infraestrutura ferroviária, incluindo trilhos, aparelhos de mudança de via, postes de catenária, sinais, batentes, pontes de sinalização, sapatas de arrasto e objetos de teste reflexivos.
Classificação do estado do sinal
Os sinais foram anotados com uma classificação detalhada de aspectos em sistemas de sinalização H/V e Ks, abrangendo mais de 25 estados de sinal distintos. Os anotadores identificaram aspectos exatos dos sinais, tanto na vista frontal quanto na traseira, distinguindo entre sinais luminosos e sinais de forma em múltiplos sistemas de sinalização ferroviária alemães.
Limiar de multidão e lógica de grupo
As anotações de multidões exigiam um limite mínimo de 6 pessoas sobrepostas antes de mudar da anotação individual para a anotação de grupo. Grupos de bicicletas e grupos de animais seguiram a mesma lógica de limite, com regras consistentes de pose e espécie dentro dos grupos. Isso garantiu que cenas de alta densidade fossem rotuladas com eficiência operacional, sem sacrificar detalhes.
Anotação contínua de trilha
As linhas férreas foram anotadas continuamente, mesmo sob trens ou vagões, com áreas de desvio e batentes mapeados com precisão. Essa camada de continuidade é essencial para o planejamento de trajetos ferroviários subsequentes e para os modelos de detecção de obstáculos.
Escopo do Projeto
| Tipo de conjunto de dados | Modalidades | Classes | Tipos de etiqueta | Estados de Sinalização | sistemas |
|---|---|---|---|---|---|
| Percepção do ambiente ferroviário | LiDAR 2D + 3D | 39+ | 8 (caixas, cuboides, polilinhas, polígonos) | 25+ | H/V, Ks |
Focados no Negócio
- Estabeleceu um Pipeline de anotação LiDAR multimodal 2D + 3D para percepção de trens autônomos
- padronizado Ontologia de classes de objetos com mais de 39 itens abrangendo pessoas, veículos, animais e infraestrutura ferroviária.
- entregue Mais de 25 classificações de estado de sinal em sistemas de sinalização alemães H/V e Ks
- Implementado lógica de limite de multidão e anotações contínuas sobre a via férrea sob os vagões
- Habilitou o cliente IA para trens autônomos, segurança e detecção de obstáculos. roadmap
De forma geral, Shaip ajudou a transformar um requisito de percepção ferroviária multimodal em um pipeline de anotação estruturado e pronto para produção — capaz de suportar operação autônoma de trens, IA para segurança ferroviária e sistemas de reconhecimento de sinais com consistência espacial 2D-3D validada em larga escala.
A Shaip lidou com a complexidade das anotações que a maioria dos fornecedores não se atreve a abordar. Mais de 39 classes, 8 tipos de rótulos, mais de 25 estados de sinal, validação cruzada 2D e 3D — e entregaram tudo isso em um único pipeline coordenado. Como resultado, nossos modelos de percepção ferroviária foram treinados mais rapidamente.
