Detecção de Frutas na Agricultura: Anotação de Caixa Delimitadora
Como a Shaip forneceu anotações precisas de caixas delimitadoras para cada maçã visível em imagens de pomares — abrangendo todo o ciclo de crescimento, captura multiperspectiva e atributos de condição em 3 camadas — criando um conjunto de dados de nível de produção para estimativa de rendimento, colheita robótica e IA para saúde de plantações.
Visão geral do projeto
À medida que a agricultura de precisão avança em direção à colheita orientada por IA e à previsão de rendimento, o cliente precisava de um pipeline de anotação capaz de detectar frutas individuais em grande escala em imagens densas e naturalmente desordenadas de pomares — abrangendo todos os estágios de crescimento, da floração à colheita.
Shaip construiu o pipeline de anotação de ponta a ponta, abrangendo o posicionamento preciso de caixas delimitadoras para cada fruta, a marcação de condições com múltiplos atributos, o processamento de imagens com múltiplas perspectivas e o controle de qualidade em dois níveis — produzindo conjuntos de dados prontos para modelos de IA para agricultura de precisão em grande escala.
Estatísticas Chave
Limiar de precisão
99%
Estágios de crescimento
Ciclo completo
Camadas de Atributos
3
Perspectivas
Solo + Drone
Desafios
- Anotando cada maçã visível em imagens densas de pomares — centenas por quadro
- Cobertura o ciclo de crescimento completo — flor, frutinhos verdes, maçãs completamente maduras
- Manuseamento imagens com múltiplas perspectivas — nível do solo, drone sobrevoando, close-up de um galho
- Distintivo fruto da folhagem quando as cores se misturam durante os estágios iniciais de crescimento
- Gerenciando ocluída, parcial e afetada pelo brilho frutas sem comprometer a precisão
Solução
Posicionamento da caixa delimitadora por fruta
Os anotadores desenharam caixas delimitadoras precisas em torno de cada maçã visível em cada imagem, independentemente do tamanho, estágio de coloração ou posição dentro do quadro. Mesmo em aglomerados densos onde dezenas de frutos se sobrepunham, cada um foi rotulado individualmente para auxiliar nos modelos subsequentes de contagem de frutos e estimativa de rendimento.
Cobertura completa do ciclo de crescimento
A anotação abrangeu maçãs em todos os estágios de crescimento — desde o início da floração e pequenos frutos verdes até maçãs vermelhas e amarelas totalmente maduras. Essa cobertura de ciclo completo garante que o modelo treinado possa detectar frutos em qualquer ponto do ciclo agrícola, não apenas na colheita.
Imagens com múltiplas perspectivas
Foram incluídas imagens capturadas a partir de fileiras de pomares ao nível do solo, imagens aéreas feitas por drones e fotografias de ramos em close-up, tornando o conjunto de dados altamente diversificado e representativo da implantação no mundo real. Cada perspectiva recebeu diretrizes de anotação específicas.
Classificação de atributos em 3 camadas
Cada maçã anotada foi posteriormente classificada com atributos que abrangem o estágio de maturação (verde, semi-madura, madura), o status de visibilidade (totalmente visível, parcialmente oculta, fortemente oculta) e a condição da fruta (saudável, danificada, doente). Essa abordagem com múltiplos atributos permite que o modelo treinado avalie a prontidão para a colheita e a saúde da safra, além da detecção da fruta.
Tratamento de casos extremos
Os anotadores seguiram diretrizes rigorosas para maçãs parcialmente fora do enquadramento, maçãs no chão, superfícies de frutas reflexivas ou brilhantes que causavam artefatos de brilho e pequenas frutas distantes que exigiam identificação com zoom. A variabilidade da iluminação — particularmente as sombras da copa das árvores — foi tratada por meio de regras de anotação que levam em consideração a perspectiva.
Escopo do Projeto
| Tipo de conjunto de dados | Meta | Estágios de crescimento | Perspectivas | Atributos | Precisão |
|---|---|---|---|---|---|
| detecção de frutas agrícolas | Maçãs | Ciclo completo (florescimento → maturação) | Solo + drone + close-up | Maturação, visibilidade, condição | 99% |
Focados no Negócio
- Estabeleceu um oleoduto de caixa delimitadora de pomar denso capaz de detectar todas as frutas visíveis
- padronizado cobertura completa de anotações do ciclo de crescimento Da flor à colheita
- entregue Classificação de atributos em 3 camadas para maturação, visibilidade e condição.
- Mantido portão de precisão de 99% por meio de controle de qualidade em dois níveis em imagens com múltiplas perspectivas
- Habilitou o cliente estimativa de rendimento, colheita robótica, saúde das culturas e vigilância por drones. AI
De forma geral, Shaip ajudou a transformar uma necessidade de detecção de frutas em escala de pomar em um pipeline de anotação estruturado e pronto para produção — capaz de suportar agricultura de precisão, colheita robótica, previsão de rendimento e IA para monitoramento da saúde das culturas em diversos ambientes de pomar e ciclos de crescimento.
Shaip anotou maçãs que, em algumas imagens, nem conseguíamos distinguir das folhas. A identificação do estágio de crescimento e da condição delas alimentou diretamente nossos modelos de estimativa de rendimento e planejamento de colheita.
