O sucesso de qualquer modelo de IA depende da qualidade dos dados inseridos no sistema. Os sistemas de ML são executados em grandes quantidades de dados, mas não se pode esperar que funcionem com qualquer dado. Precisa ser dados de treinamento de IA de alta qualidade. Se a saída do modelo de IA precisa ser autêntica e precisa, nem é preciso dizer que os dados para treinar o sistema devem ser de alto padrão.
Os dados nos quais os modelos de IA e ML são treinados devem ser de primeira qualidade para que a empresa obtenha insights significativos e relevantes. No entanto, a aquisição de grandes volumes de dados heterogêneos representa um desafio para as empresas.
As empresas devem contar com fornecedores como Shaip, que implementam medidas rígidas de gerenciamento de qualidade de dados em seus processos para enfrentar esse desafio. Além disso, na Shaip, também realizamos a transformação contínua de nossos sistemas para enfrentar os desafios em evolução.
Introdução ao gerenciamento de qualidade de dados da Shaip
Na Shaip, entendemos a importância de dados de treinamento confiáveis e sua parte no desenvolvimento de modelos de ML e o resultado de soluções baseadas em IA. Além de selecionar as habilidades de nossos funcionários, estamos igualmente focados no desenvolvimento de sua base de conhecimento e desenvolvimento pessoal.
Seguimos diretrizes rígidas e procedimentos operacionais padrão implementados em todos os níveis do processo para que nossos dados de treinamento atendam ao benchmark de qualidade.
Gestão da Qualidade
Nosso fluxo de trabalho de gerenciamento de qualidade tem sido fundamental para fornecer modelos de aprendizado de máquina e IA. Com feedback-in-loop, nosso modelo de gestão da qualidade é um método cientificamente testado que tem sido fundamental para entregar com sucesso diversos projetos para nossos clientes. Nosso fluxo de processo de auditoria de qualidade procede da seguinte maneira.
- Revisando o contrato
- Crie uma lista de verificação de auditoria
- Origem de documentos
- Auditoria de 2 Camadas de Fornecimento
- Moderação de texto de anotação
- Auditoria de 2 camadas de anotação
- Entrega de Trabalho
- Feedback do cliente
Seleção e integração de trabalhadores de Crowdsource
Nosso rigoroso processo de seleção e integração de trabalhadores nos diferencia do resto da concorrência. Realizamos um processo de seleção preciso para trazer a bordo apenas os anotadores mais qualificados com base na lista de verificação de qualidade. Nós consideramos:
- Experiência anterior como moderador de texto para garantir que suas habilidades e experiência correspondam aos nossos requisitos.
- O desempenho em projetos anteriores para garantir sua produtividade, qualidade e produção estavam de acordo com as necessidades do projeto.
- Amplo conhecimento de domínio é um requisito para a escolha de um trabalhador específico para uma vertical específica.
Nosso processo de seleção não termina aqui. Submetemos os trabalhadores a um teste de anotação de amostra para verificar suas qualificações e desempenho. Com base no desempenho no julgamento, análise de discordância e perguntas e respostas, eles serão selecionados.
Uma vez que os trabalhadores são selecionados, eles passarão por uma sessão de treinamento completo usando o Projeto SOW, diretrizes, métodos de amostragem, tutoriais e muito mais, dependendo da necessidade do projeto.
Lista de verificação de coleta de dados
Verificações de qualidade em duas camadas são implementadas para garantir que apenas o dados de treinamento de alta qualidade é passado para a próxima equipe.
Nível 1: Verificação de Garantia de Qualidade
A equipe de controle de qualidade da Shaip faz a verificação de qualidade do Nível 1 para coleta de dados. Eles verificam todos os documentos e são validados rapidamente em relação aos parâmetros necessários.
Nível 2: Verificação de Análise de Qualidade Crítica
A equipe CQA composta por recursos credenciados, experientes e qualificados avaliará os 20% restantes das amostras retrospectivas.
Alguns dos itens da lista de verificação de qualidade do fornecimento de dados incluem,
- A fonte do URL é autêntica e permite a extração de dados na Web?
- Existe diversidade nos URLs pré-selecionados para que o preconceito possa ser evitado?
- O conteúdo é validado para relevância?
- O conteúdo inclui categorias de moderação?
- Os domínios prioritários são cobertos?
- O tipo de documento é originado tendo em mente a distribuição do tipo de documento?
- Cada classe de moderação contém a laje de volume mínimo?
- O processo de feedback em loop é seguido?
Lista de Verificação de Anotação de Dados
Semelhante à Coleta de Dados, também temos duas camadas de checklist de qualidade para anotação de dados.
Nível 1: Verificação de Garantia de Qualidade
Esse processo garante que 100% dos documentos sejam validados corretamente em relação aos parâmetros de qualidade definidos pela equipe e pelo cliente.
Nível 2: Verificação de Análise de Qualidade Crítica
Esse processo garante que 15 a 20% das amostras retrospectivas também sejam validadas e a qualidade garantida. Esta etapa é realizada pela equipe CQA qualificada e experiente com um mínimo de 10 anos de experiência em gestão da qualidade e detentores de Black Belt.
A equipe CQA garante,- Consistência na moderação de texto pelos usuários
- Verificando se as frases e classes de moderação corretas são usadas para cada documento
- Verificando os metadados
Também fornecemos feedback diário com base em Análise de Pareto para garantir que seu desempenho esteja de acordo com os requisitos do cliente.
Colocamos outra camada de análise de desempenho para focar nos anotadores de menor desempenho usando o Gerenciamento do quartil inferior. Antes da entrega final, também garantimos que as verificações de higiene das amostras sejam concluídas.
Limite do parâmetro
Dependendo das diretrizes do projeto e dos requisitos do cliente, temos um limite de parâmetros de 90 a 95%. Nossa equipe está equipada e experiente para realizar qualquer um dos seguintes métodos para garantir padrões de gestão de qualidade mais elevados.
- F1 Score ou F Measure – para julgar o desempenho de dois classificadores – 2* ((Precision * Recall)/ (Precision + Recall))
- O método DPO ou Defeitos por Oportunidade é calculado como uma proporção de defeitos dividida pelas oportunidades.
Lista de verificação de auditoria de amostra
A lista de verificação de auditoria de amostra da Shaip é um procedimento de personalização completo que pode ser adaptado para atender às demandas do projeto e do cliente. Ele pode ser modificado com base no feedback recebido do cliente e finalizado após uma discussão aprofundada.
- Verificação de idioma
- Verificação de URL e Domínio
- Verificação de diversidade
- Volume por idioma e classe de moderação
- Palavras-chave segmentadas
- Tipo de documento e relevância
- Verificação de frase tóxica
- Verificação de metadados
- Checagem de Consistência
- Verificação de classe de anotação
- Quaisquer outras verificações obrigatórias de acordo com a preferência do cliente
A equipe CQA garante,Tomamos medidas rigorosas para manter os padrões de qualidade de dados porque entendemos que todos os modelos baseados em IA são orientados por dados. E, tendo dados de treinamento de alta qualidade é um requisito para todos os modelos de IA e aprendizado de máquina. Entendemos a importância dos dados de treinamento de qualidade e sua importância no desempenho e no sucesso de seus modelos de IA.