Introdução
À medida que o desenvolvimento de Grandes Modelos de Linguagem (LLMs) acelera, é vital avaliar de forma abrangente a sua aplicação prática em vários campos. Este artigo investiga sete áreas principais onde os LLMs, como o BLOOM, foram rigorosamente testados, aproveitando as percepções humanas para avaliar o seu verdadeiro potencial e limitações.
Insights humanos sobre IA nº 1: detecção de fala tóxica
Manter um ambiente online respeitoso exige uma detecção eficaz de fala tóxica. Avaliações humanas mostraram que, embora os LLMs possam às vezes identificar observações tóxicas óbvias, muitas vezes erram o alvo em comentários sutis ou específicos do contexto, levando a imprecisões. Isto destaca a necessidade de os LLMs desenvolverem uma compreensão mais refinada e uma sensibilidade contextual para gerir eficazmente o discurso online.
Exemplo de insights humanos sobre IA nº 1: detecção de fala tóxica
Cenário: Um fórum online usa um LLM para moderar comentários. Um usuário posta “Espero que você esteja feliz consigo mesmo agora” em uma discussão. O contexto é de um acalorado debate sobre políticas ambientais, onde este comentário foi dirigido a alguém que acaba de apresentar um ponto de vista controverso.
Avaliação LLM: O LLM pode não conseguir detectar o tom passivo-agressivo subjacente do comentário como tóxico, dada a sua formulação superficialmente neutra.
Visão Humana: Um moderador humano entende a negatividade contextual do comentário, reconhecendo-o como uma forma sutil de toxicidade que visa minar a posição da outra pessoa. Isto ilustra a necessidade de uma compreensão diferenciada nos LLMs para uma moderação eficaz.
Insights humanos sobre IA nº 2: criação artística
Os LLMs têm chamado a atenção por sua capacidade de gerar textos criativos como histórias e poemas. No entanto, quando avaliados por seres humanos, é evidente que, embora estes modelos possam tecer histórias coerentes, frequentemente ficam aquém da criatividade e da profundidade emocional, sublinhando o desafio de equipar a IA com uma centelha criativa verdadeiramente humana.
Exemplo de insights humanos sobre IA nº 2: criação artística
Cenário: Um autor pede a um LLM uma ideia para um conto envolvendo um detetive que viaja no tempo.
Saída do LLM: O LLM sugere uma trama onde o detetive viaja de volta para evitar uma injustiça histórica, mas acaba causando um grande acontecimento histórico.
Visão Humana: Embora o enredo seja coerente e criativo até certo ponto, um revisor humano observa que falta originalidade e profundidade no desenvolvimento do personagem, destacando a lacuna entre os conceitos gerados pela IA e a narrativa diferenciada encontrada em obras de autoria humana.
Insights humanos sobre IA nº 3: respondendo a perguntas
Os recursos de resposta a perguntas são fundamentais para recursos educacionais e aplicações de recuperação de conhecimento. Os LLMs têm se mostrado promissores em responder com precisão a perguntas diretas. No entanto, enfrentam dificuldades com questões complexas ou quando é necessária uma compreensão mais profunda, destacando a necessidade crítica de aprendizagem contínua e de refinamento do modelo.
Exemplo de insights humanos sobre IA nº 3: respondendo a perguntas
Cenário: Um estudante pergunta: “Por que a Revolução Industrial começou na Grã-Bretanha?”
Resposta LLM: “A Revolução Industrial começou na Grã-Bretanha devido ao seu acesso aos recursos naturais, como carvão e ferro, e ao seu império em expansão que fornecia mercados para mercadorias.”
Visão Humana: Embora precisa, a resposta do LLM carece de conhecimentos mais profundos sobre os complexos factores sociopolíticos e inovações que desempenharam papéis críticos, mostrando a necessidade de os LLM incorporarem uma compreensão mais abrangente nas suas respostas.
[Leia também: Cadeia de Pensamento – Tudo o que Você Precisa Saber Sobre Isso]
Insights humanos sobre IA nº 4: criatividade de marketing
Em marketing, a capacidade de criar textos envolventes é inestimável. Os LLMs demonstraram potencial na geração de conteúdo básico de marketing. No entanto, as suas criações muitas vezes carecem da inovação e da ressonância emocional cruciais para um marketing verdadeiramente atraente, sugerindo que, embora os LLMs possam contribuir com ideias, a engenhosidade humana permanece incomparável.
Exemplo de insights humanos sobre IA nº 4: criatividade de marketing
Cenário: Uma startup pede a um LLM que crie um slogan para sua nova solução de embalagem ecológica.
Sugestão de LLM: “Embale-o de maneira verde, mantenha-o limpo.”
Visão Humana: Embora o slogan seja cativante, um especialista em marketing sugere que ele não consegue transmitir o aspecto inovador do produto ou os seus benefícios específicos, apontando a necessidade da criatividade humana para criar mensagens que ressoem em vários níveis.
Insights humanos sobre IA nº 5: reconhecendo entidades nomeadas
A capacidade de identificar entidades nomeadas no texto é crucial para a organização e análise de dados. Os LLMs são adeptos da identificação de tais entidades, demonstrando a sua utilidade no processamento de dados e nos esforços de extracção de conhecimento, apoiando assim tarefas de investigação e gestão de informação.
Exemplo de insights humanos sobre IA nº 5: reconhecendo entidades nomeadas
Cenário: Um texto menciona: “O mais recente empreendimento de Elon Musk no turismo espacial”.
Detecção LLM: Identifica “Elon Musk” como pessoa e “turismo espacial” como conceito.
Visão Humana: Um leitor humano também poderá reconhecer as potenciais implicações para a indústria espacial e o impacto mais amplo nas viagens comerciais, sugerindo que, embora os LLM possam identificar entidades, podem não compreender totalmente o seu significado.
Insights humanos sobre IA nº 6: assistência de codificação
A demanda por codificação e auxílio ao desenvolvimento de software fez com que os LLMs fossem explorados como assistentes de programação. Avaliações humanas indicam que os LLMs podem produzir código sintaticamente preciso para tarefas básicas. No entanto, enfrentam desafios com problemas de programação mais complexos, revelando áreas para melhoria no apoio ao desenvolvimento impulsionado pela IA.
Exemplo de insights humanos sobre IA nº 6: assistência de codificação
Cenário: Um desenvolvedor solicita uma função para filtrar uma lista de números para incluir apenas números primos.
Saída do LLM: Fornece uma função Python que verifica a primalidade por divisão experimental.
Visão Humana: Um programador experiente observa que a função carece de eficiência para grandes entradas e sugere otimizações ou algoritmos alternativos, indicando áreas onde os LLMs podem não oferecer as melhores soluções sem intervenção humana.
Insights humanos sobre IA nº 7: raciocínio matemático
A matemática apresenta um desafio único com as suas regras rígidas e rigor lógico. Os LLMs são capazes de resolver problemas aritméticos simples, mas lutam com raciocínios matemáticos complexos. Esta discrepância destaca a diferença entre as capacidades computacionais e o profundo conhecimento necessário para a matemática avançada.
Exemplo de insights humanos sobre IA nº 7: raciocínio matemático
Cenário: Um aluno pergunta: “Qual é a soma de todos os ângulos de um triângulo?”
Saída LLM: “A soma de todos os ângulos de um triângulo é 180 graus.”
Visão Humana: Embora o LLM forneça uma resposta correta e direta, um educador pode aproveitar esta oportunidade para explicar porque é que isto acontece, ilustrando o conceito com um desenho ou uma atividade. Por exemplo, eles poderiam mostrar como se você pegar os ângulos de um triângulo e colocá-los lado a lado, eles formam uma linha reta, que tem 180 graus. Esta abordagem prática não apenas responde à pergunta, mas também aprofunda a compreensão e o envolvimento do aluno com o material, destacando o valor educativo das explicações contextualizadas e interativas.
[Leia também: Modelos de grandes linguagens (LLM): um guia completo]
Conclusão: a jornada à frente
A avaliação dos LLMs através de uma lente humana nestes domínios pinta um quadro multifacetado: os LLMs estão a avançar na compreensão e geração linguística, mas muitas vezes carecem de profundidade quando é necessária uma compreensão mais profunda, criatividade ou conhecimento especializado. Esses insights enfatizam a necessidade de pesquisa e desenvolvimento contínuos e, o mais importante, do envolvimento humano no refinamento da IA. À medida que navegamos pelo potencial da IA, abraçar os seus pontos fortes e ao mesmo tempo reconhecer as suas fraquezas será crucial para alcançar avanços na tecnologia. Pesquisadores de IA, entusiastas de tecnologia, moderadores de conteúdo, profissionais de marketing, educadores, programadores e matemáticos.
Soluções ponta a ponta para o seu desenvolvimento LLM (geração de dados, experimentação, avaliação, monitoramento) - Solicitar uma demonstração
