Avaliação em grande escala de legendas geradas por IA em 45 línguas

Quando a sua ferramenta de legendagem com IA estiver pronta para se expandir a nível global, como garante que o seu modelo oferece qualidade em todas as línguas? A Acolad implementou um processo de avaliação personalizado em apenas duas semanas. Dizemos-lhe como.


Indústria e serviços

Sobre o cliente
Um fornecedor global de software criativo que desenvolve ferramentas baseadas em IA para mercados globais de consumo e profissionais.

À medida que a empresa expandia internacionalmente a sua funcionalidade de legendagem de imagens com IA, precisava de validar a qualidade dos resultados em dezenas de línguas.

O desafio

Garantir que as suas legendas geradas por IA transmitam o significado em 45 línguas

Uma legenda pode estar gramaticalmente correta e, mesmo assim, falhar completamente o objetivo. Uma referência cultural que não faz sentido, uma expressão idiomática utilizada num registo inadequado, uma descrição de conteúdo visual que um falante nativo nunca diria dessa forma — estes são os erros que prejudicam a credibilidade de um produto num mercado e que passam despercebidos a quem não vive nessa língua.

Lançar o produto sem dados validados sobre a qualidade das legendas significava correr o risco de falhas que só viriam a revelar-se depois de o produto já estar à disposição dos utilizadores internacionais.

Havia um segundo risco: a governação. Os dados de avaliação recolhidos com base em critérios inconsistentes em 45 línguas não são comparáveis — e dados inconsistentes não conseguem contribuir para a melhoria do modelo. O valor da avaliação dependia inteiramente de todos os avaliadores aplicarem os mesmos critérios.

person editing video on two monitors

"Descobrir que as legendas geradas por IA não funcionam num mercado após o lançamento é um problema muito diferente de o descobrir antes. O custo - tanto em termos de reputação como a nível operacional - não é comparável. É por isso que a avaliação tem de ser feita antes de o produto chegar aos utilizadores, e não depois."

 

Jennifer Nacinelli, Gestora do Programa de Dados de IA, Acolad

Alimente a sua IA com dados de alta qualidade em várias línguas, em grande escala

A Acolad fornece conjuntos de dados específicos, precisos e fiáveis para garantir o melhor desempenho possível em IA e aprendizagem automática.

square-62
A solução

Um programa completo de avaliação multilingue - desenvolvido e implementado em duas semanas

A Acolad concebeu diretrizes de avaliação e rubricas personalizadas para o projeto, aconselhando o cliente sobre os critérios de qualidade e as considerações culturais que variam consoante a língua e a região. Cada revisor cumpriu os seguintes requisitos:

  • Ser um falante nativo, não um aluno de nível avançado

  • Receber um briefing sobre os aspetos específicos de qualidade que importam para as legendas visuais geradas por IA

  • Aplicar critérios de avaliação consistentes e não o instinto pessoal em matéria de línguas

Todas as interações com os revisores foram geridas através de um único ponto de contacto, garantindo orientações e controlos de qualidade consistentes ao longo de todo o processo.

A entrega foi realizada por fases, de modo a corresponder aos mercados prioritários do cliente:

  • Semana 1: 10 línguas prioritárias — francês, italiano, alemão, espanhol e um conjunto de línguas asiáticas

  • Semana 2: as restantes 35 línguas

A gestão do fluxo de trabalho foi concebida em torno dos processos existentes do cliente, funcionando no âmbito de fluxos de trabalho baseados em Excel, de modo a evitar custos associados à integração na plataforma e a manter a atribuição dos revisores e os pontos de controlo de qualidade visíveis para o cliente ao longo de todo o processo.

Resumo dos resultados

45 línguas

Avaliado tendo em conta nuances culturais

Pronto para lançamento

Legendas geradas por IA com rapidez

Risco minimizado

Para a expansão global de novas ferramentas de legendagem baseadas em IA

Os resultados

O lançamento de uma ferramenta global de legendagem com IA, sem problemas de qualidade

As 45 línguas foram entregues dentro do prazo de duas semanas. O cliente recebeu avaliações linguisticamente precisas e culturalmente adequadas — elaboradas por falantes nativos que aplicaram critérios consistentes em todos os mercados abrangidos.

Em vez de avançar com o lançamento internacional com base em suposições, a equipa de produto dispunha de dados validados por pessoas que indicavam em que aspetos a ferramenta de legendagem por IA cumpria os padrões e em que aspetos era necessário fazer ajustes antes do lançamento. Essa é a diferença entre uma decisão de implementação baseada em dados e uma decisão reativa.

Este projeto consolidou a Acolad como o parceiro preferencial do cliente para projetos de avaliação de IA em grande escala, o que foi confirmado pela continuação da colaboração após a entrega inicial.

freelancer-avatars-centered 1

Procura serviços de avaliação de dados de IA em que possa confiar, mesmo em grande escala?