Acolad
Bestil nu Kontakt os

Benchmarking af flersproget datatransskribering for en global AI-virksomhed

Som en del af sit arbejde med at udvikle AI-modeller kørte en global AI-virksomhed en formel benchmark for datatransskribering, hvor leverandører blev testet på tværs af fire sprog. Acolad leverede en fejlrate på 0-1 % og var nummer et – hvilket gav vores kunde mulighed for at bygge skalerbar flersproget AI. Sådan gør du.

 

Industri og tjenester

Om kunden
En global teknologivirksomhed, der udvikler AI-drevne produkter, der er afhængige af flersprogede lyddata af høj kvalitet til modeltræning.

Da virksomheden arbejdede på tværs af flere markeder, krævede den en kontrolleret, målbar sammenligning af leverandører for at sikre, at den havde den bedste flersprogede datatransskriberingsproces på tværs af fire sprog – fransk, tysk, spansk og portugisisk – for at understøtte sin AI-modeltræning.

Udfordringen

Sådan skalerer du lyddata til AI-træning på tværs af sprog med tillid

Før denne klient kunne skalere deres AI-træning på tværs af sprog og markeder, havde de brug for tillid til deres flersprogede data. Uden det var risiciene reelle: inkonsistent kvalitet på tværs af sprogpar, annoteringsrammer, der anvendes forskelligt af forskellige leverandører, og en træningsforberedelse, der ville kræve dyr afhjælpning senere i forløbet.

En formel benchmark var det rigtige første skridt – men kun hvis alle leverandører arbejdede efter de samme regler. For forberedelsen af en AI-træning betyder det konsistens på segmentniveau på tværs af alle annoteringsdimensioner. De krævede:

  • Præcis tilpasning af tidsstempler

  • Adskillelse af talere, der holder på tværs af overlappende tale

  • Accentklassificering, der er konsistent og ikke afhængig af tolken

  • Emotionsmærkning med kalibrerede intensitetspoint, ikke subjektive klassificeringer

  • Standardiserede nonverbale markører, der anvendes identisk af alle annotatorer

Små variationer i konsistensen af disse faktorer ville have en enorm indflydelse – og gøre datasæt ubrugelige til efterfølgende AI-træning.

Med en målbar sammenligning på tværs af disse standarder ville kunden være i stand til pålideligt at evaluere leverandører, der bedst kunne hjælpe dem med at udvide AI-træning i stor skala.

concept of fingers typing on keyboard with data streaming as abstract red orange waves

"Vores opgave er ikke bare at levere data – det er at give kunderne tillid til at skalere. Når en klient benchmarker transskribering på tværs af fire sprog samtidigt, skal kvaliteten være indbygget i produktionsmiljøet fra starten og ikke evalueres efterfølgende."

 

Jennifer Nacinelli, AI Data Program Manager, Acolad

Giv din AI brændstof med flersprogede data af høj kvalitet i stor skala

Acolad leverer målrettede, præcise og pålidelige datasæt for at sikre den bedst mulige ydeevne inden for AI og maskinlæring.

Opdag vores datatjenester
square-56
Løsningen

En brugerdefineret arbejdsgang for dataannotering, bygget op omkring specifikke retningslinjer

Acolad konfigurerede et brugerdefineret transskriberings- og mærkningsmodul til projektet og integrerede kundens retningslinjer direkte i produktionsmiljøet. Hver funktion adresserede en specifik fejltilstand:

  • Tidsstempelkontrol på segmentniveau eliminerede afvigelser ved kilden

  • Adskillelse af talere og klassificering af accent blev håndteret i samme grænseflade, hvilket reducerede overdragelsesfejl

  • Emotionsmærkning med intensitetspoint blev anvendt via strukturerede indtastningsfelter, ikke fri tekst

  • Automatiserede kvalitetssikringskontroller blev udløst under behandlingen før menneskelig gennemgang

  • Endelig validering før levering, med dokumenterede resultater til kundens benchmarkingopgave

Automatisk talegenkendelse (ASR) før transskriberingen blev kombineret med AI-understøttet efterredigering i overensstemmelse med projektets retningslinjer – og menneskelig overvågning i alle faser, hvor fortolkning af retningslinjer krævede dømmekraft.

Kunden modtog ikke kun dataene, men også revisionssporet til at evaluere dem i forhold til alle konkurrerende leverandører under de samme betingelser.

Et overblik over resultater

Nr. 1

Acolad var over alle konkurrerende leverandører

4

Sprog leveret samtidigt

0-1 %

Samlet fejlrate

Alle tal, der blev leveret af kundens egen benchmarkingrevision af udbydere.
Resultaterne

Et pålideligt flersproget datagrundlag til skalerbar AI

Acolad var højere end alle konkurrerende udbydere i benchmarking-gruppen. Kundens egen analyse gav en fejlrate på 0-1 % på tværs af det komplette evaluerede datasæt.

Resultaterne på sprogniveau blev dokumenteret transparent – uden fejl i spansk og portugisisk og med meget få mindre fejl i fransk og portugisisk.

Kunden har nu et leverandørvalg, der understøttes af beviser, ikke antagelser. Og en produktionsarbejdsgang, der skalerer inden for et styret annoteringsmiljø – med de samme kvalitetskontroller, der fik benchmarken til at fungere.

Nu har de mulighed for at træne deres AI-modeller på pålidelige flersprogede data – og bringe deres flersprogede AI-træning op på produktionsniveau.

freelancer-avatars-centered 1

Leder du efter datatranskription, du kan stole på i stor skala?

Kontakt os