Hurtig skalering af evaluering af AI-tekster på tværs af 45 sprog

Hvornår er dit AI-undertekstningsværktøj klar til at blive globalt, hvordan garanterer du, at din model leverer kvalitet på alle sprog? Acolad leverede en skræddersyet evalueringsproces på kun to uger. Sådan gør du.


Industri og tjenester

Om kunden
En global leverandør af kreativ software, der udvikler AI-drevne værktøjer til globale forbruger- og professionelle markeder.

Da virksomheden udvidede sin AI-billedtekstningsfunktion internationalt, var det nødvendigt at validere kvaliteten på tværs af mange sprog.

Udfordringen

Sørg for, at dine AI-undertekster leverer mening på tværs af 45 sprog

En billedtekst kan være grammatisk korrekt og alligevel misse pointen helt. En kulturel reference, der ikke rammer plet, et idiomatisk udtryk brugt i det forkerte register, en beskrivelse af visuelt indhold, som en modersmålstalende aldrig ville formulere på den måde – det er de fejl, der skader produktets troværdighed på et marked, og de er usynlige for enhver, der ikke taler det pågældende sprog.

Lancering uden validerede data om billedtekstkvaliteten betød risiko for fejl, der først ville dukke op, når produktet allerede var blevet vist til internationale brugere.

Der var en anden risiko: styring. Evalueringsdata, der blev indsamlet under inkonsistente rubrikker på tværs af 45 sprog, er ikke sammenlignelige – og inkonsistente data kan ikke fremme modelforbedring. Evalueringens værdi afhang fuldstændigt af, om alle revisorer anvendte de samme kriterier.

person editing video on two monitors

"At opdage, at dine AI-tekster ikke fungerer på et marked efter lanceringen, er et helt andet problem end at opdage det tidligere. Omkostningerne – i forhold til omdømme og drift – kan ikke sammenlignes. Derfor skal evalueringen ske, før produktet når brugerne, ikke bagefter."

 

Jennifer Nacinelli, AI Data Program Manager, Acolad

Giv din AI brændstof med flersprogede data af høj kvalitet i stor skala

Acolad leverer målrettede, præcise og pålidelige datasæt for at sikre den bedst mulige ydeevne inden for AI og maskinlæring.

square-62
Løsningen

Et komplet flersproget evalueringsprogram – bygget og udført på to uger

Acolad udarbejdede brugerdefinerede evalueringsretningslinjer og -rubrikker til opgaven og rådgav kunden om kvalitetskriterier og de kulturelle overvejelser, der varierer afhængigt af sprog og region. Hver revisor:

  • var en modersmålstalende, ikke en erfaren studerende

  • var briefet om de specifikke kvalitetsdimensioner, der er vigtige for AI-genererede visuelle undertekster

  • brugte ensartede evalueringskriterier – ikke personligt sprogligt instinkt

Alle revisorinteraktioner blev håndteret via ét enkelt kontaktpunkt, hvilket sikrede ensartet briefing og kvalitetskontrolpunkter på tværs af hele opgaven.

Leveringen blev opdelt i faser for at matche kundens prioriterede markeder:

  • Uge 1: 10 prioriterede sprog – fransk, italiensk, tysk, spansk og en række asiatiske sprog

  • Uge 2: de resterende 35 sprog

Styringen af arbejdsgangen blev bygget op omkring kundens eksisterende processer og kørte i Excel-baserede arbejdsgange for at undgå onboarding-omkostninger for platformen og holde tildeling af revisorer og kvalitetskontrolpunkter synlige for kunden under hele processen.

Et overblik over resultater

45  sprog

Evalueret med kulturelle nuancer

Klar til lancering

AI-tekstning leveret med hastighed

Risiko minimeret

Til global udvidelse af nye AI-billedtekstningsværktøjer

Resultaterne

En global lancering af et AI-billedtekstningsværktøj uden kvalitetsmæssige problemer

Alle 45 sprog blev leveret inden for et vindue på to uger. Kunden modtog evalueringer, der var sprogligt korrekte og kulturelt funderede – udarbejdet af modersmålstalende, der anvendte ensartede kriterier på tværs af alle markeder.

I stedet for at fortsætte med international udrulning baseret på formodning havde produktteamet menneskevalideret dokumentation for, hvor AI-billedtekstningsværktøjet fungerede i forhold til standarden, og hvor det krævede justering før lanceringen. Det er forskellen på en datainformeret udrulningsbeslutning og en reaktiv beslutning.

Engagementet etablerede Acolad som kundens foretrukne partner til store AI-evalueringsprojekter, hvilket blev bekræftet gennem fortsat engagement efter den første levering.

freelancer-avatars-centered 1

Leder du efter AI-dataevalueringstjenester, du kan stole på i stor skala?