En undertext kan vara grammatiskt korrekt och ändå missa målet helt och hållet. En kulturell referens som inte går hem, ett idiomatiskt uttryck som används i fel språkligt register, en beskrivning av visuellt innehåll som en modersmålstalare aldrig skulle formulera på det sättet – det är sådana misstag som skadar produktens trovärdighet på en marknad, och de är osynliga för alla som inte talar språket.
Att lansera produkten utan validerade uppgifter om undertextkvaliteten innebar en risk för fel som skulle upptäckas först när produkten redan var tillgänglig för internationella användare.
Det fanns en ytterligare risk: styrningen. Utvärderingsdata som samlats in med inkonsekventa bedömningskriterier på 45 olika språk är inte jämförbara – och inkonsekventa data kan inte ligga till grund för modellförbättringar. Utvärderingens värde berodde helt och hållet på att alla granskare tillämpade samma kriterier.
