Een caption kan grammaticaal correct zijn en toch volledig de plank misslaan. Een culturele verwijzing die niet aanslaat, een idiomatische uitdrukking die in de verkeerde stijl wordt gebruikt, een beschrijving van visuele content die een moedertaalspreker nooit op die manier zou formuleren – dit zijn de misstappen die de geloofwaardigheid van een product op een markt ondermijnen, en ze zijn onzichtbaar voor iemand die die taal niet spreekt.
Door het product zonder gevalideerde gegevens over de kwaliteit van de captions te lanceren, ontstaat het risico op fouten die pas aan het licht zouden komen nadat het product al aan internationale gebruikers was voorgesteld.
Er was een tweede risico: governance. Beoordelingsgegevens die zijn verzameld aan de hand van inconsistente beoordelingscriteria in 45 talen zijn niet vergelijkbaar – en inconsistente gegevens kunnen niet bijdragen aan de verbetering van het model. De waarde van de evaluatie hing volledig af van het feit dat alle reviewers dezelfde criteria hanteerden.
