Prima di poter estendere la propria attività di addestramento dell'IA a diverse lingue e mercati, questo cliente necessitava di dati multilingue affidabili. In mancanza, i rischi erano concreti: qualità incoerente tra le diverse combinazioni linguistiche, framework di annotazione applicati in modo differente da fornitori diversi e una pipeline di addestramento che avrebbe richiesto costosi interventi correttivi in futuro.
Un benchmark formale era il primo passo giusto, ma solo se tutti i fornitori avessero lavorato secondo le stesse regole. Per una pipeline di addestramento dell'IA, ciò significa coerenza a livello di segmento in ogni dimensione di annotazione. Il cliente ha richiesto:
-
Allineamento preciso del timestamp
-
Separazione tra i parlanti mantenuta anche in caso di sovrapposizione del parlato
-
Classificazione degli accenti coerente, non dipendente dall'interprete
-
Tagging delle emozioni con punteggi di intensità calibrati, non con etichette soggettive
-
Marcatori non verbali standardizzati applicati in modo identico a tutti gli annotatori
Minime variazioni di coerenza in questi fattori avrebbero avuto un impatto enorme, rendendo i set di dati inutilizzabili per l'addestramento successivo dell'IA.
Grazie a un confronto misurabile tra queste metriche, il cliente sarebbe stato in grado di valutare in modo affidabile i fornitori più adatti ad aiutarlo a espandere l'addestramento dell'IA su larga scala.
