Cosa significa per il futuro degli LLM e della traduzione automatica
Guardando a un futuro in cui gli LLM diventeranno sempre più sofisticati, sembra che al momento i modelli NMT ottimizzati producano risultati più coerenti e facili da migliorare tramite un post-editing di alta qualità, specialmente con contenuti concreti elaborati nei tradizionali flussi di lavoro dei sistemi di gestione della traduzione.
È importante notare anche che i modelli NMT altamente addestrati (che utilizzano contenuti e terminologia specifici di settore) non sono soggetti ad alcune delle sfide tecniche e peculiarità che persistono nell'uso dell'IA generativa.
La NMT garantisce una maggiore prevedibilità, soprattutto nel tempo e tra lingue ottimizzate. In precedenza abbiamo inoltre confrontato l'output generato dalla NMT con quello prodotto dagli LLM e, sebbene la qualità sia inferiore (con maggiori distanze di post-editing, eccetera), la prevedibilità è costante. Con gli LLM, la qualità diminuisce rapidamente, soprattutto quando si tratta di lingue di partenza diverse dall'inglese e, in generale, di lingue con meno risorse disponibili. L'output può variare in modo sostanziale nel corso del tempo.
Un esempio riguarda le difficoltà legate alle allucinazioni dell'IA, soprattutto nelle lingue con risorse limitate, che possono compromettere l'output al punto da rendere la traduzione completamente inutilizzabile. Si tratta di un problema evidenziato dalle imprecisioni nella gestione di contenuti tecnici come gli URL, la terminologia specifica del cliente o del settore, e le frasi brevi. Questo suggerisce che gli LLM non producono ancora risultati sufficientemente affidabili nell'elaborazione di grandi volumi di contenuti o su vasta scala.
In generale, i risultati di Acolad combinati con la revisione umana da parte di esperti hanno mostrato che, sebbene l'output degli LLM abbia ottenuto un punteggio relativamente alto, ha riscontrato difficoltà con contenuti più complessi che includono elementi strutturali come la formattazione e il tagging in linea.
Inoltre, se viene richiesta la gestione di prompt relativamente complessi tra diverse lingue e modelli, un ampia applicazione della tecnologia LLM nella tradizione potrebbe portare a un aumento del costo totale, nonostante una diminuzione dei costi diretti di elaborazione.
In effetti, se l’esigenza è quella di traduzioni automatizzate per grandi volumi di contenuti senza intervento umano o post-editing, è meglio affidarsi a una soluzione di traduzione automatica collaudata e di qualità, almeno per ora.
Come abbiamo già notato, anche quando si impiega un approccio "human-in-the-loop" per modificare l'output della traduzione automatica, può ancora essere più conveniente utilizzare la traduzione automatica rispetto all'IA generativa, semplicemente per il risparmio di tempo derivante dall'iterazione dei prompt per perfezionare l'output degli LLM. Inoltre, la NMT presenta una distanza di post-editing (PED) e un tasso di modifica della traduzione (TER) inferiori, il che significa che richiede meno lavoro di correzione rispetto all'uso degli LLM.
Nonostante questi risultati, è evidente che gli LLM basati sull'IA generativa continueranno a svolgere un ruolo significativo nell'automazione delle traduzioni, specialmente con il continuo miglioramento dei modelli. Ad esempio, presentano interessanti potenzialità di applicazione, come la riscrittura stilistica dell'output della traduzione automatica. È evidente che gli LLM potrebbero svolgere un ruolo cruciale nella valutazione della qualità della traduzione, a favore di funzionalità come il post-editing autoriflessivo.
Evidenziano chiaramente interessanti capacità nella gestione delle ambiguità, dei modi di dire, dei riferimenti culturali e persino dell’umorismo, aspetti in cui alcuni modelli di traduzione automatica tradizionalmente hanno incontrato difficoltà a causa dei limitati set di dati utilizzati per l'addestramento.
