Vad detta innebär för framtiden för stora språkmodeller och maskinöversättning
På väg mot en framtid där stora språkmodeller blir allt mer sofistikerade verkar det som att anpassade modeller för neural maskinöversättning fortfarande ger mer konsekventa resultat som är enklare att efterredigera för att uppnå hög kvalitet. Detta gäller särskilt i fråga om verkligt innehåll som bearbetas genom arbetsflöden i klassiska system för översättningshantering.
Det är också viktigt att observera att ordentligt tränade NMT-modeller (med innehåll och terminologi för specifika domäner) inte drabbas av några av de tekniska utmaningar och egenheter som kvarstår vid användning av generativ AI.
Neural maskinöversättning är mer förutsägbar, framför allt över tid och på flera anpassade språk. Vi har tidigare jämfört generiska NMT-resultat med LLM-resultat, och även om kvaliteten är lägre (större efterredigeringsavstånd osv.), är resultaten konsekvent förutsägbara. Med stora språkmodeller minskar kvaliteten snabbt, särskilt med andra källspråk än engelska och för språk för vilka stora textmängder i allmänhet inte finns tillgängliga. Det resulterande innehållet kan i hög grad variera över tid.
Ett exempel rör AI-hallucinationer – särskilt för språk för vilka de befintliga textmängderna är mindre – vilket kan påverka resultatet till en punkt där det helt enkelt är oanvändbart. Detta syntes i felaktig hantering av tekniskt innehåll som webbadresser, kund- eller domänspecifik terminologi och korta meningar, och innebär att stora språkmodeller ännu inte ger tillräckligt tillförlitliga resultat vid bearbetning av stora mängder innehåll.
I allmänhet visade Acolads resultat i kombination med mänsklig expertgranskning att även om LLM-resultatet fick förhållandevis höga poäng, fanns det svårigheter att hantera komplext innehåll med strukturella element, till exempel formatering och infogade taggar.
Dessutom innebär kraven på att hantera relativt komplexa instruktioner på flera språk och i olika modeller att den bredare användningen av LLM-teknik inom arbetsflöden ger ökade totalkostnader för översättning, trots att de rena behandlingskostnaderna minskar.
Om du behöver automatiserade översättningar för stora mängder innehåll utan mänskligt ingripande eller efterredigering, gör du troligtvis bäst i att förlita dig på en kvalitativ och beprövad lösning för maskinöversättning – i alla fall för tillfället.
Som vi redan noterat kan det vara mer kostnadseffektivt att använda maskinöversättning i stället för generativ AI även när vi använder en ”human-in-the-loop” för att redigera resultatet av den automatiska översättningen. Det beror helt enkelt på den tid du sparar på att slippa upprepa instruktioner för att förfina resultatet från stora språkmodeller. Dessutom har neural maskinöversättning lägre PED (Post-Edit Distance) och TER (Translation Edit Rate), vilket innebär att det krävs mindre arbete för att korrigera resultatet jämfört med om du börjar med stora språkmodeller.
Trots dessa resultat är det tydligt att de stora språkmodellerna baserade på generativ AI ändå har en viktig roll att spela vid automatisering av översättningar – en roll som blir allt viktigare allteftersom modellerna förbättras. Det finns spännande potentiella tillämpningsområden, till exempel att stilistiskt skriva om maskinöversatta texter. Dessutom finns starka bevis på att stora språkmodeller kan spela en avgörande roll inom kvalitetsutvärdering, vilket kan vara till nytta i olika funktioner inom översättning, till exempel självreflekterande efterredigering.
Detta visar tydligt de spännande möjligheter som finns vid hantering av tvetydigheter, idiom, kulturella referenser och till och med humor, något som vissa maskinöversättningsmodeller traditionellt haft problem med på grund av de begränsade datauppsättningar som använts för att skapa modellerna.
