RIVM: Påskynda WHO-termbasuppdatering med säker AI och validering av mänskliga experter

Så kunde RIVM och Acolad översätta WHO ICD-11 till nederländska med hjälp av en specialanpassad AI-motor och expertgranskning.


Om RIVM

RIVM (Rijksinstituut voor Volksgezondheid en Milieu), det nationella institutet för folkhälsa och miljö, är ett nederländskt statligt forskningsinstitut som lyder under ministeriet för hälsa, välfärd och idrott. Organisationen bedriver forskning och tillhandahåller oberoende vetenskaplig rådgivning inom folkhälsa, vård och miljö. 

Som en del av detta arbete sköter RIVM den nederländska språkversionen av internationella hälsoklassifikationer, däribland WHO:s Internationella sjukdomsklassificeringen (ICD) – ett ansvar som omfattar Nederländerna, de nederländska Karibiska öarna och andra nederländska territorier, där en enhetlig klassificering ligger till grund för jämförbar hälsostatistik. 

Utmaningen

Uppdatera en nationell sjukdomsklassificering med en global deadline

ICD är den globala standarden för registrering och klassificering av sjukdomar, hälsotillstånd och dödsorsaker. Systemet som förvaltas av WHO gör det möjligt för länder att ta fram hälsostatistik som är internationellt jämförbar. WHO har fastställt att medlemsstaterna senast i slutet av 2027 ska börja rapportera statistik över dödlighet och sjuklighet i enlighet med den senaste versionen, ICD-11.

Övergången från ICD-10 till ICD-11 är omfattande: utöver cirka 1,5 miljoner ord i nytt och reviderat innehåll medför den även strukturella förändringar och nya kapitel. Tidigare revideringar översattes manuellt av specialister under långa projekt – en metod som förvisso fungerar men som begränsas av experternas kapacitet. Med en fast deadline och en fastställd budget var RIVM tvunget att hitta en balans mellan snabbhet och noggrannhet, och noggrannheten var det viktigaste: eftersom ICD är en klassificering och inte vanlig text kan ett enda felaktigt begrepp leda till att en diagnos placeras under fel kod och därmed snedvrida den statistiken.

En tillförlitlig nederländsk version är viktig även utanför Nederländerna. Vårdpersonalen dokumenterar och kommunicerar på nederländska, och RIVM ansvarar för klassificeringen i alla nederländska regioner – vilket gör detta till den grund som jämförbara hälsodata vilar på. 

doctor on tablet during clinical research study
square-60
Metoden

Utveckla en specialanpassad AI-motor för RIVM, med mänsklig expertis

RIVM och Acolad betraktade uppdateringen av ICD-11 som ett tillfälle att tillämpa AI i stor skala i ett projekt med högspecialiserad terminologi, där man kombinerade automatiserad översättning med expertgranskning för att säkerställa noggrannhet, enhetlighet och användbarhet.

En specialutvecklad, säker AI-motor. Vi har utvecklat en projektspecifik motor som är tränad på RIVM:s befintliga terminologi och körs i Acolads egen säkra miljö för att uppfylla de säkerhetskrav som ställs inom offentlig sektor.

Ett skalbart arbetsflöde. Metoden testades först på ett urval av de termer som RIVM förväntade sig skulle vara svårast innan den tillämpades på hela klassificeringen.

Expertgranskning. Språkvetare med expertis inom områdesspecifik terminologi granskade AI-resultaten med avseende på språklig kvalitet – en extra säkerhetsnivå som automatiserad bedömning i sig inte kan erbjuda. 

1,5 miljoner ord

Översatt från engelska till nederländska

100 000 synonymer

AI-genererat för att underlätta sökningen

2 år

Pågående expertgranskning
Resultatet

Ett första nederländskt utkast och ett fundament för expertgranskning levererat

Projektet resulterade i ett färdigt första utkast till den uppdaterade klassificeringen på nederländska, som granskats med avseende på språklig kvalitet och nu är redo för validering av RIVM-experter.

RIVM behövde en gedigen grundöversättning av hög kvalitet – inte en färdig text, utan en tillförlitlig grund för den expertgranskning som en klassificering av denna betydelse kräver. Det var just detta som projektet resulterade i. Institutet är öppna med att den fullständiga bilden av effektiviteten fortfarande håller på att ta form – eftersom kvaliteten är av största vikt granskar man resultaten noggrant, och den slutliga nettobesparingen kommer att bero på detta arbete.

Värdefulla AI-erfarenheter för båda organisationer

För både RIVM och Acolad utgjorde projektet ett viktigt steg i tillämpningen av AI inom storskaligt terminologiarbete. Det gav en tydlig inblick i hur säker automatisering och validering utförd av experter kan fungera tillsammans: AI bidrar med snabbhet och storskalighet medan mänsklig expertis säkerställer noggrannhet, sammanhang och klassificeringens integritet.

Två lärdomar stack ut. För det första visade sig manuell granskning vara ovärderlig för ett så krävande projekt, eftersom automatiserad kvalitetsbedömning inte alltid fungerar optimalt när det gäller innehåll som till exempel termbaser. För det andra skiljer sig en AI-assisterad process från vanlig manuell översättning. Den inledande fasen inleds i ett lugnare tempo med förberedande arbete: att lägga grunden genom datainsamling och datastädning, uppbyggnad av översättningsminne, utformning av promptar samt utveckling av en skräddarsydd översättningsmotor. När detta väl är på plats kan arbetsflödet sedan producera snabbare och i större skala, där en grundlig utvärdering utgör det viktiga efterföljande steget.

En titt framåt

Projektets omfattning återspeglas i nästa fas: RIVM:s expertgranskning pågår nu och beräknas ta omkring två år. En del av detta arbete går ut på att finjustera AI-genererade synonymer: vissa av dem är visserligen språkligt korrekta men måste placeras om i hierarkin så att tillstånden kodas och räknas på rätt plats, vilket krävs för den statistiska klassificeringen.

För RIVM är ett viktigt resultat själva erfarenheten av projektet – en tydligare förståelse för i de sammanhang i vilka AI är till hjälp och i vilka sammanhang mänsklig expertis är oumbärlig, samt värdefulla insikter om hur man får de båda att fungera bäst tillsammans.

”Alla organisationer använder sig alltmer av AI, och ju fler projekt man genomför, desto mer lär man sig och desto mer erfarenhet får man. Detta är något man kan dela med sig av, och man lär sig också som organisation.”

Joost Wammes
Projektledare, RIVM
freelancer-avatars-centered 1

Vill du kombinera AI-skalbarhet med expertgranskning i ditt nästa projekt?