RIVM: Fremskyndelse af en opdatering af WHO's termbase med sikker AI og validering af menneskelige eksperter

Hvordan RIVM og Acolad oversatte WHO ICD-11 til nederlandsk ved hjælp af en dedikeret AI-maskine med gennemgang af menneskelige eksperter.


Om RIVM

RIVM (Rijksinstituut voor Volksgezondheid en Milieu), det nationale institut for folkesundhed og miljø, er et nederlandsk regeringsforskningsinstitut under ministeriet for sundhed, velfærd og sport. Det udfører forskning og yder uafhængig videnskabelig rådgivning inden for folkesundhed, sundhedspleje og miljøbeskyttelse. 

Som en del af dette arbejde vedligeholder RIVM den nederlanske version af internationale sundhedsklassifikationer, herunder WHO's internationale klassifikation af sygdomme (ICD) – et ansvar, der dækker Nederlandene, det hollandske Karibien og andre nederlandsktalende områder, hvor en ensartet klassifikation understøtter sammenlignelige sundhedsstatistikker. 

Udfordringen

Opdatering af en national sygdomsklassifikation til en global deadline

ICD er den globale standard for registrering og klassificering af sygdomme, helbredstilstande og dødsårsager. Den vedligeholdes af WHO og giver lande mulighed for at lave sundhedsstatistikker, der kan sammenlignes internationalt. WHO har fastsat udgangen af 2027 for, hvornår medlemslandene skal begynde at rapportere statistikker for dødelighed og sygelighed ved hjælp af den seneste revision, ICD-11.

Overgangen fra ICD-10 til ICD-11 er betydelig: ud over cirka 1,5 millioner ord med nyt og revideret indhold omfatter den strukturelle ændringer og nye kapitler. Tidligere revisioner blev oversat manuelt af specialister over lange perioder – en tilgang, der stadig fungerer, men er begrænset af eksperternes kapacitet. Med en fast deadline og et defineret budget måtte RIVM afbalancere hastighed og nøjagtighed, og nøjagtighed var vigtigst: Fordi ICD er en klassifikation, ikke almindelig tekst, kan en enkelt forkert term placere en diagnose under den forkerte kode og forvrænge den resulterende statistik.

En pålidelig nederlandsk version er vigtig ud over Nederlandene. Læger registrerer og korresponderer på nederlandsk, og RIVM er ansvarlig for klassificeringen på tværs af alle nederlandsktalende regioner – hvilket gør den til grundlaget, som sammenlignelige sundhedsdata afhænger af. 

doctor on tablet during clinical research study
square-60
Tilgangen

Udvikling af en dedikeret RIVM AI-maskine med menneskelig ekspertise

RIVM og Acolad betragtede ICD-11-opdateringen som en mulighed for at anvende AI i stor skala til et projekt med højt specialiseret terminologi og kombinere automatiseret oversættelse med gennemgang af menneskelige eksperter for at sikre nøjagtighed, konsistens og brugervenlighed.

En dedikeret, sikker AI-maskine. Vi udviklede en projektspecifik maskine, trænede i RIVM's eksisterende terminologi og kørte den i Acolads eget sikre miljø for at levere den sikkerhed, der kræves til den offentlige sektor.

En skalerbar arbejdsgang. Testet først på et udvalg af de termer, som RIVM forventede ville være de sværeste, før de blev anvendt på tværs af hele klassifikationen.

Gennemgang af eksperter. Lingvister med domænespecifik terminologiekspertise gennemgik AI-resultatet for sproglig kvalitet – et lag af sikkerhed, som automatiseret scoring ikke kunne give i sig selv. 

1,5 millioner ord

Oversat fra engelsk til nederlandsk

100.000 synonymer

AI-genereret til at understøtte søgning

2 år

Ekspertgennemgang i gang
Resultaterne

Det første nederlandske udkast leveret og et grundlag for ekspertgennemgang

Projektet leverede et komplet første udkast til den nederlandske version af den opdaterede klassifikation, gennemgået for sproglig kvalitet og klar til RIVM's ekspertvalidering.

RIVM havde brug for en solid basisoversættelse af god kvalitet – ikke en færdig artikel, men et pålideligt grundlag for den ekspertgennemgang, som en klassificering af denne vigtighed kræver. Det er, hvad projektet leverede. Instituttet er ærligt om, at det fulde billede af effektiviteten stadig er ufuldstændigt: Fordi kvalitet er altafgørende, gennemgår det resultatet grundigt, og den endelige nettobesparelse vil afhænge af dette arbejde.

Værdifuld AI-erfaring for begge organisationer

For både RIVM og Acolad markerede projektet et vigtigt skridt i retning af at anvende AI i terminologiarbejde i stor skala. Det gav et klart indblik i, hvordan sikker automatisering og validering af menneskelige eksperter kan arbejde sammen: AI bringer hastighed og skala, mens menneskelig ekspertise sikrer nøjagtighed, kontekst og klassificeringsintegritet.

To pointer stod klart. For det første viste menneskelig gennemgang sig at være uvurderlig for et så krævende projekt, da automatiseret kvalitetsevaluering ikke altid fungerer bedst med indhold som termbaser. For det andet opfører en AI-assisteret proces sig anderledes end traditionel manuel oversættelse. Den indledende fase starter langsommere på grund af arbejdet før produktionen: opbygning af fundament med dataindsamling og -oprydning, opbygning af oversættelseshukommelse, promptudvikling og en tilpasset oversættelsesmaskine. Når det er på plads, produceres arbejdsgangen hurtigere og i stor skala, med en grundig evaluering som det næste afgørende skridt.

Et kig ind i krystalkuglen

Projektets skala afspejles i den næste fase: RIVM's ekspertgennemgang er nu i gang og forventes at løbe i omkring to år. En del af dette arbejde er at forfine de AI-genererede synonymer: nogle skal omplaceres i hierarkiet, selvom de er sprogligt korrekte, så betingelserne kodes og tælles på det rigtige sted, som en statistisk klassifikation kræver.

For RIVM er et vigtigt resultat erfaringen af selve projektet – en klarere fornemmelse for, hvor AI hjælper, og hvor menneskelig ekspertise er uundværlig, og værdifuld indsigt i, hvordan man får begge dele til at arbejde bedst muligt sammen.

"Alle organisationer bruger mere AI, og jo flere projekter man laver, desto mere lærer man, og desto mere erfaring får man. Det er noget, man kan dele, og man lærer også af det som institution."

Joost Wammes
Projektleder, RIVM
freelancer-avatars-centered 1

Vil du kombinere AI-skalering med gennemgang af menneskelige eksperter i dit næste projekt?