Pour de nombreuses équipes spécialisées dans l’IA et dans l'apprentissage automatique, le coût de l'annotation des données est rarement un simple poste de dépense. Il est lié à la qualité, à la couverture linguistique et à la rapidité avec laquelle vous devez agir. La décision de développer une solution en interne ou encore de faire appel à un fournisseur ne se résume pas toujours à choisir l'option la moins chère sur le papier. Le coût est un facteur important, mais il est également essentiel que votre modèle reste performant à mesure que votre projet prend de l’ampleur.
Que se passe-t-il lorsque le volume d'annotation explose? En quoi les contrôles de qualité ont-ils un impact sur le coût réel d'un ensemble de données? À partir de quel moment la couverture multilingue rend-elle un modèle interne trop complexe à gérer? Dans cet article, découvrez quels sont les facteurs de coût des solutions en interne et en externe pour l'annotation des données, et voyez comment choisir le modèle le mieux adapté à votre feuille de route en matière d'IA.
Les solutions d'annotation des données en interne tendent à être moins coûteuses lorsque les volumes sont limités et stables, et si elles s’appliquent à une seule langue et à un domaine restreint. Les solutions d'annotation en externe deviennent plus rentables lorsque le volume augmente, que les langues se multiplient ou que les critères de qualité se resserrent. Le seuil de rentabilité dépend rarement du taux horaire. Il est plutôt lié au temps de mise en route, à la couverture multilingue et au coût de l'assurance qualité à grande échelle.
Le coût réel de l'annotation des données en interne
L'annotation des données en interne semble simple sur une ligne budgétaire. C'est rarement le cas. Son coût total est la somme de cinq catégories, qui s'additionnent au fur et à mesure que le projet prend de l'ampleur.
-
Main-d'œuvre : le recrutement, les salaires, la formation et la fidélisation d'annotateurs possédant les compétences linguistiques et les connaissances du domaine requises.
-
Outils : les licences pour les plateformes d’annotation, les logiciels d’assurance qualité et l’infrastructure nécessaire pour héberger et gérer les versions des ensembles de données.
-
Assurance qualité : les niveaux de révision, les ensembles de référence, la vérification de la cohérence entre les divers annotateurs, et le personnel chargé de ces tâches.
-
Mise en route : le temps et la supervision nécessaires pour permettre aux nouveaux annotateurs d’atteindre un niveau de précision acceptable sur un projet particulier.
-
Frais généraux de gestion : les chefs de projet, les responsables de l’assurance qualité et les heures d’ingénierie consacrées à la maintenance des flux de travail.
La plupart des modèles de coûts internes prennent en compte les deux premières catégories, et tendent à sous-estimer les trois dernières. Selon IBM, la préparation des données peut absorber jusqu'à 80 % des ressources d'un projet d'IA. Ce chiffre apparaît rarement dans les budgets initiaux, car il est en grande partie absorbé par les équipes d’ingénierie et d’exploitation déjà en poste.
À quel moment l’externalisation de l'annotation change-t-elle la donne?
L'externalisation transforme la plupart de ces catégories de coûts fixes en catégories variables. Le fournisseur prend en charge le recrutement, la formation, les outils et l'infrastructure d’assurance de la qualité. Le client paie pour le résultat, et non pour la structure opérationnelle qui le sous-tend. Trois changements structurels sont importants pour l’approvisionnement.
-
Les coûts fixes sont remplacés par des coûts variables. Vous payez pour le volume que vous traitez, et non pour la capacité inutilisée entre deux projets.
-
Le facteur de mise en route est absorbé par le fournisseur. Une main-d’œuvre vérifiée est déjà formée aux flux de travail et aux outils d’assurance qualité, ce qui réduit le temps nécessaire pour atteindre un bon niveau de précision.
-
La conformité et la sécurité sont intégrées au produit. Les certifications ISO, les contrôles relatifs aux règles sur la protection des données (notamment au RGPD en Europe) et les pistes d’audit sont prévus dans le contrat au lieu d’être mis en place en interne.
C’est également cet aspect qui devient un signal pour les acheteurs : 97 % des responsables des données déclarent en effet qu’une mauvaise qualité des données mine les initiatives en matière d’IA (CDO Insights). Les coûts associés à un défaut de qualité, que ce soit au réentraînement d'un modèle à partir de données nettoyées, au report de la mise en production ou encore à la correction d'un problème de biais, dépassent presque toujours le coût de l’achat des services d'assurance qualité auprès d'un partenaire qui l'applique déjà à grande échelle.
Pourquoi l’annotation multilingue montre-t-elle les limites du modèle interne?
C'est là que l'équation des coûts bascule de la manière la plus évidente. Un pipeline d'annotation des données peut être construit et exécuté en interne avec rigueur si une seule langue est en jeu. Cela est rarement possible dans le cas où il y a plusieurs langues.
Chaque langue nécessite son propre bassin d’annotateurs natifs, ses propres réviseurs d’assurance qualité et ses propres ensembles de référence calibrés en fonction des normes linguistiques locales. Recruter, former et fidéliser une telle main-d'œuvre dans dix ou vingt langues n’est pas un problème d'échelle. C’est un problème structurel. La plupart des équipes internes s'arrêtent à trois ou quatre langues, puis elles commencent à externaliser le reste; dans ce cas, les coûts unitaires sont souvent plus élevés, étant donné que le volume par langue est trop faible pour permettre une bonne négociation.
Les fournisseurs spécialisés opèrent à une tout autre échelle. Lorsqu'un fournisseur a l’habitude de fournir des annotations de données dans des centaines de langues, en combinant une main-d'œuvre multilingue vérifiée avec des flux de travail assistés par l'IA et une validation humaine, le coût par langue diminue, car la main-d'œuvre, les outils et la couche d'assurance qualité sont déjà en place.
Si votre feuille de route en matière d'IA prévoit l’introduction de plus de deux langues en douze mois, la variable multilingue devrait figurer en haut de votre matrice de décision, et non en bas.
En interne ou en externe : une matrice de décision
Utilisez la matrice ci-dessous pour évaluer votre projet en fonction de cinq variables. La colonne « Recommandation » désigne le modèle qui résiste le mieux à mesure que la variable s'intensifie.
| Variable | Faible intensité | Haute intensité | Recommandation |
| Volume d'annotation | Stable, prévisible | Avec des pointes, évoluant rapidement | Externaliser quand le seuil de pointe est dépassé |
| Couverture linguistique | 1 à 2 langues | 3 langues et plus | Externaliser dès qu’il y a plusieurs langues |
| Spécificité du domaine | Usage général | Réglementé ou technique | Hybride : en interne pour le contexte, en externe pour adapter à l’échelle |
| Niveau de qualité | Tolérance à la variation | Conformité aux normes ou en production | Externaliser auprès d'un fournisseur disposant de couches d'assurance qualité documentées |
| Temps nécessaire pour obtenir le premier ensemble de données utilisable | Acceptable en quelques mois | Nécessaire en quelques semaines | Externaliser pour contourner la mise en route |
Si trois variables ou plus penchent vers une intensité élevée, il est peu probable que le modèle interne reste avantageux en matière de coûts. Une étude de Deloitte suggère que les principaux adopteurs de l'IA développent et terminent leurs projets jusqu'à 40 % plus rapidement, et que cet avantage en matière de rapidité repose presque toujours sur des pipelines de données prêtes à l’emploi, qu'il s’agisse de solutions construites en interne, avec un investissement important, ou fournies par des partenaires spécialisés.
Principaux enseignements
-
Les solutions d'annotation des données en interne sont plus rentables lorsque les volumes sont limités et stables, et si elles s’appliquent à une seule langue et à un domaine restreint.
-
Les solutions d'annotation en externe deviennent plus rentables lorsque le volume augmente, que les langues se multiplient ou que les exigences de qualité se resserrent.
-
La couverture multilingue est la variable qui fait échouer le plus rapidement les modèles internes, car des coûts de main-d'œuvre, d'assurance qualité et d'outils sont associés à chaque langue.
-
La bonne question n’est pas quel modèle est le moins cher aujourd’hui, mais bien quel modèle saura conserver sa structure de coûts à mesure que le projet prendra de l’ampleur.
.jpg)
.webp)
.jpg)
%20(1).jpg)
