Données synthétiques : les risques et les limites que personne ne met sur la diapositive des ventes

Les données synthétiques sont devenues la réponse standard à deux problèmes réels : la confidentialité et le manque de données. La promesse est alléchante, s’entraîner sans exposer personne, tester sans copier la production, générer autant de masse qu’on le souhaite. Comme toute promesse trop belle, la partie intéressante est ce que le fournisseur ne met pas sur la diapositive.

Les données synthétiques ne sont pas des données réelles dotées d’une confidentialité intégrée. C'est une imitation statistique, et l'imitation a une limite. Celui qui considère le synthétique comme un parfait substitut au réel échange un risque visible (fuite de données personnelles) contre un risque invisible (prendre des décisions basées sur un monde qui n’existe pas). La seconde est pire précisément parce qu’elle n’apparaît que tardivement.

Le risque de mal apprendre le monde

Un modèle apprend le monde que vous lui montrez. Si le monde est synthétique, il apprend la version synthétique, avec tous les raccourcis et simplifications intégrés au générateur. Le problème est que ces raccourcis ne sont pas étiquetés.

Lorsque les données synthétiques capturent bien la structure de la réalité, c’est parfait. Lorsqu'il capture mal, le modèle devient confiant quant aux modèles qui n'existent que dans la simulation. Il a raison dans le laboratoire et tort dans le monde, et la différence entre les deux environnements est exactement la partie que le générateur n'a pas su reproduire.

Le cas classique est l'événement rare. Fraude, échec critique, maladie inhabituelle, ce qui compte est souvent l'exception et non la moyenne. Les générateurs sont bons pour reproduire le comportement typique et mauvais pour reproduire la queue. Vous générez un million de transactions synthétiques et enseignez involontairement au modèle que la fraude ne se produit presque pas comme elle se produit réellement.

Le biais ne disparaît pas dans la copie, il se multiplie

Il existe un fantasme confortable selon lequel la génération de données synthétiques « nettoie » les données. Ne nettoie pas. Le générateur apprend à partir des données réelles, et tout ce qui était tordu dans les données réelles a tendance à apparaître dans les données synthétiques, parfois amplifié.

Si la base de données originale sous-représente un groupe, les données synthétiques le sous-représenteront également, avec l’avantage supplémentaire de paraître neutres. Le biais reçoit une nouvelle couche de peinture : il se trouve désormais dans un ensemble de données « artificielles », ce qui donne un faux sentiment d'impartialité. L’injustice continue, il est devenu encore plus difficile de la pointer du doigt.

Pour ceux qui travaillent sur des décisions qui affectent les gens, le crédit, la sélection, la priorisation du service public, c'est grave. LGPD Compliance prend soin de ne pas exposer l'individu, mais ne garantit pas que le modèle formé ci-dessus soit équitable. Ce sont deux problèmes différents, et résoudre le premier ne résout pas le second.

La ré-identification que le synthétique devrait éviter

L’argument de la protection de la vie privée en faveur des données synthétiques est fort : comme il n’y a pas de personne réelle, il n’y a personne à ré-identifier. Théoriquement. En pratique, cela dépend de la manière dont les données ont été générées.

Un générateur qui décore à outrance le décor original peut reproduire des extraits réels presque intacts, notamment les cas extrêmes et uniques, précisément ceux qui sont les plus faciles à réidentifier. Le dossier du patient présentant une combinaison rare de conditions peut réapparaître dans le synthétique presque de la même manière. Vous pensiez l'avoir anonymisé et, sans vous en rendre compte, vous avez copié ce que vous aviez le plus besoin de cacher.

Cela signifie que les données synthétiques ne sont pas privées par définition. Elle est privée lorsqu’elle a été soigneusement générée et mesurée judicieusement. Sans cette mesure, « c’est synthétique, donc c’est sûr » est une foi et non une garantie. Et la foi ne passe pas par l’audition.

Effondrement du modèle : quand l'IA se nourrit de sa propre réflexion

Il existe un risque plus récent et plus discret lorsque les données synthétiques deviennent la principale source de formation : le modèle commence à apprendre des résultats du modèle, et non du monde. A chaque génération, la diversité diminue un peu, les bords se perdent, la moyenne domine.

C'est comme faire une photocopie d'une photocopie. Le premier est génial. Le vingtième, le texte est encore lisible, mais le ton a disparu. Les systèmes qui se nourrissent de données synthétiques sans injection suffisante de réalité ont tendance à s’appauvrir avec le temps, devenant de plus en plus semblables à eux-mêmes et de moins en moins à ce qu’ils devraient modéliser.

L’antidote n’est pas d’abandonner le synthétique, c’est de garder le réel au courant. Les dés synthétiques fonctionnent mieux comme complément et amplification, pas comme régime exclusif. Quiconque coupe les liens avec le monde réel perd peu à peu la capacité de le représenter.

Où les synthétiques fonctionnent et où ils ne fonctionnent pas

Cela vaut la peine d'être précis, car les synthétiques ne sont ni bons ni mauvais dans l'abstrait, ils conviennent ou non à chaque usage. Cela rapporte beaucoup en tests et en QA : générer une masse réaliste pour remplir un environnement d'approbation, exercer des flux, trouver des bugs, sans faire glisser les données de production. Ici, le risque est faible, car l’objectif est d’exercer le système et non de prendre des décisions concernant les personnes.

Cela s'avère payant en termes de développement et de démonstration, où vous avez besoin de quelque chose de plausible et ne pouvez pas utiliser la réalité. Il est utile d'augmenter les données lorsqu'il n'y a pas d'exemples d'une situation spécifique et que vous savez bien comment elle se comporte.

Là où cela coûte cher, c'est dans la décision à haut risque entraînée presque uniquement sur le synthétique, et dans la validation finale. Un modèle qui entre en production et décide des besoins des personnes, à un moment donné, doit faire face à des données réelles. Le synthétique accélère le chemin, il ne remplace pas l'arrivée. Ignorer la validation réelle pour gagner du temps revient à échanger le coût d'aujourd'hui contre l'incident de demain.

La question qui sépare l'usage mature de l'illusion

La décision n’est pas « d’utiliser ou non des données synthétiques », elle est « pour quoi, avec quel générateur et validée par rapport à quoi ». Quiconque répond à ces trois questions utilise bien l’outil. Quiconque passe directement à « c’est synthétique, donc c’est possible » confie son jugement à une diapositive marketing.

Les données synthétiques sont un outil puissant en matière de confidentialité, de rapidité et d’évolutivité. Comme tout outil puissant, il échoue de manière convaincante : l’erreur arrive avec vengeance, avec volume, avec apparence de rigueur. C'est pourquoi la limite la plus importante n'est pas technique, c'est une limite de posture : traiter le synthétique avec la même saine méfiance que celle que l'on accorderait à toute source prétendant représenter la réalité sans être la réalité.

En fin de compte, la synthèse n’élimine pas le besoin de comprendre vos données. Il l'augmente. Seuls ceux qui comprennent profondément l’original savent générer une bonne imitation, et seuls ceux qui continuent à mesurer la distance entre eux et le monde savent faire confiance à l’imitation. Quiconque perd de vue cette distance n’a pas automatisé la vie privée, il a automatisé l’erreur.

Si vous évaluez des données synthétiques pour un produit d'IA ou un projet contenant des données sensibles et que vous souhaitez séparer le gain réel du risque caché, cela vaut la peine d'en parler. J'ai d'autres textes sur le blog sur la gouvernance des données, la confidentialité et l'adoption responsable de l'IA.