Données synthétiques pour l’entraînement de l’IA : gains réels et risque d’effondrement du modèle

Presque tous les projets d’IA se heurtent à un moment donné au même mur : des données manquantes. Il manque des exemples du cas rare qui compte le plus. Il y a un manque d'étiquettes, car l'étiquetage est coûteux et lent. Il y a un manque de volume pour la classe sous-représentée sur laquelle le modèle se trompe précisément parce qu’il n’en a pas vu assez. Les données existent en théorie, mais pas dans la quantité et la qualité requises par le problème.

Les données synthétiques constituent un moyen de pallier cette pénurie. Au lieu d’attendre que le monde produise davantage d’exemples, vous générez des exemples qui suivent la structure des exemples réels. L’idée est séduisante et, dans de nombreux cas, elle fonctionne. Mais cela comporte un risque spécifique, et les dirigeants de l’IA doivent comprendre ce risque avant de parier sur les performances du modèle.

Pourquoi les données manquent et comment les synthétiques aident

Trois pénuries apparaissent fréquemment.

Le premier est le volume. Les modèles modernes nécessitent de nombreux exemples, et tous les problèmes n’ont pas une longue histoire. Un nouveau produit, un petit marché, un langage spécifique, tout cela commence avec peu de données.

La seconde est l’étiquette. Vous avez même les données, mais elles ne sont pas écrites. Savoir quelles images contiennent un défaut, quels textes sont des plaintes, quelles transactions sont une fraude, dépend d'un travail humain coûteux. Les données synthétiques peuvent naître déjà étiquetées, car vous savez ce qu’elles ont généré.

Le troisième est l’équilibre. Dans de nombreux problèmes, la classe qui compte le plus est la plus rare. La fraude est rare, les pannes d'équipement sont rares, les maladies spécifiques sont rares. Le modèle apprend mal ce qu'il voit peu. Générer des exemples synthétiques de la classe rare permet d'équilibrer la formation.

Les données synthétiques attaquent les trois. Vous générez du volume, générez avec une étiquette connue et générez plus d'exemples là où vous en avez besoin. Dans des domaines tels que la vision par ordinateur, il est courant d'entraîner une partie du modèle avec des scènes générées artificiellement, contrôlant l'éclairage, l'angle et la variation d'une manière que le monde réel n'offre pas gratuitement. Les données sont artificielles, mais ce que le modèle en apprend peut être transféré à la réalité.

Les gains qui justifient le pari

Quand cela fonctionne, le retour apparaît sur des fronts concrets.

Vous réduisez le temps de démarrage. Au lieu d’attendre des mois pour accumuler des données réelles, commencez à vous entraîner avec une base synthétique et améliorez-vous au fur et à mesure que les données réelles arrivent.

Vous couvrez les cas rares. Le scénario qui n’apparaît presque jamais, mais qui coûte cher lorsqu’il apparaît, peut être généré volontairement, en volume, afin que le modèle puisse apprendre à le reconnaître.

Vous contournez la barrière de la vie privée. Là où les données réelles sont trop sensibles pour alimenter la formation, une version synthétique ouvre la voie, un sujet que j'aborde dans les données synthétiques comme outil de confidentialité.

Vous prenez le contrôle de ce que le modèle voit. Au lieu d’accepter les biais des données collectées, vous pouvez, en théorie, générer un ensemble plus équilibré et plus représentatif de ce que vous souhaitez que le modèle apprenne.

Ce dernier avantage, le contrôle, est aussi le piège. Parce que contrôler ce que le modèle voit n’est utile que si vous le contrôlez dans la bonne direction.

Le risque central : l’effondrement du modèle

Il existe un phénomène que tout leader en IA devrait connaître par son nom : l’effondrement du modèle. Cela se produit lorsque les modèles commencent à être entraînés, cycle après cycle, avec des données générées par d'autres modèles, au lieu de données réelles.

La logique du problème est simple. Chaque générateur est une approximation imparfaite de la réalité. Il capture bien le centre de la distribution, les cas courants, et capture mal les bords, les cas rares et la véritable variété des données. Lorsque vous entraînez un nouveau modèle avec la sortie d'un précédent, il apprend cette version déjà appauvrie. Générez à nouveau, entraînez-vous à nouveau et à chaque cycle, la diversité diminue. Les bords disparaissent en premier. Au fil du temps, le modèle converge vers une version étroite et confiante de lui-même, de plus en plus éloignée de la richesse du monde réel.

Le symptôme est insidieux car, à première vue, les mesures peuvent même paraître bonnes. Le modèle sort de l'ordinaire avec aisance. Mais il perd sa queue, perd les cas rares, perd la capacité de faire face à l'inattendu. Et c’est généralement le cas rare qui compte exactement dans la production.

Ce risque ne nécessite pas qu’un scénario extrême « données synthétiques uniquement » se manifeste. Il suffit que le synthétique domine la formation, ou qu’il soit généré par un modèle ayant hérité des défauts d’un autre, pour que la dégradation commence à s’accumuler.

Biais hérité : le synthétique magnifie ce qu'il reçoit

Même avant l’effondrement, il existe un problème plus immédiat : les préjugés. Un générateur apprend à partir de données réelles. Si les données réelles sont biaisées, et presque toutes les données réelles le sont, le générateur apprend ce biais et le reproduit dans ce qu'il crée.

Pire : cela peut s’amplifier. Si une base sous-représente un groupe, le modèle générateur a tendance à le représenter encore moins bien, car il a vu moins d'exemples pour en connaître la variation. Les données synthétiques qui en résultent semblent neutres, semblent « propres », mais portent le même déséquilibre que l'original, avec désormais l'apparence de quelque chose de nouveau et de contrôlé.

C’est un risque bien caché. Les données synthétiques semblent objectives. Personne n’y voit le CPF d’une personne réelle, donc le faux sentiment est que le problème des préjugés est derrière nous. Cela n'est pas resté. Entraîner l’IA avec des données synthétiques biaisées, c’est apprendre au modèle à commettre systématiquement des erreurs, avec l’avantage pervers de paraître plus propre qu’il ne l’est.

Comment l'utiliser sans faire d'erreur

La règle que je répète à l’équipe est que les données synthétiques complètent le réel, elles ne le remplacent pas en conclusion. Quelques pratiques qui soutiennent cela.

Gardez les données réelles dans la boucle. Utilisez le synthétique pour augmenter et équilibrer l’entraînement, mais toujours valider et calibrer par rapport aux données réelles. Le réel est l’ancre qui empêche le modèle de dériver vers sa propre imitation.

Mélangez avec des proportions conscientes. Traiter la fraction de données synthétiques en formation comme un paramètre de décision, et non comme un détail, permet d’éviter qu’elle ne domine sans que personne n’ait décidé.

Évaluez dans le réel, pas dans le synthétique. La performance qui compte est celle qui apparaît lorsque le modèle est confronté à de véritables données de production. De bonnes mesures dans un ensemble synthétique pourraient simplement confirmer le propre biais du générateur.

Attention à la queue. Regardez spécifiquement les cas rares et les groupes minoritaires. C’est là que l’effondrement et les biais frappent en premier, et c’est là que la surveillance doit être la plus prudente. La même prudence concernant le fait de ne pas faire aveuglément confiance aux résultats du modèle s'applique au code, comme je l'explique dans faire confiance au code généré par l'IA.

Documentez l’origine des données. Savoir quelle partie de la formation était réelle et laquelle était synthétique, et par quel générateur, est ce qui vous permet d'enquêter lorsque quelque chose ne va pas. Sans traçabilité, vous ne pouvez pas distinguer un problème de données d'un problème de modèle.

La décision de qui dirige

Les données synthétiques pour entraîner l’IA constituent un levier légitime et, dans bien des cas, font la différence entre un projet viable et un projet freiné par un manque de données. Mais c’est un levier qui nécessite une main ferme.

La question que le leader doit se poser n'est pas « pouvons-nous générer des données ? », mais plutôt « est-ce que nous validons que ces données améliorent le modèle dans le monde réel, sans hériter de biais ni appauvrir la diversité ? Si la réponse vient avec des mesures et des données réelles dans la boucle, le synthétique est un allié. Si elle arrive avec enthousiasme et sans preuves, c’est une dette qui arrive à échéance dans la production, au pire moment possible.

Commencez à traiter les données synthétiques dans le cadre de l’expérience, et non comme un raccourci. Définissez l’hypothèse, mesurez-la par rapport au réel et décidez ensuite de l’élargir. Le modèle que vous avez mis en production contient tout ce que vous lui avez appris, y compris ce que vous n'aviez pas réalisé que vous lui aviez enseigné.