什么是合成数据以及为什么它对领导者很重要

我在产品和工程会议上经常听到一句话：“我们有数据，但我们无法使用它。”有关于无法离开受保护环境的客户的信息。这是基于这样一个事实：由于合同的原因，你无法喂养模型。有一种罕见的场景，历史上几乎没有出现过。结果是团队原地踏步，等待需要时间或永远不会到来的发布。

合成数据正是攻击这一点。您不是使用一个人的真实记录，而是生成一个行为类似于真实记录但又不是真实记录的人工记录。对于那些引领数据、人工智能或技术的人来说，在将其视为灵丹妙药或时尚之前，有必要充分理解这个概念。

合成数据到底是什么

合成数据是人为创建的信息，用于再现真实数据集的统计特性。中心思想不是复制记录，而是复制行为：分布、变量之间的相关性、频率模式、常见情况和边缘情况。

考虑金融交易基础。真实数据有客户的CPF、价值、日期、成立时间。该基础的合成版本包含不存在的客户、从未发生过的交易，但总的来说，它们的分布与真实集合类似：平均门票匹配，出现季节性，欺诈比例保持相似。

有一系列技术。从更简单的角度来看，您可以按规则生成数据：定义范围、格式和概率，并生成遵守这些规则的记录。在更复杂的方面，您在真实基础上训练生成模型，并要求它生成遵循相同学习结构的新样本。在一个极端和另一个极端之间有几种方法，每种方法都有其成本和保真度。

管理者感兴趣的不是哪个算法在底层。这是它提供的属性：承载模式而不承载人的可用数据。

最明显的区别是起源。观察到真实的数据：有人点击、购买、填写表格、得到服务。合成数据是通过尝试模仿这种观察的过程生成的。

这产生了对决策至关重要的三个实际差异。

首先是与可识别的人的关系。真实的数据，即使是“匿名的”，在与其他来源交叉时通常仍然允许重新识别。结构良好的合成数据不对应于任何特定个人，这改变了与法律、合规和数据保护机构的对话。

二是控制。有了真实的数据，你就会受到世界所产生的东西的影响：如果一个场景很罕见，那么它的基础也是罕见的。通过合成数据，您可以要求特定案例的更多示例，平衡代表性不足的类别，或模拟尚未发生的情况。

第三是忠诚，这里就是关怀。根据定义，真实数据是真实的，它确实发生了。综合数据是近似值。它的好坏取决于生成它的过程，并且取决于它能够捕获的模式。生成模型没有看到的东西，它不会重现。他看到的东西是歪曲的，他再现的也是歪曲的。

两项运动将合成数据从边缘推到了技术议程的中心。

首先是隐私。由于巴西的 LGPD 和国外的类似制度，处理个人数据的成本已经上升。从生产基地到测试环境的每一个副本都是一次曝光。数据科学家对敏感信息的每次访问都存在合理的风险。合成数据提供了一种无需来回移动真实个人数据的工作方式，我在《合成数据作为隐私工具》中深入介绍了这种用法。

二是稀缺性。人工智能模型需要大量数据，并且并不总是有足够的数据量、正确的质量和标签来解决您想要解决的问题。受监管的部门、罕见的案例、特定的语言和背景，所有这些都与缺乏良好数据有关。合成数据有助于填补这一空白，在信任之前需要了解一些注意事项。

对于公共部门来说，这种结合更加敏感。各机构处理健康、援助、安全和税务数据，所有这些数据都受到高度保护，同时他们需要创新、测试系统和训练模型。综合数据开辟了实验空间，而不会使每个试点项目都面临公民信息泄露的风险。

值得将用途分开，因为它们具有不同的成熟度和风险。

训练和改进模型是最受关注的用途。当真实或标记的示例丢失时，合成数据可以补充基础数据并可以提高性能。这也是一个特定的风险所在，即模型从自身的模仿和退化中学习。

测试系统并为 QA 创造收入可能是最被低估的用途和最快的回报。您无需复制生产基地以供批准，而是生成一个实际的质量，可以执行相同的代码路径，而不会暴露任何一个真正的客户。

模拟场景是最具战略意义的用途。您可以产生需求激增、新的欺诈、系统故障，并在情况实际发生之前查看您的产品如何反应。

保护隐私贯穿上述所有内容。它不是一个孤立的用例，而是当您在不需要个人数据的步骤中用合成数据替换真实数据时获得的财产。

合成数据并不神奇，也不能免除治理。在采用之前，请与团队协调三件事。

定义生成目标。模型训练、系统测试和业务分析的数据有不同的保真度要求。为一个目的而创造良好并不能保证它能服务于另一个目的。

要求根据现实进行验证。没有与真实基础进行比较的合成是信仰，而不是数据。团队需要衡量合成分布与真实分布的接近程度以及它从原始分布中泄漏了多少信息。

将隐私视为一项要求，而不是奖金。生成不良的数据可以几乎完整地再现真实记录。隐私承诺只有经过检验才有效。

综合数据是一个强大的工具，它具有方法：明确的目标、认真的验证和周围的治理。这样一来，它们就不再是一种时尚，而是成为推动目前因缺乏可用数据而被阻止的项目的真正杠杆。

如果您领导的团队面临数据限制，那么值得从小处开始：选择 QA 或测试用例，生成综合质量并根据您的预期衡量结果。从第一轮中学到的东西比任何供应商的演讲都更有价值。