每当一项技术承诺以更少的人力做更多的事情时，放松控制的诱惑就会出现。对于生成式 UI，这种诱惑是危险的。那些决定产品的人的逻辑往往是：如果人工智能组装了屏幕，那么留给团队照顾的事情就更少了。相反的情况会发生。
当你让模型选择如何呈现信息时，你就转移了以前属于人的决定。人们对屏幕上出现的内容进行审查、提出质疑并承担责任。当这个决定变得自动时，它并不会消失。它只是变得不那么明显，而变得不那么明显的东西需要更多的警惕，而不是更少。
本文介绍了人工智能生成的界面的具体风险以及如何治理它们。这不是反对技术的宣言。这提醒我们，负责任的领导力意味着在事件发生之前看到隐藏的成本。
界面可能看起来正确，也可能错误
生成式用户界面最潜在的风险是美学。语言模型经过优化可以产生可信的结果，而可信的结果恰恰是欺骗性的。生成的屏幕可以具有精心选择的图形、标记良好的轴、一致的颜色，并且仍然在撒谎。
想象一下一个仪表板，它用完美的条形图显示收入增长。从视觉上看，一切都让人充满信心。但是，如果底层查询聚合了错误的数据、过滤了错误的日期范围或混合的单位，则结果就是令人信服的错误信息。界面越好，错误就越有说服力。
这就是生成式 UI 与错误报告的区别点。在已修复的报告中，错误是稳定且可检测的：它总是出现，有人注意到它，有人纠正它。在按需生成的界面中，每个屏幕都是唯一的，并且错误可以存在于以前没有人见过、也没有人会再次看到的组合中，而不留下任何痕迹。
这里的治理始于一条不可协商的规则：人工智能选择表现形式，而不是数字。数据需要来自可验证的来源，并具有与系统其他部分相同的业务逻辑。但这还不够。界面需要公开数据的来源以及数据的聚合方式，以便用户在出现奇怪的情况时产生怀疑。对漂亮屏幕的盲目信任正是您想要避免的。
当人工智能即兴发挥时，可访问性和一致性就会崩溃
有能力的团队投入数年时间构建[设计系统0：对比模式、键盘导航、屏幕阅读器阅读、一致的间距、可预测的层次结构。这项工作的存在是为了让每个用户（包括残障人士）都可以使用该产品。
生成式用户界面可以悄悄地摧毁这种传统。如果模型可以自由地自行生成标记或样式，它将生成从未经过[可访问性1]审查的组合。这里的对比度不足，那里的焦点顺序被破坏，那里的元素没有适当的标签。所有这些都不会出现在快速演示中，并且所有这些都排除了真人。
一致性也面临着同样的问题。产品的部分价值在于其可预测性：用户学习一种模式并在整个界面中重复使用它。如果每个生成的屏幕都发明了自己的显示方式，那么学习曲线就会随着每次交互而重新开始。该产品既聪明又令人迷惑。
防御措施与最初使生成式 UI 可行的围栏相同：人工智能由经过批准的组件的封闭目录组成，并且从不生成免费标记。每个组件都已经解决了[可访问性2]和一致性问题。治理包括确保这道栅栏没有漏洞，并且没有人在急于交付的过程中破例，让模型溜出设计系统。
谁可以在新组装的屏幕上看到什么
即使在静态接口上，访问控制也很困难。在生成的接口中，它变成了一个不同顺序的问题。在固定屏幕上，您提前知道它显示什么数据，并且可以将权限与其绑定。在现场组装的屏幕上，构图只有在订单到达后才存在，并且需要实时回答“这个人能看到这个”的问题，这可能是前所未有的组合。
风险是直接的。用户请求切割数据，人工智能会设置一个面板，并在该面板中显示该配置文件不应访问的信息。该模型没有权限层次结构的原生概念。如果您相信它会尊重访问边界，那么数据迟早会泄漏。
黄金法则是不要将授权委托给模型。访问控制需要存在于数据层，由您的系统运行，并采用与管理整个产品相同的策略。 AI可能会要求进行查询，但查询是在真实用户的身份和权限下运行的。如果他无权获得该数据，则无论人工智能在界面中编写什么内容，查询都不会返回数据。
这迫使我们考虑数据层面的授权，而不是屏幕。那些仍然将权限与页面绑定的人会发现这种策略无法在动态界面中生存。这是在采用生成式 UI 之前而不是之后的架构工作。
可审计性：记录生成的内容以及基于什么
当决策自动化时，解释决策发生原因的能力就不再是一种奢侈，而是一种义务。如果经理看着人工智能生成的屏幕做出业务决策，而该屏幕是错误的，那么有人会询问出现了什么、何时以及基于什么数据。没有注册，你就没有回应，而缺乏回应是一个责任问题，而不仅仅是一个技术问题。
生成式 UI 中的可审计性意味着记录整个链：用户的请求、模型对其的解释、执行的查询、返回的数据以及呈现的最终组合。仅记录“已生成屏幕”是不够的。您需要能够重建那个人当时看到的确切屏幕。
该记录具有三个功能。责任：允许您回答有关所显示内容的内部和外部问题。改进：分析人工智能随着时间的推移生成的内容，您会发现它在哪里犯了错误以及目录需要在哪里增长。安全性：异常生成模式可能表明滥用或试图提取不适当的数据。
值得让这个问题更接近关于企业环境中人工智能代理的争论，在企业环境中，每个自主行为的可追溯性同样重要。一个不留痕迹地做出决定的系统，一旦出了问题，就无人能够保卫。
LGPD 和火线中的敏感数据
在这里，这个问题不再是一个好的做法，而是成为一项法律义务。 [LGPD4] 规定了明确的原则：目的、必要性、最小化。生成式 UI 给它们带来了压力，因为它为用户提供了一种灵活的路径来请求无人明确预测的数据组合。
最明显的风险是以意想不到的方式暴露敏感个人数据。有人请求看似无辜的交叉点，生成的屏幕最终会根据推断显示有关个人的受保护信息。默认情况下，人工智能并不知道某些路口是禁止通行的。这种感觉需要被编码到系统的规则中，而不是希望模型能够表现出来。
还有模型的数据流量问题。如果解释请求涉及将个人数据发送到外部模型，您需要确切地知道结果是什么、去向何处以及法律依据是什么。理想情况下，该模型根据意图和结构运行，并且真实的个人数据仅在其受控范围内进行操作，而不会在不必要的情况下传播到外部。任何以应有的严肃态度对待这个主题的人都会在有关[实践中的数据保护和 LGPD] 的讨论中找到更多背景信息。
生成式 UI 中的隐私治理需要预期：映射系统可以接触哪些数据、禁止哪些交叉点、每次使用的法律依据是什么，以及持有者如何对动态屏幕上显示的信息行使权利。该模型无法单独解决所有这些问题。
治理使自由成为可能
看起来我似乎主张封锁一切。不是那样的。我认为，生成式 UI 的自由只有在严格控制的基础上才能可持续。目录围栏、表示和数据之间的分离、数据层的授权、全面的审计、隐私规则：这些控制并不是创新的对立面。它们使我们能够在不花太多钱的情况下进行创新。
我想说的是姿势，而不仅仅是技术。将表示决策转移到模型是一个合法且有效的选择，只要它意识到是什么推动了它。无论谁决定产品和架构，都需要了解这种转移的本质：将权力委托给一个不承担任何责任的系统。责任仍然是你的。
如果您正在评估生成式 UI，请在开始之前问一个难题：我们是否拥有足够成熟的治理来实现自主决定的表示层？如果答案是否定的，那么工作就从这里开始。值得重新审视[实践中的生成式 UI 6] 中的实际方面，以平衡同桌的野心和谨慎。
另请阅读
- 【公共管理中的生成式UI：经理问，面板组装7
- [软件开发中的人工智能代理：采用治理8
- [公司中的克劳德·代码：在不失去治理的情况下实现真正的生产力9
- [生成式UI：当AI停止响应文本并组装界面时10
- [训练人工智能的合成数据：实际收益和模型崩溃的风险11
- [端侧AI：服务器与端侧的战略决策12