技术革命｜基于人工智能（AI）的下一代控制系统
微软 Bonsai 大脑应用，包括动态和高度可变的系统、相互竞争的优化目标或策略以及未知的启动或系统条件等。图片来源 ：Wood
作者：Kence Anderson
基于人工智能（AI）的机器学习控制系统有望成为先进控制的下一个发展方向。
过去几十年来，控制系统持续发展，而人工智能 (AI) 技术正在助力先进控制系统向下一代发展演进。
尽管控制生态系统所呈现出来的，可能是 一个复杂而又相互关联的技术网络，但也可以将其视为家谱中不断发展的分支，这样就可以将其简化。每种控制系统技术都有其自身的特点，是之前的技术所不具备的。
例如，前馈技术通过预测控制器的输出来改进比例 - 积分 - 微分 (PID) 控制，然后利用预测将干扰错误与噪声发生分开。模型预测控制（MPC）通过对未来控制行动结果的分层预测和控制多个相关的输入和输出，增加了更多功能。
控制策略的最新趋势之一，是采用人工智能技术来开发工业控制系统。该领域的最新进展之一是基于强化学习的控制的应用。
AI 控制器的3个特性
基于 AI 的控制器，即基于深度强化学习（DRL）的控制器，可以提供一些独特且吸引人的特性，例如 ：
1
学习
基于 DRL 的控制器通过有条不紊和持续的练习来学习（我们称之为机器教学）。因此，这些控制器可以发现专家系统中不容易捕获的细微差别和异常，而使用固定增益控制器则可能难以控制。
仿真器可以将 DRL 引擎暴露于各种过程状态。在这些状态中，有很多是在现实世界中永远不会遇到的，主要是因为 AI 引擎（大脑）在运营工厂时，会试图尽可能接近甚至超出物理设施的运行极限。在这种情况下，经历这些偏移（可能会导致过程跳闸）是为了让大脑学习哪些行为需要避免。当经历的次数足够多时，大脑就能学会哪些事情不该做。
此外，DRL 引擎可以同时从多个仿真中学习。它可以从数百个仿真中学习，而不是只能从单一工厂中获取大脑数据。每个仿真的执行速度都比正常实时中看到的要快，从而可以提供有利于最佳学习的训练体验。
2
延迟满足
基于 DRL 的控制器可以学习识别短期内的次优行为，从而在长期内实现收益的优化。根据西格蒙德 · 弗洛伊德（Sigmund Freud），甚至公元前 300 年的亚里士多德（Aristotle）的理论，人类将这种 行为称为“延迟满足”。当 AI 以这种方式运行时，它可以将过去棘手的局部最小值推向更优化的解决方案。
3
非传统输入数据
基于 DRL 的控制器可以管理输入信息并能够评估传感器信息，这是自动化系统无法做到的。例如，基于 AI 的控制器可以处理有关产品质量或设备状态的视觉信息。在采取控制措施时，它还会考虑分类的机器报警和警告。它甚至可以使用声音信号和振动传感器输入，来确定如何做出过程决策，这有点类似于运行人员接收声音信息后所做的响应。处理视觉信息（例如耀斑大小）的能力，可以划分并揭示基于 DRL 的控制器的能力。
▎在仪表板中跟踪能 源参数有助于可视化优化目标。
启用基于 DRL 的控制系统
向过程设施提供基于 DRL 的控制系统，涉及 4 个步骤 ：1) 为大脑准备仿真模型 ；2) 大脑的设计和训练；3) 对大脑训练成果的评估；和 4) 部署实施。
启用基于 DRL 的控制器，需要仿真或“数字化双胞胎”环境来练习和学习如何制定决策。这种方法的优点在于，大脑可以了解系统“好 的”和“坏的”方面，以实现既定目标。鉴于在过程仿真模型中，真实环境多种多样（远远超过仿真通常所能表示的），以及在操作状态 空间上训练大脑所需的仿真量，使用保持基本物理原理的降阶模型，可以提供最好的训练大脑的方法。
这些模型提供了一种开发复杂过程仿真的方法，并且在运行时速度更快，这两者都允许以更有效的方式开发大脑。基于标签的过程仿真器，以其简单的设计、易用性和满足 广泛仿真需求的能力而著称，这符合训练基于 DRL 的大脑所需的仿真模型的要求。
在高度现代化的时代，当面板上的指示灯和开关退出舞台时，基于标签的仿真器使自动化工程师的工作变得不那么繁琐。过去数十年来，早在“数字化双胞胎”等现代术语出现之前，使用仿真在进入现场之前的工厂验收测试 (FAT) 上进行系统测试，一直是过程仿真软件 的“面包和黄油”。
相同的仿真器，现在也可用于训练 AI 引擎以有效控制工业过程。为实现这一点，仿真器需要能够以分布式方式跨多个 CPU 甚至在 “云”中运行。需要多个仿真实例来练习、训练或评估并行执行的潜在新 AI 算法。一旦实现这一点，就可以使用基于标签的仿真器开发的运行人员培训系统，来训练基于 DRL 的 AI 引擎。
大脑的设计和训练
根据需要控制的过程对象来设计大脑，对于开发基于 DRL 的最佳控制解决方案至关重要。大脑不仅可以包含 AI 概念，还可以包含启发式、程序化逻辑和众所周知的规则。如果从主题专家 (SME) 收集到合适的信息，使用该信息构建大脑的能力将是项目成功的关键。
使用主题专家知识构建富有洞察力的培训场景，对于开发强大的基于 AI 的控制系统 至关重要。在使用模型训练 DRL 引擎之前，必须决定模型的哪些元素将作为过程状态暴露给大脑。过程状态通常是自动化系统可用的测量值的集合。液位、温度、设定值等都是典型 的例子。
暴露太少的过程状态，大脑将无法从中获取足够多的数据进行学习。而过程状态太多时，内部非必须参数的数量会迅速增加。这同样会导致大脑无法快速学习，因为它不得不花费一部分精力来识别哪些过程状态不太重要。从大脑流向过程的数据也会发生类似的情况。人必须决定允许大脑操作哪些动作，这决定了控制过程最理想状态所需的努力。
通常，大脑可用动作中包含哪些内容的决策更容易制定，因为可用于控制该过程的控制阀或其它机制是有限的。关于过程状态和动作空间大小的决定，归结为每个状态和动作结构中应该包含哪些仿真标签。在基于标签的仿真器中定义了状态和动作。从列表中选择标签并单击按钮，可以将它们添加到大脑所使用的状 态或动作结构中。
▎AI 技术可以扩展到任何可以使用仿真建模的复 杂问题，例如控制上游石油和天然气部门设备 的间歇性生产故障，还有炼油厂 / 化工厂的性 能优化和控制等。
定义状态和动作空间
Inkling 是一种为训练 DRL 代理而开发的语言，以紧凑、富有表现力且易于理解的语法来表达训练范式。可以对基于标签的仿真器进行编程，以自动生成用于定义大脑状态和动作 结构的 Inkling 代码。
一旦定义了状态和动作结构，就需要为大脑定义训练目标。训练大脑的典型要求是结构，例如 ：目标、惩罚、课程计划和场景。在这个 例子中，用户需要创建大约 40 行代码，才能使用仿真来训练 AI 大脑。
生成的 Inkling 代码，为新生的 AI 大脑描述了两件重要的事情——做什么，以及如何做。具体来说，生成此代码是为了通过使用上游的流量控制和下游的截止阀来控制液罐中的液 位。“目标”描述大脑行动的预期结果，在这种情况下，实际液位应该接近设定值。
选择与目标匹配的适当课程和场景，是大脑设计者和主题专家之间适当协作的结果：液罐不溢出。“课程”和“情景”陈述告诉大脑如何学习该目标。在这种情况下，情景会引导大脑以随机但受约束的液位和设定值，开始每个训练集。
云技术加速 AI 训练
大脑的有效训练需要探索非常大的操作状态空间。云技术允许将仿真器容器化，并在大规模并行环境中运行。然而，要想获得预期结果，测试训练大脑的想法，需要首先在本地运行模拟以“消除”错误。一旦用户 满意，仿真器就可以被容器化并在云中运行。典型的大脑训练课程，可以进行 30 万到 100 万次迭代。大脑的训练进度可以很容易地显示在屏幕上，比如一个简单水箱展示。云资源可以设法在不到一小时的时间内训练一个需要 50 万次迭代的模拟器。
可以通过图表展示大脑训练的进展与迭代次数的关系。“目标满意度”参数是训练集 的移动平均值，最终会达成总目标数。通常，需要达到 100% 的目标满意度值，才能实现大脑对其练习过的所有场景的有效控制。
对训练结果的评估
大脑经过训练后，需要对其进行测试以评估其生存能力。在这个阶段，大脑会根据模型来判断其行为。然而，这次仿真中的场景应该有所不同——应该使用在最初几轮测试中没有使用的工况对大脑进行测试。
例如，如果 1 个值由 3 个阀门的组合控 制，如果 1 个阀门不可用会发生什么情况？如果其中 1 个阀门卡住，大脑是否可以合理的响应，或者停机以进行维护？这是为操作员培训系统或控制系统测试而开发的仿真器模型可以适用的地方。与控制系统测试一样， AI 控制器需要通过严格的正式测试程序。具 有自动化测试计划的仿真器，可以显著减少评估“已训”大脑所需的工作量。
大脑与控制系统的集成
一旦大脑通过评估测试，就可以实施部署。虽然有多种部署模式，但使用基于标签的仿真器来测试控制系统的独特优势在于，它们可以作为中间件将大脑与控制系统集成在一起。由于各种控制系统有大量可用的驱动程序，因此集成到特定于客户的站点比使用自定义解决方案容易得多。此外，从软件维护的角度来看，人们更倾向于尽量减少自定义部署的数量。
基于 DRL 的大脑已经被设计用于 100 多 个用例，并且已部署到各行各业和垂直市场。例如，在优化建筑物的能源使用中，同时确保二氧化碳水平低于法定限值，要求工程师建立制冷设备设置点，以最小化成本，同时将室内温度保持在狭窄范围内。基于 DRL 的 控制将实时天气数据（如环境温度和湿度）考虑在内，并将机器学习与过去性能和环境 条件关系的模型结合使用，从而可以提供更 优化的解决方案。
在化工过程控制应用中，聚合物生产需要密切控制反应器上的设定点。典型挑战包括瞬态控制，以及如何以最佳方式控制并提供一致的结果。控制变量的数量很大，并且在控制过 程中多次使用人类经验，由于这是一项学习技能，结果的可变性是由于操作员经验和主观方 面的可变性造成的。部署训练有素的大脑，探 索与瞬态操作相关的所有状态空间，并结合最有经验和表现最佳的操作员的智慧，可以为操作员提供更快、更一致的操作建议，并将不合规格的产品数量降至最低。
上面的案例展示了一些已经部署的成功应用，实际上 AI 技术的使用可以扩展到任何可以通过模拟建模的复杂问题中。
AI 助力下一代先进控制
基于 AI 的机器学习控制系统有望成为先进控制的下一个发展方向，特别是对于具有大状态空间的复杂系统，部分涉及测量状态和变量之间的非线性相关性。不过，实现这一承诺需要一些关键技术。
除了深入了解“数字化双胞胎”之外，学习代理还必须能够访问定向准确的模拟模型，以便在工厂中实践和部署学习代理以做出决策的方法。用于先进过程控制的构建和 AI 学习代理的端到端过程包括 ：在模拟中培训代理，跨多个优化目标和场景教授代理， 评估代理，最后将代理部署在边缘作为生产 控制系统。
关键概念：
■ AI 控制器的 3 个特 性，包括学习、延迟满足和非传统输入数据。
■ 创建基于 AI 的控制系统需要训练其大 脑。
■ AI 技术可以扩展到更多可以使用仿真建 模的复杂问题。
思考一下：
您是否会为下一个控制系统提供学习如何更好地为其应用服务所需的工具？