原文链接：https://fetch.ai/explaining-fetch-ais-energy-market-optimization/

阐述Fetch.ai的能源市场优化

2019年11月4日

在本文中，我们将要总结的论文是，电力市场战略招标中的深度强化学习。

该论文中，包括Fetch.ai机器学习科学家Yujian Ye在内的研究人员提出了一种新的方法来解决放松管制的电力市场中的战略投标问题。为了更好地理解这一点，我们需要知道什么是“放松管制”和“受管制”的能源市场。

什么是受管制的电力市场？

一个“受管制的”电力市场包括拥有和经营所有电力的公用事业公司。从发电到计量，本公司拥有完全的控制权。公用事业公司拥有基础设施和输电线路，然后直接卖给客户。在受管制的州，公用事业公司必须遵守州公共事业委员会制定的电价。这种类型的市场通常被认为是一种垄断，因为它限制了消费者的选择。然而，它的好处包括稳定的价格和长期的确定性。

什么是放松管制的电力市场？

一个“放松管制”的电力市场允许市场参与者投资发电厂和输电线路，从而允许竞争对手进入电力市场进行买卖。发电业主然后把这些电力批发卖给零售供应商。零售电力供应商为消费者设定价格，通常被称为电费的“供应”部分。它通常通过允许消费者比较不同的第三方供应公司的价格和服务，并提供不同的合同结构(如固定的、指数化的、混合的)，从而使消费者受益。

该论文概述了如何有效地使用现代机器学习技术，即强化学习，以帮助发电公司在解除管制的电力市场的战略投标。

什么是强化学习？

要理解本文的重点，首先需要理解强化学习的基础知识。

简而言之，强化学习是机器学习的一个领域。它是关于在特定的情况下采取适当的行动来最大化回报。它被各种软件和机器用来寻找在特定情况下它应该采取的最佳行为或路径。强化学习不同于监督学习。在监督学习中，训练数据有答案键，因此模型用正确答案本身进行训练。

相反，在强化学习中，没有答案，但是强化主体决定做什么来完成给定的任务。在缺乏训练数据集的情况下，它必须从经验中学习。

为什么我们需要算法来优化投标策略?

为了给电力行业“去监管化”，许多以利润为导向的参与者，尤其是发电和供应行业的参与者，已经进入了这个市场。因此，传统的模型不再能够提供准确的洞见，因为利润驱动的市场参与者的行为与对社会最有利的行为不一致。这就是为什么我们需要能够更好、更有效地评估和解释情况的替代算法。

目前用于战略投标的模型有什么问题？

大多数的算法或优化思想源于将双层优化问题转化为带有平衡约束的单层数学程序。然而，这些模型框架存在一个根本问题，即它们忽视了市场参与者的非凸操作特性。

Yujian还在另一篇论文中考虑了可变成本、最大产量限制和发电机组的爬坡率等因素，而忽略了诸如空载、启动和关闭成本、最小稳定发电限制和最小起停时间限制等非凸成本因素。然而，这些复杂的经营特征会影响市场清算结果，从而影响市场参与者的盈利能力。这意味着这些双层优化市场模型的使用可能导致战略参与者的次优投标决策。

除了这一基本限制外，该建模框架假设市场参与者了解市场清算过程的计算算法及其竞争对手的操作参数。这通常构成一个限制性假设。

Fetch.ai的能源市场优化如何解决这个问题？

人工智能和强化学习技术的迅速发展引起了能源系统界的极大兴趣。他们特别关注于开发在电力市场建模中使用的具有平衡约束的数学规划方法的替代方案。

在这个特定的模型中，我们看到双层优化问题并没有转化为单层优化问题。相反，它是用递归方式解决的。作为强化学习算法主体的市场参与者，通过与市场清算过程环境的反复交互所积累的经验，逐步学习如何通过决策来改进自己的策略。通过这样做，它们合并了非凸操作特性。此外，市场参与者(代理)不再依赖于传统的市场清算过程计算算法和竞争对手的操作参数。相反，他们依赖自己的操作参数和观察到的市场清算结果。

Fetch.ai的技术有潜力彻底改变能源行业，我们将继续开发解决方案，以优化目前复杂而低效的全球工业。如果你还没有这样做，我们鼓励你阅读我们的另一篇关于我们的能源用例的文章。