打 multi-fidelity RL 旗号，但是幼稚监督学习 + 迁移学习

• 文章名称：Multi-fidelity reinforcement learning framework for shape optimization
• 链接：https://www.sciencedirect.com/science/article/pii/S0021999123001134#se0020
• Journal of Computational Physics (JCP)，计算力学领域 国际三大顶刊之一。

0 abstract

• 提出了一个受控的（controlled）迁移学习（transfer learning）框架（被称为 CTL），来解决 DRL 需要大量数据的问题。
• 利用来自 low-fidelity 和 high-fidelity env 的信息。
• 优化翼型的计算成本降低 30%。

2 method

• 细节：一个 episode 长度为 1… wait 这算什么 RL 呀？
• 首先与 low-fidelity env 交互，算法为 PPO。
• 维护一个 \(\beta_e\)，防止过拟合 low-fidelity env。\(\beta_e \triangleq \frac{\xi_e}{\max \left(\xi_e, \xi_{e-1}, \ldots \xi_1\right)}\)，其中 \(\xi_{\tilde{e}}=\left\{r_{\bar{e}}, r_{\bar{e}-1}, \ldots r_{\bar{e}-k}\right\}\) 是长度为 k 的 look-back window 的 reward 的方差。
• 如果 agent 在学，那么 β 应当变小，因为越来越熟练的 agent 在最近这段时间的表现会越来越稳定。（也可能是稳定输出离谱 action 呢？）
• 定义一个 Γ = 0.3，如果 β＜Γ，那么我们认为在 low-fidelity env 上学足够了，去 high-fidelity env。

为什么这种工作能发顶刊？？