Multiarmed Bandit Algorithm在股票中的应用

股票与Bandit Machine看起来相去甚远，但实际上通过限制买入和卖出的行为，股票可以转换为Bandit Machine，比如：规定股票必须在买入一天以后卖出。为什么要大费周折地把股票变成Bandit Machine呢？因为有许许多多的Multiarmed Bandit算法就可以应用与股市了，例如小量贪心算法、Softmax算法和UCB算法。

为了应用这些算法，我们需要将每一支股票看作是一个Bandit Machine，这样就相当于许多个Bandit Machine摆在我们面前，我们面对的就是一个Multiarmed Bandit Machine问题。下面就以UCB算法为例进行说明。

根据UCB算法，我们写出以下公式：

C是比例系数，理论上等于。每天我们首先将前一天的股票卖出，然后我们选出使上式取最大值的股票i进行买入。

注：Bandit Machine对应的中文关键词被屏蔽了。