评估Divide and Conquer算法时间复杂度的几种策略

算法导论的第四章对于divide-conquer进行了阐述，感觉这本书特别在，实际给出的例子并不多，更多其实是一些偏向数学性质的分析，最重要的是告诉你该类算法分析的一般性策略。

估计

首先是估计算法的时间复杂度，这里我感觉大多数情况下该类算法的时间复杂度可以由两种策略来完成。

master method

这种方式简单，准确，个人认为一般能用这种尽量使用这种。

对于常数 a >= 1, b > 1, T(n) = a T ( n / b ) + f(n), 也就是说算法T对于规模为n的问题, 花费f(n)的时间复杂度可以将之化简为a个规模为n/b的问题, 此时有如下性质 :

如果f(n) = O(n ^ (log b (a - ε))), 且ε > 0, 那么T(n)的时间复杂度是θ(n ^ (log b (a))), 例如 T(n) = 3T(n / 2) + n的时间复杂度就是θ(n ^ (log 2 (3))).
如果f(n) = θ(n ^ (log b (a))), 那么T(n)的时间复杂度是θ(n^(log b (a)) * log 2 (n)), 例如归并排序, T(n) = 2T(n / 2) + n的时间复杂度就是θ(n * log2 (n)).
如果f(n) = Ω(n ^ (log b (a + ε))), 且ε > 0, a * f(n / b) <= c * f(n) 对于 c < 1 and n 足够大都成立, 那么T(n)的时间复杂度是θ(f(n)). 例如 T(n) = T(n / 5) + n的时间复杂度就是θ(n).

递归树

这种方式使用面更广，而且更加直接，但是需要对算法本身以及其过程有较为清晰的了解，同时需要花费更长的时间。

下面我给出几种情况，并画出递归树。

典型的例子是归并排序, T(n) = 2 T(n / 2) + n

n

n/2 n/2

n/4 n/4 n/4 n/4

...

n个1

根据算法本身分析, 我们知道每层递归将导致算法的规模下降到原来的一半也就是说, 递归树的高度应该是(log 2 (n)), 另一方面, 对于树的每一层,总的合并所需要的时间是n, 所以可以估算出该算法的时间复杂度是θ(n * log2 (n)).

这里给出一个不能用master method的例子, 比如 T(n) = 2 T (n - 1) + n

n

n-1 n-1

n-2 n-2 n-2 n-2

...

我们很容易分析得到的结论是该递归树的高度为n, 并且在最底层有2^n个元素, 除去最后一层的base case, 之前应该是n + n - 1 + n - 2 + ... + k (假设n = k是base case), 大概估算一下这个算法的时间复杂度应该是θ(2 ^ n + n ^ 2), 化简之后也就是θ(2 ^ n).

证明

然后估计之后是证明, 总体来讲证明就是用substitution method, 也就是说先假设你猜想成立, 然后反过来推导出要证明的目标不等式.

假设对于归并排序有O(nlogn), 那么就有 T(n) <= c * nlog(n), 替换之后就是T (n) <= 2 * c * (n / 2 * log (n / 2)) + n 化简一波就是 T (n)<= c * nlogn + (1- c)n, 那么因为我们要证明的目标不等式是 T(n) <= cnlogn, 此时只需要 1 - c <= 0即可, 所以存在c(实际上c只要在0[0, 1]之间都可). 基本的思路就是这样, 其实这就是数学归纳法的最后一步, 也就是说你假设n-1的时候成立然后证明出来对于n也成立.

这一章的话大概就是这样.