Dynamic Programming | Set 3 (Longest Increasing Subsequence)

在 Dynamic Programming | Set 1 (Overlapping Subproblems Property) 和 Dynamic Programming | Set 2 (Optimal Substructure Property) 中我们已经讨论了重叠子问题和最优子结构性质，现在我们来看一个可以使用动态规划来解决的问题：最长上升子序列（Longest Increasing Subsequence（LIS））。

最长上升子序列问题，致力于在一个给定的序列中找到一个最长的子序列，该子序列中的元素按升序排列。例如，序列{10, 22, 9, 33, 21, 50, 41, 60, 80}的最长上升子序列的长度为6，最长上升子序列为{10, 22, 33, 50, 60, 80}。

Optimal Substructure:

假设arr[0..n-1]为输入数组，L(i)是以下标i结束的数组的最长上升子序列的长度，满足arr[i]是LIS的一部分，即arr[i]是该LIS中的最后一个元素，那么L(i)可以递归的表示为：

L(i) = { 1 + Max ( L(j) ) } where j < i and arr[j] < arr[i] and if there is no such j then L(i) = 1

要获得一个给定数组LIS的长度，我们需要返回 max(L(i)) where 0 < i < n。

因此，LIS问题具有最优子结构性质，因此该问题可以使用子问题的方法来求解。

Overlapping Subproblems:

以下是LIS问题的一个简单递归版本程序。

/* A Naive recursive implementation of LIS problem */
#include<stdio.h>
#include<stdlib.h>

/* To make use of recursive calls, this function must return two things:
   1) Length of LIS ending with element arr[n-1]. We use max_ending_here
      for this purpose
   2) Overall maximum as the LIS may end with an element before arr[n-1]
      max_ref is used this purpose.
The value of LIS of full array of size n is stored in *max_ref which is our final result
*/
int _lis( int arr[], int n, int *max_ref)
{
    /* Base case */
    if(n == 1)
        return 1;

    int res, max_ending_here = 1; // length of LIS ending with arr[n-1]

    /* Recursively get all LIS ending with arr[0], arr[1] ... ar[n-2]. If
       arr[i-1] is smaller than arr[n-1], and max ending with arr[n-1] needs
       to be updated, then update it */
    for(int i = 1; i < n; i++)
    {
        res = _lis(arr, i, max_ref);
        if (arr[i-1] < arr[n-1] && res + 1 > max_ending_here)
            max_ending_here = res + 1;
    }

    // Compare max_ending_here with the overall max. And update the
    // overall max if needed
    if (*max_ref < max_ending_here)
       *max_ref = max_ending_here;

    // Return length of LIS ending with arr[n-1]
    return max_ending_here;
}

// The wrapper function for _lis()
int lis(int arr[], int n)
{
    // The max variable holds the result
    int max = 1;

    // The function _lis() stores its result in max
    _lis( arr, n, &max );

    // returns max
    return max;
}

/* Driver program to test above function */
int main()
{
    int arr[] = { 10, 22, 9, 33, 21, 50, 41, 60 };
    int n = sizeof(arr)/sizeof(arr[0]);
    printf("Length of LIS is %d\n",  lis( arr, n ));
    getchar();
    return 0;
}

考虑以上实现，如下是当数组大小为4时的递归树，lis(n)为以n为最后一个元素时，数组的LIS的长度。

不难发现，其中有子问题被重复计算。因此，该问题具有重叠子结构性质，通过Memoization或者Tabulation，可以防止子问题的重复计算。如下，是LIS问题的tabluated实现。

/* Dynamic Programming implementation of LIS problem */
#include<stdio.h>
#include<stdlib.h>

/* lis() returns the length of the longest increasing subsequence in
    arr[] of size n */
int lis( int arr[], int n )
{
   int *lis, i, j, max = 0;
   lis = (int*) malloc ( sizeof( int ) * n );

   /* Initialize LIS values for all indexes */
   for ( i = 0; i < n; i++ )
      lis[i] = 1;

   /* Compute optimized LIS values in bottom up manner */
   for ( i = 1; i < n; i++ )
      for ( j = 0; j < i; j++ )
         if ( arr[i] > arr[j] && lis[i] < lis[j] + 1)
            lis[i] = lis[j] + 1;

   /* Pick maximum of all LIS values */
   for ( i = 0; i < n; i++ )
      if ( max < lis[i] )
         max = lis[i];

   /* Free memory to avoid memory leak */
   free( lis );

   return max;
}

/* Driver program to test above function */
int main()
{
  int arr[] = { 10, 22, 9, 33, 21, 50, 41, 60 };
  int n = sizeof(arr)/sizeof(arr[0]);
  printf("Length of LIS is %d\n", lis( arr, n ) );

  getchar();
  return 0;
}

注意，以上的动态规划解法需要的时间复杂度为O(n^2)，实际上LIS问题有O(nLogn)的解法（see this）。在这边，我们并没有讨论O(nLogn)的解法，此处，只是用这篇文章来作为动态规划的一个简单例子。

补充一个最笨的方法：将所有的子序列使用dfs枚举出来，看其最大长度是多少，代码如下：

#include <iostream>
#include <vector>
using namespace std;

void dfs(const vector<int> &input, vector<vector<int> > &ret, vector<int> &path, int pos) {
    if (pos == input.size()) {
        ret.push_back(path);
        return;
    }

    for (int i = 0; i != 2; i++) {
        if (i == 0) {
            path.push_back(input[pos]);
            dfs(input, ret, path, pos + 1);
            path.pop_back();
        } else {
            dfs(input, ret, path, pos + 1);
        }
    }
}

int main()
{
    vector<int> input = {1,2,3};
    cout << "input.size() = " << input.size() << endl;
    vector<vector<int>> ret;
    vector<int> path;

    dfs(input, ret, path, 0);

    for (vector<vector<int> >::const_iterator itr = ret.begin(); itr != ret.end(); itr++) {
        cout << "--" << " ";
        for (vector<int>::const_iterator it = itr->begin(); it != itr->end(); it++) {
            cout << *it << " ";
        }
        cout << endl;
    }
}

/*
Output:
-- 1 2 3
-- 1 2
-- 1 3
-- 1
-- 2 3
-- 2
-- 3
--
*/