ShellExecuteEX打开iqy文件导致excel hang的原因分析

1. 问题

当在console中调用API ShellExecuteEx打开"test.iqy"文件时，发现excel会hang住，console退出后excel才会响应，但直接双击"test.iqy"是没有问题的，有意思的是这个情况只有在xp发生，在win7上没有这个问题。

2. 重现步骤

重现环境：XP sp3 / Office 2007（其他office版本应该也可以，没有测试）

https://files.cnblogs.com/files/organic/iqy_test.zip

1> 解压iqy_test.zip

2> 运行http_server.py（需先安装python）

3> 执行"shell_execute.exe test.iqy"

shell_execute.exe的主要code：

bool shell_execute_file(wstring file_path)
{
    SHELLEXECUTEINFOW shell_exec_info = {  };
    shell_exec_info.cbSize = sizeof(SHELLEXECUTEINFOW);
    shell_exec_info.fMask = SEE_MASK_NOCLOSEPROCESS | SEE_MASK_FLAG_NO_UI;
    shell_exec_info.hwnd = NULL;
    shell_exec_info.lpVerb = NULL;
    shell_exec_info.lpFile = file_path.c_str();
    shell_exec_info.lpParameters = NULL;
    shell_exec_info.lpDirectory = NULL;
    shell_exec_info.nShow = SW_SHOW;
    shell_exec_info.hInstApp = NULL;
    bool ret = ShellExecuteExW(&shell_exec_info);
    printf("process handle is %p\n", shell_exec_info.hProcess);

    return ret;
}

3. 原因分析

3.1 excel hang在哪里？

3.1.1 用windbg附加到excel上，输入如下命令查看主线程hang住的地方

可以看到Excel hang在NtUserMessageCall()中，经过查询知，SendMessage()内部就是调用NtUserMessageCall()来发送消息的。

查看参数知excel调用NtUserMessageCall()类似如下：

NtUserMessageCall(HWND_BROADCAST, WM_DDE_INITIATE)

说明excel给所有顶层窗口发送一个WM_DDE_INITIATE消息，但是有窗口没有response

由此可以怀疑是由于console进程在和excel用DDE消息通信时，console没有响应excel发送的DDE消息，导致excel hang住

3.2 为了验证3.1.1的猜想，用API Monitor一下ShellExecuteEx

3.2.1 根据微软的文档可知，发送DDE消息除了WM_DDE_INITIATE和WM_DDE_ACK之外用的都是PostMessage

https://msdn.microsoft.com/en-us/library/windows/desktop/ff468829(v=vs.85).aspx

在API Monitor中搜索一下PostMessage的调用，果然搜到一条

call stack显示确实是ShellExecuteEx所调用

消息1000为WM_DDE_EXECUTE，Post窗口句柄为0x00310172。

注意到下一个API GetWindowThreadProcessId ( 0x00310172 , 0x0012fb70 )，刚好是获取这个窗口的pid和tid，查看下参数窗口：

这个窗口所属的进程PID = 0xc54，正好是excel的进程，说明ShellExecuteEx确实发送了DDE消息给excel，而且可执发送的消息的thread就是主线程

根据DDE的消息参数，可知wParam就是发送消息的窗口，其句柄为2425190 = 0x250166，反向查询知这是ShellExecuteEx创建的”WorkerW”窗口

3.2.2 为了验证3.2.1的结论，在PostMessageW上下断点跟踪一下

查看一下buff的地址：

刚好就是打开test.iqy的命令，说明ShellExecuteEx就是先创建了excel的进程，然后发送test.iqy的文件命令给excel打开。

3.3 总结

1> ShellExecuteEx打开test.iqy的时先创建excel进程

2> 然后创建一个"WorkerW"的窗口用于DDE通信

3> Post WM_DDE_EXECUTE给excel，告知打开test.iqy的命令

4> ShellExecuteEx执行结束，但并不destroy "WorkerW"窗口

5> excel收到WM_DDE_EXECUTE消息后会广播WM_DDE_INITIATE消息，"WorkerW"窗口所在的console进程由于没有定义消息处理函数，ShellExecuteEx定义的"WorkerW"窗口消息处理函数得不到CPU执行机会，导致不会response该消息，从而导致excel hang住

类似，我们可以创建一个带窗口的程序，启动后将其挂起，这时，即使直接双击打开test.iqy也会hang住。

4. 为什么双击打开excel不会hang住

因为双击打开实际是用explorer.exe打开，而explorer.exe是有窗口的，能够正常的接收处理WM_DDE_INITIATE消息

5. 为什么win7上不会有这样的问题

5.1 在API Monitor中看下PostMessageW

注意到win7下PostMessageW是用的线程2调用的，搜一下线程创建API CreateThread

可知是ShellExecuteEx内部创建的线程，所以win7上ShellExecuteEx创建了一个线程专门用来处理和excel的DDE消息通信，这样就能正常的接收处理excel发过来的WM_DDE_INITIATE消息了